logloss에 대한 직관적 인 설명


10

몇몇 kaggle 경쟁에서 점수는 "logloss"에 기초합니다. 분류 오류와 관련이 있습니다.

여기에 기술적 답변이 있지만 직관적 인 답변을 찾고 있습니다. 나는 Mahalanobis 거리에 대한 이 질문 에 대한 답변을 정말로 좋아 했지만 PCA는 logloss가 아닙니다.

분류 소프트웨어가 제공하는 가치를 사용할 수 있지만 실제로 이해하지는 못합니다. 우리는 왜 true / false positive / negative rate 대신에 이것을 사용합니까? 할머니 나 현장의 초보자에게 이것을 설명 할 수 있도록 도와 주실 수 있습니까?

나는 또한 인용문을 좋아하고 동의합니다.

당신은 당신의 할머니에게 설명 할 수 없다면 정말로 무언가를 이해하지 못합니다
-Albert Einstein

여기에 게시하기 전에 스스로 답변을 시도했습니다.

내가 직관적이지 않거나 실제로 도움이되지 않는 링크는 다음과 같습니다.

유익하고 정확합니다. 그들은 기술적 인 청중을위한 것입니다. 그들은 간단한 그림을 그리거나 간단하고 접근하기 쉬운 예를 제공하지 않습니다. 그들은 할머니를 위해 쓰여지지 않았습니다.


기술 답변에 대한 링크를 제공하지 않았습니다
— bdeonovic


@ EhsanM.Kermani-내가 언급 한 Mahalanobis와 같은 직관적 인 것을 찾지 못했습니다.
— EngrStudent

1
kaggle 웹 사이트 의 항목은 logloss에 대한 아주 간결한 설명을 제공합니다
— bdeonovic

이 링크를 찾았습니다 : exegetic.biz/blog/2015/12/making-sense-logarithmic-loss . 도움이 될 수 있습니다.
— Deolu A

답변:


8

로그 로스는 모든 확률의 곱에 대한 로그입니다. 앨리스가 예측했다고 가정하자.

  • 0.2 확률로 John은 Jack을 죽일 것입니다.
  • 확률 0.001로 Mary는 John과 결혼합니다.
  • 확률이 0.01 인 Bill은 살인자입니다.

마리아는 요한과 결혼하지 않았으며, 빌은 살인자가 아니라 요한은 잭을 죽였습니다. Alice에 따르면 확률의 곱은 0.2 * 0.999 * 0.99 = 0.197802입니다.

밥은 예측했다 :

  • 존이 잭을 죽일 확률 0.5
  • 확률 0.5로 Mary는 John과 결혼합니다.
  • 확률이 0.5 인 Bill은 살인자입니다.

제품은 0.5 * 0.5 * 0.5 = 0.125입니다.

앨리스는 밥보다 더 나은 예측 자입니다.


"모든 확률의 곱"이 작동하는 이유는 무엇입니까? 이것은 기대 극대화의 상대적인 것처럼 들립니다.
— EngrStudent

3
공식적인 증거가 필요하십니까? 주제 시작자가 언급 한 "기술 답변"에 있습니다. 왜 비공식적 인 "할머니"이유가 필요합니까? 당신은 말한다 :이 동료가 정확한 예측을했다고 가정하자. 실제로 일어난 모든 일이 일어날 확률은 얼마입니까? 이것은 확률의 곱입니다.
— user31264

"확률의 산물"은 "할머니"가 아닙니다. 확률 곱의 로그는 로그 확률의 합으로 기대 최대화에 사용되며 "예상"이라고합니다. 나는 그것이 또한 KL 발산으로 인코딩되어 있다고 생각합니다. ... 할머니 대화에서 여러 사건의 "최대 확률"= 가장 높은 전체 확률이라고 말할 수 있다고 생각합니다. "가장 높은"두 가지가 있습니다. 1) 결합 확률을 최대화하거나 2) 음의 결합 확률을 최소화합니다. 학습은 "그라데이션 디센트 (gradient descent)"또는 나쁜 것을 최소화하는 것을 좋아합니다. 로그 손실 (Log-loss)은 샘플 크기에 의해 스케일링 된 음의 확률이며 최소화됩니다.
— EngrStudent

여기 링크 그들은 "exp (-loss)는 정확한 예측의 평균 확률"이라고 말합니다.
— EngrStudent

나는 주교가 심판 좋아 여기 . 방정식 4.108이며 교차 엔트로피 오류 함수입니다.
— EngrStudent
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.