logloss에 대한 직관적 인 설명


10

몇몇 kaggle 경쟁에서 점수는 "logloss"에 기초합니다. 분류 오류와 관련이 있습니다.

여기에 기술적 답변이 있지만 직관적 인 답변을 찾고 있습니다. 나는 Mahalanobis 거리에 대한 이 질문 에 대한 답변을 정말로 좋아 했지만 PCA는 logloss가 아닙니다.

분류 소프트웨어가 제공하는 가치를 사용할 수 있지만 실제로 이해하지는 못합니다. 우리는 왜 true / false positive / negative rate 대신에 이것을 사용합니까? 할머니 나 현장의 초보자에게 이것을 설명 할 수 있도록 도와 주실 수 있습니까?

나는 또한 인용문을 좋아하고 동의합니다.

당신은 당신의 할머니에게 설명 할 수 없다면 정말로 무언가를 이해하지 못합니다
-Albert Einstein

여기에 게시하기 전에 스스로 답변을 시도했습니다.

내가 직관적이지 않거나 실제로 도움이되지 않는 링크는 다음과 같습니다.

유익하고 정확합니다. 그들은 기술적 인 청중을위한 것입니다. 그들은 간단한 그림을 그리거나 간단하고 접근하기 쉬운 예를 제공하지 않습니다. 그들은 할머니를 위해 쓰여지지 않았습니다.


기술 답변에 대한 링크를 제공하지 않았습니다
bdeonovic


@ EhsanM.Kermani-내가 언급 한 Mahalanobis와 같은 직관적 인 것을 찾지 못했습니다.
EngrStudent

1
kaggle 웹 사이트항목은 logloss에 대한 아주 간결한 설명을 제공합니다
bdeonovic

이 링크를 찾았습니다 : exegetic.biz/blog/2015/12/making-sense-logarithmic-loss . 도움이 될 수 있습니다.
Deolu A

답변:


8

로그 로스는 모든 확률의 곱에 대한 로그입니다. 앨리스가 예측했다고 가정하자.

  • 0.2 확률로 John은 Jack을 죽일 것입니다.
  • 확률 0.001로 Mary는 John과 결혼합니다.
  • 확률이 0.01 인 Bill은 살인자입니다.

마리아는 요한과 결혼하지 않았으며, 빌은 살인자가 아니라 요한은 잭을 죽였습니다. Alice에 따르면 확률의 곱은 0.2 * 0.999 * 0.99 = 0.197802입니다.

밥은 예측했다 :

  • 존이 잭을 죽일 확률 0.5
  • 확률 0.5로 Mary는 John과 결혼합니다.
  • 확률이 0.5 인 Bill은 살인자입니다.

제품은 0.5 * 0.5 * 0.5 = 0.125입니다.

앨리스는 밥보다 더 나은 예측 자입니다.


"모든 확률의 곱"이 작동하는 이유는 무엇입니까? 이것은 기대 극대화의 상대적인 것처럼 들립니다.
EngrStudent

3
공식적인 증거가 필요하십니까? 주제 시작자가 언급 한 "기술 답변"에 있습니다. 왜 비공식적 인 "할머니"이유가 필요합니까? 당신은 말한다 :이 동료가 정확한 예측을했다고 가정하자. 실제로 일어난 모든 일이 일어날 확률은 얼마입니까? 이것은 확률의 곱입니다.
user31264

"확률의 산물"은 "할머니"가 아닙니다. 확률 곱의 로그는 로그 확률의 합으로 기대 최대화에 사용되며 "예상"이라고합니다. 나는 그것이 또한 KL 발산으로 인코딩되어 있다고 생각합니다. ... 할머니 대화에서 여러 사건의 "최대 확률"= 가장 높은 전체 확률이라고 말할 수 있다고 생각합니다. "가장 높은"두 가지가 있습니다. 1) 결합 확률을 최대화하거나 2) 음의 결합 확률을 최소화합니다. 학습은 "그라데이션 디센트 (gradient descent)"또는 나쁜 것을 최소화하는 것을 좋아합니다. 로그 손실 (Log-loss)은 샘플 크기에 의해 스케일링 된 음의 확률이며 최소화됩니다.
EngrStudent

여기 링크 그들은 "exp (-loss)는 정확한 예측의 평균 확률"이라고 말합니다.
EngrStudent

나는 주교가 심판 좋아 여기 . 방정식 4.108이며 교차 엔트로피 오류 함수입니다.
EngrStudent
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.