교차 엔트로피가 왜 Kullbeck Leibler 발산이 아닌 분류 표준 손실 함수가 되었습니까?

교차 엔트로피는 KL 발산과 목표 분포의 엔트로피와 동일합니다. 두 분포가 동일 할 때 KL은 0과 같습니다. 이는 교차 분포 엔트로피가 일치하는 대상 분포의 엔트로피보다 더 직관적 인 것처럼 보입니다.

나는 인간의 관점이 긍정적 인 것보다 0을 더 직관적으로 찾을 수 있다는 점을 제외하고는 다른 정보 중 하나에 더 많은 정보가 있다고 말하지 않습니다. 물론, 분류가 얼마나 잘 수행되는지보기 위해 보통 평가 방법을 사용합니다. 그러나 KL에 비해 교차 엔트로피의 선택은 역사적인가?

기계 학습에서 분류 문제에 관해서는, 크로스 엔트로피와 KL 발산 이 동일 합니다. 질문에서 이미 언급했듯이 일반적인 공식은 다음과 같습니다.

여기서 $p$ a "true"분포이고 $q$ 는 추정 분포이고, $H(p, q)$ 는 교차 엔트로피이고, $H(p)$ 는 엔트로피이고 $D$ 는 Kullback-Leibler 분기입니다.

머신 러닝에서 $p$ 는지면 진리 클래스의 일대일 표현입니다.

기본적으로 델타 함수 분포입니다. 그러나 델타 함수의 엔트로피는 0이므로 KL 발산은 단순히 크로스 엔트로피와 같습니다.

실제로, $H(p)$ 가 $0$ 이 아니더라도 (예를 들어, 소프트 라벨), 고정되어 있으며 기울기에 기여하지 않습니다. 최적화 측면에서 간단히 제거하고 Kullback-Leibler 분기를 최적화하는 것이 안전합니다.

교차 엔트로피는 엔트로피 차이가 아닌 엔트로피입니다.

분류 기준을 개념화하는보다 자연스럽고 직관적 인 방법은 정의보다는 관계를 통하는 것입니다.

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \sum_i P(i) \log\frac{Q(i)}{P(i)}$

이것은 양자 역학적 열역학과 정보 이론 사이의 John von Neumann과 Claude Shannon에 의해 확인 된 유사점을 따른다. 엔트로피는 절대적인 양이 아닙니다. 상대적인 것이기 때문에 엔트로피 나 크로스 엔트로피를 계산할 수는 없지만 그 차이는 위의 별개의 경우 또는 아래의 연속 형제에 대한 것일 수 있습니다.

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \int_{-\infty}^\infty \, p(x) \log\frac {q(x)} {p(x)} \, dx$

$H(...) = ...$