교차 엔트로피 손실 함수의 다른 정의

신경망과 딥 러닝 닷컴 자습서를 통해 신경망에 대해 배우기 시작했습니다. 특히 3 장 에는 교차 엔트로피 기능에 대한 섹션이 있으며 교차 엔트로피 손실을 다음과 같이 정의합니다.

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

그러나 Tensorflow 소개를 읽고 교차 엔트로피 손실은 다음과 같이 정의됩니다.

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (위와 동일한 기호를 사용하는 경우)

그런 다음 무슨 일이 일어나고 있는지 찾기 위해 주위를 탐색하면서 다른 엔트로피 손실의 완전히 다른 정의를 사용하는 다른 메모 세트 ( https://cs231n.github.io/linear-classify/#softmax-classifier )를 찾았습니다. 신경망보다는 소프트 맥스 분류기 시간.

누군가 여기서 무슨 일이 일어나고 있는지 설명해 줄 수 있습니까? 왜 불일치가 있습니까? 사람들이 교차 엔트로피 손실을 무엇이라고 정의합니까? 중요한 원칙이 있습니까?

이 세 가지 정의는 본질적으로 동일합니다.

1) Tensorflow 도입 ,

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

$j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$

$y$$y_k$

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

에서 삼장 , 식 (63)는 여러 sigmoids인가 교차 엔트로피 (즉 1 합산되지 있음)의 상태이다 인트로 Tensoflow 크로스 엔트로피 softmax를 출력 상에 계산된다.

dontloo에 의해 설명 된 것처럼 두 수식은 본질적으로 두 클래스에 해당하지만 두 개 이상의 클래스가 고려되는 것은 아닙니다. Softmax는 독점 클래스가있는 멀티 클래스에 적합합니다 ( 즉 , 샘플 당 하나의 레이블 만 있으면 레이블의 원-핫 인코딩이 가능합니다). 여러 수업).

이 다른 dontloo 답변 도 참조하십시오 .