3
신경망의 Softmax 레이어
역 전파로 훈련 된 신경망에 softmax 레이어를 추가하려고하는데, 그래디언트를 계산하려고합니다. softmax 출력은 여기서 는 출력 뉴런 수입니다. jhj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj 내가 파생하면 얻을 ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) 로지스틱 회귀와 유사합니다. 그러나 숫자 그라디언트 검사가 실패하기 때문에 이것은 잘못되었습니다. 내가 무엇을 잘못하고 있지? 교차 도함수 (예 : )도 계산해야한다고 생각 했지만이 작업을 수행하고 그래디언트의 …