신경망의 Softmax 레이어

역 전파로 훈련 된 신경망에 softmax 레이어를 추가하려고하는데, 그래디언트를 계산하려고합니다.

softmax 출력은 여기서 는 출력 뉴런 수입니다.$h_j = \frac{e^{z_j}}{\sum{e^{z_i}}}$$j$

내가 파생하면 얻을

$\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j)$

로지스틱 회귀와 유사합니다. 그러나 숫자 그라디언트 검사가 실패하기 때문에 이것은 잘못되었습니다.

내가 무엇을 잘못하고 있지? 교차 도함수 (예 : )도 계산해야한다고 생각 했지만이 작업을 수행하고 그래디언트의 차원을 유지하는 방법을 잘 모르겠습니다 다시 전파 과정에 적합합니다.$\frac{\partial{h_j}}{\partial{z_k}}$

Jacobian 을 벡터로 줄이는 방법에 대한 마지막 직관을 제외하고는 amoeba와 juampa에 의해 잘 포착되어 있기 때문에 이것에 대한 내 자신의 대답을 제공하는 것에 대해 약간 나쁘게 느낍니다 .

야곱 행렬의 대각선 기울기를 올바르게 도출했습니다.

${\partial h_i \over \partial z_j}= h_i(1-h_j)\;\;\;\;\;\;: i = j$

아메바가 언급했듯이 야곱의 대각선 입구를 가져와야합니다.

${\partial h_i \over \partial z_j}= -h_ih_j\;\;\;\;\;\;: i \ne j$

이 두 개념 정의는 Kronecker Delta 라는 구성을 사용하여 편리하게 결합 할 수 있으므로 그래디언트의 정의는

${\partial h_i \over \partial z_j}= h_i(\delta_{ij}-h_j)$

자 코비안은 정사각 행렬입니다.$\left[J \right]_{ij}=h_i(\delta_{ij}-h_j)$

이 시점까지의 모든 정보는 이미 amoeba와 juampa로 덮여 있습니다. 물론 문제는 이미 계산 된 출력 오류에서 입력 오류를 가져와야한다는 것입니다. 출력 오류 의 기울기는 모든 입력에 의존하기 때문에 입력 의 기울기 는$\nabla h_i$$x_i$

$[\nabla x]_k = \sum\limits_{i=1} \nabla h_{i,k}$

위에서 정의한 Jacobian 행렬을 감안할 때 이것은 행렬의 곱과 출력 오류 벡터로 간단하게 구현됩니다.

$\vec{\sigma_l} = J\vec{\sigma_{l+1}}$

softmax 레이어가 출력 레이어 인 경우,이를 엔트로피 비용 모델과 결합하면 계산이 간단 해집니다.

$\vec{\sigma_l} = \vec{h}-\vec{t}$

여기서 는 레이블의 벡터이고 는 softmax 함수의 출력입니다. 단순화 된 형태는 편리 할뿐만 아니라 수치 적 안정성 측면에서도 매우 유용합니다.$\vec{t}$$\vec{h}$

파생 상품이 잘못되었습니다. 그것은해야한다,

$$\frac{\partial h_{j}}{\partial z_{k}} = h_{j}\delta_{kj}-h_{j}h_{k}$$

계산을 다시 확인하십시오. 또한, 크로스 엔트로피에 대한 아메바의 표현은 전적으로 정확하지 않습니다. 다른 클래스 에서 가져온 일련의 데이터 샘플에 대해서는 다음 과 같이 읽습니다.$C$

$$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n})$$

수퍼 가 샘플 세트에서 실행되는 경우 은 n 번째 샘플에 대한 대상의 k 번째 성분 값입니다. 여기에서는 1-C 코딩 방법, 즉 사용한다고 가정합니다 . 이 경우 해당 클래스를 나타내는 구성 요소를 제외한 모든 t는 0입니다 (1).$t_{k}^{n}$$t_{k}^{n}$

t는 일정하다. 따라서이 기능을 최소화하는 것은 최소화하는 것과 같습니다.

$$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n}) + \sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln t_{k}^{n} = -\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln \frac{y_{k}(\boldsymbol{x}^{n})}{t_{k}^{n}}$$

자 코비안이 매우 편리한 형태, 즉

$$\frac{\partial E}{\partial z_{j}} = h_{j}-t_{j}$$

패턴 인식을위한 주교의 신경망 사본을받는 것이 좋습니다 . IMHO는 여전히 신경망에 관한 최고의 책입니다.

softmax의 각 출력은 모든 입력에 따라 달라 지므로 그래디언트는 전체 야 코비 행렬입니다. 올바르게 계산 했지만 경우 도 필요합니다 . 첫 번째 표현을 도출 할 수 있다면 두 번째 표현도 쉽게 도출 할 수있을 것 같아요.$\partial_j h_j = \frac{\partial h_j}{\partial z_j}=h_j(1-h_j)$$\partial_k h_j=-h_jh_k$$j \neq k$

역 전파에 어떤 문제가 있는지 잘 모르겠습니다. softmax 레이어에는 출력과 입력이 있으므로 각 출력의 오류가 각 입력으로 전파되어야하므로 정확히 전체 Jacobian이 필요합니다. 반면에 일반적으로 softmax 출력과 관련된 비용 함수가 있습니다 (예 : 여기서 는 원하는 출력입니다 (분류를 수행 할 때 종종 그 중 하나가 1 임) , 기타는 0). 실제로 에 관심이 있는데, 이는 연쇄 규칙으로 계산하여 깔끔한 표현이 가능하며 실제로 벡터 (행렬 아님)입니다.$j$$j$

$$C=-\sum_j t_j \log h_j,$$ $t_j$$\frac{\partial C}{\partial z_j}$