word2vec에서 교차 엔트로피 손실의 유도

cs224d 온라인 스탠포드 클래스 코스 자료 의 첫 번째 문제 세트 를 통해 노력 하고 있는데 문제 3A와 관련하여 문제가 있습니다. softmax 예측 함수 및 교차 엔트로피 손실 함수와 함께 스킵 그램 word2vec 모델을 사용할 때 예측 된 단어 벡터에 대한 기울기를 계산하려고합니다. 따라서 softmax 기능이 주어집니다.

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

교차 엔트로피 기능 :

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

\ frac {\ partial {CE}} {\ partial {\ hat {r}}}을 ( 를) 계산해야합니다.$\frac{\partial{CE}}{\partial{\hat{r}}}$

내 단계는 다음과 같습니다.

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

이제 $w_k$ 는 하나의 핫 벡터이며 i는 올바른 클래스입니다.

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

이것이 맞습니까? 아니면 더 단순화 할 수 있습니까? 문제 세트 솔루션이 온라인에 게시되지 않았으므로 올바른 방향으로 가고 있는지 확인하고 싶습니다. 또한 프로그래밍 과제를 올바르게 수행하려면 서면 과제를 올바르게받는 것이 중요합니다.

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ 는 로 다시 쓸 수 있습니다. 참고로, 합계는 j로 색인화되지만 실제로는 2 개의 다른 변수 여야합니다. 이것은 더 적합합니다 번역 $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$