스킵 그램 word2vec에 대한 그라디언트

나는 스탠포드 NLP 딥 러닝 수업의 과제 할당 문제 http://cs224d.stanford.edu/assignment1/assignment1_soln의 문제를 겪고 있습니다 .

중심 단어의 벡터에 대한 미분을 찾고있는 3a의 답을 이해하려고합니다.

스킵 그램에 대한 중심 단어 c 에 해당 하는 예측 단어 벡터 가 주어 지고 단어 예측은 word2vec 모델에서 찾은 softmax 함수로 이루어집니다.$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

여기서 w 는 w 번째 단어를 (w = 1, ..., W)는 어휘의 모든 단어에 대한 "출력"단어 벡터입니다. 이 예측에 교차 엔트로피 비용이 적용되고 단어 o 가 예상 단어라고 가정합니다.$u_w$

여기서 는 모든 출력 벡터의 행렬이며 는 단어의 예측의 열 벡터이며 y 는 one-hot 레이블입니다. 또한 열 벡터입니다.$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

교차 엔트로피가$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

따라서 중심 벡터의 기울기에 대한 답은$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

누군가 나에게 이것에 도달하는 단계를 보여줄 수 있습니까? 이 질문을 참조로 사용 했습니다. word2vec에서 교차 엔트로피 손실의 파생물 이지만 를 알고 싶습니다대표.$U^T(\hat{y} − y).$

먼저 우리가 얻은 것과 다른 벡터의 모양에 대한 가정을 정리해 봅시다. 허락하다,

1. $|W|$어휘에 포함 된 단어 수
2. $y$ 및 는 모양의 열 벡터입니다. x 1$\hat{y}$$|W|$
3. $u_i$ 및 는 모양 X 1 의 열 벡터입니다 ( = 포함 차원).$v_j$$D$$D$
4. $y$ 는 모양의 원-핫 인코딩 된 열 벡터입니다x 1$|W|$
5. $\hat{y}$ 는 모양의 softmax 예측 열 벡터입니다. x 1$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. 교차 엔트로피 손실 :$J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$ 는 열 벡터 로 구성된 행렬 입니다.$u_k$

이제 . 이제 는 one-hot 인코딩이므로 모든 요소가 인덱스를 제외하고 0 입니다. 즉, 해당하는 위의 합계에는 0이 아닌 항이 있고 합계의 다른 모든 항은 0입니다. 따라서 비용은 다음과 같이 쓸 수도 있습니다. 참고 : 위의 는 1입니다.

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

풀기 : $\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

될 수있는 재 배열 등 : 정의 (6)을 사용하여 위 방정식을 다음과 같이 다시 작성할 수 있습니다.

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

이제 이것을 매트릭스 표기법으로 어떻게 작성할 수 있는지 봅시다.

1. $u_k$ 는 행렬 벡터 곱셈으로 쓸 수 있습니다 :$U.y$
2. 그리고 벡터의 선형 변환이다 에서 의해 스케일링 각각. 이것을 다시 로 쓸 수 있습니다$\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

따라서 모든 것을 간결하게 다음과 같이 쓸 수 있습니다.

$$U[\hat{y} -y]$$

마지막으로, 가 열 벡터 라고 가정했습니다 . 행 벡터로 시작한 경우 찾고 있던 것과 동일한 가됩니다.$u_i$$U^T[\hat{y} -y]$