기대 극대화 설명

EM 알고리즘 에 관한 매우 유용한 튜토리얼을 찾았습니다 .

튜토리얼의 예제와 그림은 단순히 훌륭합니다.

확률 계산에 대한 관련 질문 기대 최대화가 어떻게 작동합니까?

튜토리얼에 설명 된 이론을 예제에 연결하는 방법에 관한 또 다른 질문이 있습니다.

전자 단계에서, EM 함수를 선택 그 하한은 로그 P ( X , Θ ) 도처하고있는 g t ( Θ ( t ) ) = 로그 P ( X , Θ ( t가 ) ) .$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

우리의 예제에서 가 어떻게 보이는지는 매 반복마다 달라야합니다.$g_t$

$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

$Q(z)$$Q(z)=P(z|x;\Theta)$

감사합니다.

내가 발견 이 노트는 보충 자료에 무슨 일이 있었는지 알아내는 데 매우 유용.

연속성을 위해이 질문들에 약간 순서가 맞지 않을 것입니다.

---

첫째 : 왜 그런가

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$$\log(P(x;\theta))$$\theta^{(0)}$$\theta^{(1)}$$g_0$$\theta$

---

둘째 : 왜 불평등이 타이트 할 때

$$Q(z) = P(z|x;\theta)$$

이 부분에 대해서는 각주에 힌트가 있습니다.

$y=E[y]$

선택 된다는 것을 암시$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

우리의 분수를 만드는

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

$Q(z)$

---

마지막으로 : 는 무엇입니까$g_t$

내가 연결 한 메모에 제공된 답변은 보충 메모의 답변과 약간 다르지만 상수에 의해서만 다르며 최대화하므로 결과가 아닙니다. 노트에서 파생 된 내용은 다음과 같습니다.

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

이 복잡한 공식은 보충 노트에서 길게 이야기하지 않았을 것입니다. 이러한 용어는 대부분 최대화 할 때 버려지는 상수 일 것입니다. 우리가 처음 여기에 도착하는 방법에 관심이 있다면, 내가 연결 한 노트를 추천합니다.

$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$