변형 베이와 EM의 관계

Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다.

는 데이터이고 는 잠재 변수의 모음이며 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 . 어디 S는 간단하고 다루기 쉬운 배포판입니다. $Y$ $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
EM 알고리즘은 MAP 포인트 추정치를 찾기 때문에 델타 함수를 사용하면 Variational Bayes가 EM으로 수렴 할 수 있다고 생각했습니다. . 은 EM에서 일반적으로 수행되는 모수에 대한 첫 번째 추정치입니다. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
경우 부여, KL 발산을 최소화하는 수식에 의해 발견된다 $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$ 위 식은단순화단계는 EM 알고리즘의 기대 단계와 동일합니다!
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

그러나 나는 이것을 계속하는 것으로 최대화 단계를 도출 할 수 없습니다. 다음 단계에서 를 계산해야 하고 Variational Bayes 반복 규칙에 따라 다음과 같습니다. $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

VB 및 EM 알고리즘이 실제로 이런 방식으로 연결되어 있습니까? 변형 베이의 특별한 사례로 EM을 도출 할 수있는 방법은 무엇입니까?

bayesian expectation-maximization variational-bayes

— 우 fu 캔 비시 치
소스

EM 알고리즘이 MAP 추정치를 찾는다는 것을 어디서 읽었습니까? Neal & Hinton (1998)이이 논문에서 제시 한 EM 의 견해 를 이해하면 변형 추론과 EM의 관계가 명확 해집니다 . 여기 내 답변도 참조 하십시오 .

— Lucas

필자는이 논문에서 설명하는 것과 같은 방식으로 EM 알고리즘을 배웠다고 생각합니다. 하한 최대화 문제로 간주됩니다. Jensen의 동등성과 변동의 미적분학을 사용하여 기대 단계에서

는

의 하한을 최대화하는 분포 이고 최대화 단계에서는

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

, 하한의 최대 값입니다. 따라서 이것은 변형 베이와 유사합니다. (그리고, 한계 후방의 로컬 최대 그러므로 MAP 추정치를 수렴)

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk 캔 Bicici

죄송합니다. 귀하의 질문을 충분히 읽지 못했습니다.

를 계산하는 최대화 단계 는 분포를 허용하는 경우, 즉 인수 분해 가정

는 경우에만 유효합니다. 그러나

가 델타 분포 라고 가정했습니다 .

의 매개 변수 인

와 관련하여 하한을 명시 적으로 최대화하십시오 .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Lucas

프레젠테이션 cs.cmu.edu/~tom/10-702/Zoubin-702.pdf 의 21 페이지 에서 Dirac 기능을 사용하여 EM과 VB를 비교 한 결과가 나왔습니다 . 그러나 VB가 EM으로 감소하는 방법은 제공되지 않습니다.

— Ufuk Can Bicici

$\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

물론 KL 발산을 실제로 평가한다면 그것은 무한대 일 것입니다. 그러나 델타 함수를 제한으로 생각하면 문제가되지 않습니다.

— 톰 민카
소스

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang