MCMC / EM 제한? EM보다 MCMC?

현재 R의 JAGS를 사용하는 계층 적 베이지안 모델을 배우고 있으며 Python을 사용하는 pymc ( "Bayesian Methods for Hackers" ) 도 배우고 있습니다.

이 포스트 에서 직관을 얻을 수 있습니다 . "알고 싶은 복잡한 분포에서 독립 표본을 채취 한 것처럼"있는 것처럼 "보이는 숫자 더미로 끝납니다. 조건부 확률을 제공 한 다음 조건부 확률을 기반으로 메모리가없는 프로세스를 생성 할 수있는 것과 같습니다. 프로세스를 충분히 오래 생성하면 조인트 확률이 수렴 할 수 있으며 생성 된 시퀀스의 끝에서 숫자 더미를 가져올 수 있습니다. 복잡한 관절 분포에서 독립 표본을 추출하는 것과 같습니다. 예를 들어, 히스토그램을 만들 수 있고 분포 함수에 근접 할 수 있습니다.

그렇다면 내 문제는 MCMC가 특정 모델에 대해 수렴하는지 여부를 증명해야합니까? 이전에 GMM 및 LDA (그래픽 모델)에 대한 EM 알고리즘을 배웠기 때문에이 사실을 알고 싶습니다. 수렴 여부를 증명하지 않고 MCMC 알고리즘을 사용할 수 있다면 EM보다 훨씬 더 많은 시간을 절약 할 수 있습니다. 예상 로그 우도 함수를 계산해야하고 (사후 확률을 계산해야 함) 예상 로그 우도를 최대화해야합니다. MCMC보다 더 성가신 것 같습니다 (조건부 확률을 공식화하면됩니다).

또한 우도 함수와 사전 분포가 공액인지 궁금합니다. MCMC가 수렴해야한다는 의미입니까? MCMC와 EM의 한계에 대해 궁금합니다.

EM은 최적화 기법입니다. 유용한 잠재 변수가있을 가능성이있는 경우 시작 값에 따라 전역 최대 값일 수있는 로컬 최대 값을 반환합니다.

MCMC는 시뮬레이션 방법입니다. 잠재 변수가 있거나없는 가능성이 주어지면 사전에 사후 분포에서 대략 분포 된 표본을 생성합니다. 해당 샘플의 첫 번째 값은 일반적으로 시작 값에 따라 달라지며 번인 (또는 예열) 단계로 폐기되는 경우가 많습니다.

이 표본을 사후 분포 (대부분의 경우)와 관련된 적분을 평가하는 데 사용하는 경우 수렴 특성은 인체 공학적 정리로 인해 iid Monte Carlo 근사치와 본질적으로 동일합니다.

더 많은 것이 필요한 경우, 즉 보증 $(x_t,\ldots,x_{t+T})$ 후부의 샘플입니다 $\pi(x|\mathfrak{D})$예를 들어, R 패키지 CODA 에서 일부 수렴 평가 기법을 사용할 수 있습니다 . 이론적으로 수렴을 보장하는 도구는 아마도 당신의 손이 닿지 않는 것입니다. 예를 들어 완벽한 샘플링 또는 리 웨일 방식 입니다.