한계 가능성에 대한 강력한 MCMC 추정기?

9

Monte Carlo 방법으로 통계 모델에 대한 한계 우도를 계산하려고합니다.

f (x) = \int f (x ∣ θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

가능성은 매끄럽고 로그 오목하지만 고차원으로 잘 작동합니다. 중요도 샘플링을 시도했지만 결과가 놀랍고 사용중인 제안에 크게 의존합니다. 나는 이것을 볼 때까지 해밀턴 몬테 카를로를 사용하여 후부 샘플을 계산하기 위해 이전에 보다 균일 하고 고조파 평균을 취하는 것으로 간주 했습니다 . 교훈은 조화 평균이 무한 분산을 가질 수 있다는 것을 배웠습니다. 거의 단순하지만 잘 동작하는 대안 MCMC 추정기가 있습니까? $\theta$

monte-carlo likelihood marginal

— 데이비드 포
소스

이전의 기본적인 몬테카를로 샘플링을 고려할 수도 있습니다.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— probabilityislogic

1

가능한 해결책 중 하나입니다. 이 경우 부적절한 사전은 더 이상 허용되지 않으며 매우 광범위한지지를 가진 사전은 아마도 Monte Carlo 근사를 어렵게 만들 수 있습니다.

— Zen

1

이 문제에 대한 완전한 책은 Chen, Shao and Ibrahim (2001) 입니다. 중첩 샘플링, 브리지 샘플링, 방어 샘플링, 입자 필터, Savage-Dickey와 같은 키워드를 검색 할 수도 있습니다.

— 시안

8

방법에 대한 어닐링 중요성 샘플링 ? 일반 중요도 샘플링보다 분산 이 훨씬 낮습니다. "골드 표준"이라고하는 것을 보았으며 "정상적인"중요도 샘플링보다 구현하기가 그리 어렵지 않습니다. 각 샘플에 대해 여러 MCMC 이동을 수행해야한다는 점에서 속도가 느리지 만 각 샘플의 품질은 매우 높기 때문에 추정치가 정해지기 전에 많은 샘플이 필요하지 않습니다.

다른 주요 대안은 순차 중요도 샘플링입니다. 제 생각에는 구현하기가 매우 간단하지만 순차적 인 Monte Carlo (AKA 입자 필터링)에 익숙해야합니다.

행운을 빕니다!

추가 편집 : 링크 된 Radford Neal 블로그 게시물과 유사하게 Annealed Importance Sampling도 추천합니다. 그것이 당신에게 잘 작동하는지 알려주십시오.

— 데이비드 제이 해리스
소스

2

이것은 한계 분포 계산에 약간의 도움을 줄 수 있습니다. 또한 Friel과 Pettitt가 도입 한 힘 후부를 통해 방법을 사용하는 것이 좋습니다 . 이 방법에는 약간의 한계가 있지만이 방법은 상당히 어려워 보입니다. 또는 정규 분포에 의한 사후 분포의 근사값을 라플라스로 계산할 수 있습니다.

— 토마스
소스