(상호 작용) 복합 후부 MCMC

9

MCMC를 사용하여 특히 서로 멀리 떨어진 많은 모드를 가진 후부에서 샘플링하려고합니다. 대부분의 경우 이러한 모드 중 하나에 만 내가 찾고있는 95 % hpd가 포함되어 있습니다. 강화 시뮬레이션을 기반으로 솔루션을 구현하려고 시도했지만 실제로는 "캡처 범위"에서 다른 "캡처 범위"로 전환하는 데 비용이 많이 들기 때문에 만족스러운 결과를 제공하지 못합니다.

결과적으로,보다 효율적인 솔루션은 서로 다른 시작 지점에서 많은 간단한 MCMC를 실행하고 MCMC가 서로 상호 작용하도록하여 주요 솔루션으로 뛰어 드는 것 같습니다. 그러한 아이디어를 구현할 적절한 방법이 있는지 알고 있습니까?

참고 : 필자가 찾고있는 것에 가깝게 보이지만 실제로는 디자인을 이해하지 못하는 http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf (Distributed Markov chain Monte Carlo, Lawrence Murray) 종이를 발견했습니다. 함수 . $R_i$

[편집] : 답변이 부족하면 초기 문제에 대한 명확한 해결책이 없음을 나타냅니다 (다른 출발점의 동일한 대상 분포에서 여러 MCMC 샘플링이 서로 상호 작용하도록 함). 그게 사실입니까? 왜 그렇게 복잡합니까? 감사

— 푸프
소스

내가 "인구 MCMC"를 사용한 적이있는 것 같습니다. Calderhead와 Girolami의 "열역학적 통합 및 모집단 MCMC를 통한 Bayes 요인 추정"을 참조하십시오. 이것이 조금 늦어지면 미안하지만 다른 사람들은 그 참고에 감사 할 것입니다!

— Sam Mason

아마도 MCMC 인구와 동일하게 Sequential Monte Carlo가 있습니다.

— Robert P. Goldman

1

무엇보다도 당신이 언급 한 논문의 "분산 마르코프 체인 몬테 카를로"가 명확하게 언급되어 있지 않기 때문에 더 나은 방법이나 적어도 더 깊이 설명 된 방법을 찾는 것이 좋습니다. 장점과 단점은 잘 조사되지 않았습니다. 최근에 " Wormhole Hamiltonian Monte Carlo " 라고 불리는 arxiv에 나타난 방법이 있는데, 확인하는 것이 좋습니다.

당신이 참조한 논문으로 돌아가서, 원격 제안 $R_{i}(\theta_{i})$ 매우 모호하게 설명되어 있습니다. 적용 부분에서는 "이전 t / 2 샘플에 대한 최대 우도 가우시안"으로 설명됩니다. 어쩌면 이것은 마지막 t / 2 값의 평균을 의미합니다. $i^{th}$ 체인? 참고 문헌에 나와있는 잘못된 설명으로 추측하기는 다소 어렵습니다.

[업데이트 :] 여러 체인 간의 상호 작용과 사후 분포에서 샘플링하기위한이 아이디어의 적용은 병렬 MCMC 방법에서 찾을 수 있습니다 (예 : here) . 그러나 여러 체인을 실행하고 이들을 상호 작용하도록 강요하면 다중 모달 후부에 적합하지 않을 수 있습니다. 다른 덜 뚜렷한 영역 / 모드를 탐색하지 않습니다. 따라서 멀티 모달 문제를 위해 특별히 설계된 MCMC를 찾아 보는 것이 좋습니다. 그리고 다른 방법이나 새로운 방법을 만들고 싶다면 "시장"에서 무엇을 사용할 수 있는지 알고 나면보다 효율적인 방법을 만들 수 있습니다.

— 토마스
소스

당신의 도움을 주셔서 감사합니다. 이것은 내가 예상했던 것이 아니지만 어쩌면 도달 할 수없는 것을 찾고 있습니다. 나는 현재 조사 중입니다 (저는 해밀턴 MCMC가 필요로하는 모든 것을 이끌어 낼 수 있는지 확실하지 않습니다), 나는 당신의 참고 문헌을 통해 찾은 소위 대담한 MC입니다. 나는 당신에게 현상금을 제공, 당신의 조언을 다시 한번 감사드립니다.

— peuhp

@peuhp, 이것은 위에서 언급 한 Hamiltonian 방법과 밀접한 관련이 있지만 Equi-Energy Sampler 는 다중 모달 후 분포 방법으로 특별히 청구되는 MCMC 방법입니다. 병렬 체인을 여러 개 시작하고 체인 간 점프를 허용하여 작동하지만 답을 게시하는 방법에 대한 지식 / 경험이 충분하지 않습니다. 링크를보십시오. 이게 도움이 되길 바란다.

— 매크로

1

multinest를 시도해야합니다 : https://arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest multimodal 분포에 대한 모수 샘플을 제공하는 베이지안 추론 엔진입니다.

github 링크에는 지침에 따라 컴파일하고 설치하는 다중 소스 코드가 포함되어 있습니다. 또한 사용하기 쉬운 파이썬 래퍼도 있습니다. 예제 코드에는 매개 변수를 제한하는 역할을하는 이전 섹션과 가능성을 포함하는 가능성 섹션이 있습니다. 설정 파일에는 모든 설정과 피팅 후 체인 폴더 다중 출력이 포함됩니다. 매개 변수 샘플을 제공합니다.

— 에릭 카마 우
소스

CV에 오신 것을 환영합니다. 훌륭한 답변에 감사드립니다. Githublink를 요약하여 답변을 향상시킬 수 있습니다.

— Ferdi

1

github 링크에는 지침에 따라 컴파일하고 설치하는 다중 소스 코드가 포함되어 있습니다. 또한 사용하기 쉬운 파이썬 래퍼도 있습니다. 예제 코드에는 매개 변수를 제한하는 역할을하는 이전 섹션과 가능성을 포함하는 가능성 섹션이 있습니다. 설정 파일에는 모든 설정과 피팅 후 체인 폴더 다중 출력이 포함됩니다. 매개 변수 샘플을 제공합니다.

— Eric Kamau

와. 대단해. 나는 당신의 대답을 upvoted. 나중에 링크를 공유 할 때마다 이러한 설명을 포함시킬 수 있습니다.

— Ferdi

0

이것은 계산 통계에서 어렵고 지속적인 문제로 보입니다. 그러나 제대로 작동해야하는 최첨단 방법이 몇 가지 있습니다.

이미 사후의 몇 가지 뚜렷한 모드를 발견했으며 이것이 가장 중요한 모드이며이 모드 주변의 후부가 합리적으로 정상이라면 행복하다고 가정하십시오. 그런 다음 이러한 모드에서 헤 시안을 계산할 수 있습니다 (예 : hessian = T를 사용하여 R에서 optim 사용). 그리고 사후를 법선 (또는 t 분포)의 혼합으로 근사 할 수 있습니다. Gelman 등의 p318-319 참조. (2003) "바이 예 데이터 분석". 그런 다음 정규 / t- 혼합 근사를 독립 샘플러의 제안 분포로 사용하여 전체 후부에서 샘플을 얻을 수 있습니다.

내가 시도하지 않은 또 다른 아이디어는 Annealed Importance Sampling (Radford Neal, 1998, 여기 링크 )입니다.

— 매트
소스

또 다른 것은, 만약 각각이 로컬로 "수렴 된"것으로 보이는 체인 세트를 가지고 있다면, 모든 체인의 조합에서 일종의 중요도-샘플링을 수행하는 것입니다. 그래도 확실하지 않습니다.

— Mat

포럼 Mat에 오신 것을 환영합니다. 자신의 답변을 주석 처리하는 대신 새로운 아이디어를 추가하기 위해 주저하지 말고 답변을 편집하십시오. :)

— brumar

0

다중 모 달성, 반발력이 강한 메트로폴리스 알고리즘 ( http://arxiv.org/abs/1601.05633 )을 위한 새로운 MCMC 방법을 시도하는 것은 어떻습니까? 이 멀티 모달 샘플러는 Metropolis 알고리즘과 같은 단일 튜닝 매개 변수와 함께 작동하며 구현이 간단합니다.

— 램
소스