MCMC 샘플링에서 후방 추론을위한 유효 샘플 크기

특정 매개 변수를 추론하기 위해 MCMC 샘플을 얻을 때 목표로해야하는 최소 유효 샘플 수에 대한 좋은 지침은 무엇 입니까?

그리고 모델이 다소 복잡 해짐에 따라이 조언이 변경됩니까?

내 생각에 그것은 아마도

의 "일정한"에 의존 할 것입니다

오차는 모델마다 다릅니다.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— probabilityislogic

묻는 질문은 "수렴 진단"과 다릅니다. 모든 수렴 진단을 실행하고 (좋아하는 것을 선택하십시오) 이제 후부에서 샘플링을 시작할 준비가되었습니다.

유효 샘플 크기 (ESS) 측면에서 두 가지 옵션이 있으며, 단 변량 ESS 또는 다변량 ESS를 선택할 수 있습니다. 일 변량 ESS는 각 모수에 대해 효과적인 표본 크기를 개별적으로 제공하며 보수적 인 방법에 따라 가장 작은 추정값을 선택합니다. 이 방법은 구성 요소의 모든 상호 상관을 무시 합니다 . 이것은 아마도 대부분의 사람들이 한동안 사용했던 것입니다

최근에는 ESS의 다변량 정의가 도입되었습니다. 다변량 ESS는 추정하려는 수량의 유효 표본 크기에 대해 하나의 숫자를 반환합니다. 프로세스의 모든 상호 상관을 설명함으로써 그렇게합니다. 개인적으로 저는 다변량 ESS를 선호합니다. 사후 분포 의 벡터에 관심이 있다고 가정하십시오 . mESS는 다음과 같이 정의됩니다. $p$ 여기

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

는 후부의 공분산 구조입니다 (독립적 인 표본이있는 경우 CLT의 점근 적 공분산) $\Lambda$
는 Markov chain CLT의 점근 적 공분산 행렬입니다 (샘플이 서로 연관되어 있기 때문에 와 다름). $\Sigma$ $\Lambda$
는 추정되는 수량의 개수입니다 (이 경우 후방의 치수). $p$
결정자입니다. $|\cdot|$

mESS는 샘플 공분산 행렬을 사용하여 를 추정 하고 배치 평균 공분산 행렬을 사용하여 를 추정 함으로써 추정 할 수 있습니다 . 이것은 R 패키지 mcmcse 의 함수 에서 코딩되었습니다 . $\Lambda$ $\Sigma$ multiESS

이 최근 논문은 필요한 유효 샘플 수의 이론적으로 유효한 하한을 제공합니다. 시뮬레이션하기 전에 결정해야합니다

$\epsilon$ $\epsilon$
$\alpha$
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

이는 규칙적인 조건 하에서 모든 문제에 해당됩니다 . 이 방법이 문제에 따라 적응하는 방식은 mESS가 더 작기 때문에 Markov 체인을 천천히 혼합하는 것이 그 하한에 도달하는 데 더 오래 걸린다는 것입니다. 이제 multiESSMarkov 체인이 해당 범위에 도달했는지 여부를 사용하여 몇 번 확인할 수 있습니다 . 그렇지 않으면 더 많은 샘플을 가져옵니다.

— 그린 파커
소스

(+1) 훌륭한 답변. 함수 multiESS가 MATLAB과 같은 다른 언어로 코딩되었는지 알고 있습니까? (또는 다시 구현하기가 어려울까요?)

— lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Matlab에서 코드를 작성할 수있어서 기쁩니다. 가능하면이 의견에 답장을 보내서 사용할 수 있도록하십시오. 감사합니다

— Greenparker

multiESS의 MATLAB 구현은 여기에서 볼 수 있습니다 . 테스트가 더 필요하지만 작동 버전입니다 (R에 익숙하지 않습니다. 그렇지 않으면 R 구현과 비교할 것입니다).

— lacerbi

수렴은 매개 변수 수, 모델 자체, 샘플링 알고리즘, 데이터 등 여러 가지에 따라 다릅니다.

일반적인 규칙을 피하고 각 특정 예에서 적절한 번인 (burn-in) 및 얇게하는 반복 횟수를 감지 하기 위해 몇 가지 수렴 진단 도구 를 사용하는 것이 좋습니다. 참조 http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— 몬테 크리스토
소스