Metropolis-Hastings 알고리즘이있는 MCMC : 제안 선택


13

3 매개 변수 함수의 적분을 평가하기 위해 시뮬레이션을 수행해야합니다. f매우 복잡한 수식이 있습니다. MCMC 방법을 사용하여 계산하고 Metropolis-Hastings 알고리즘을 구현하여f제안 분포로 3 가지 변이 법선을 사용하는 것이 좋습니다. 그것에 대한 몇 가지 예를 읽으면, 일부는 고정 매개 변수 와 함께 정규 변수를 사용하고 일부는 변수 평균 와 함께 사용하는 것을 보았습니다 . 여기서 는 마지막으로 허용되는 값입니다 에 따라 분포 된대로 . 두 가지 접근 방식에 대한 의문이 있습니다.N(μ,σ)N(X,σ)Xf

1) 제안 된 배포의 새로운 평균으로 마지막으로 허용 된 값을 선택하는 의미는 무엇입니까? 내 직감은 우리의 가치가 분포 된 가치에 더 가깝고 수용 가능성이 더 커질 것이라고 보장해야한다고 말합니다 . 하지만 샘플에 너무 많이 집중되지 않습니까? 더 많은 샘플을 얻으면 체인이 정지 상태가 될 것입니까?f

2) 고정 매개 변수를 선택하지 않습니까 ( 는 분석하기가 어렵 기 때문에) 실제로 어렵고 알고리즘을 시작하기 위해 선택 해야하는 첫 번째 샘플에 의존하지 않습니까? 이 경우 어떤 것이 더 좋은지 찾는 가장 좋은 방법은 무엇입니까?f

이러한 접근법 중 하나가 다른 접근법보다 낫습니까?

나는 의심의 여지가 분명하기를 희망하며 일부 문헌을 제공 할 수 있다면 기쁠 것입니다 (테마에 대한 논문을 읽었지만 더 좋습니다)

미리 감사드립니다!

답변:


10

1)이 방법은 랜덤 보행 방식으로 생각할 수 있습니다. 제안서 분포 를 일반적으로 메트로폴리스 알고리즘이라고합니다. 경우 너무 작습니다, 당신은 높은 수용 률이 매우 천천히 대상 분포를 모색 할 것입니다. 실제로 가 너무 작고 분포가 다중 모달 인 경우 샘플러가 특정 모드에서 멈춰 대상 분포를 완전히 탐색하지 못할 수 있습니다. 반면, 가 너무 크면 합격률이 너무 낮습니다. 3 차원이 있으므로 제안서 분포에는 공분산 행렬xxtN(xt,σ2)σ2σ2σ2Σ각 차원마다 다른 분산과 공분산이 필요할 것입니다. 적절한 선택Σ 어려울 수 있습니다.

2) 제안서 배포가 항상 N(μ,σ2)제안 분포는 현재 샘플에 의존하지 않기 때문에 독립적 인 Metropolis-Hastings 알고리즘입니다. 이 방법은 제안서 분포가 표본 추출하려는 목표 분포와 근사한 경우에 가장 효과적입니다. 정상적인 근사치를 선택하는 것이 어려울 수 있다는 것이 맞습니다.

방법의 성공 여부는 샘플러의 시작 값에 의존해서는 안됩니다. 어디에서 시작하든 Markov 체인은 결국 목표 분포에 수렴해야합니다. 수렴을 확인하기 위해 서로 다른 시작점에서 여러 체인을 실행하고 Gelman-Rubin 수렴 진단과 같은 수렴 진단을 수행 할 수 있습니다.


'2) 제안서 배포가 항상 N(μ,σ2)제안 배포가 현재 샘플에 의존하지 않기 때문에 독립적 인 Metropolis-Hastings 알고리즘입니다. " N(μ,σ2)대칭이므로 Metropolis-Hasting 알고리즘보다는 Metropolis 알고리즘이라고합니다. 나는 내 자신을 완전히 확신하지 못하므로 질문을하고 있습니다.
rhody

@rhody. 메트로폴리스 알고리즘은 현재 위치에서 컨디셔닝을 삭제하지 않습니다. 요점은 현재 위치의 대칭 제안으로 매개 변수 공간을 천천히 돌아 다니는 것입니다. 현재 위치와 대도시 수용 확률 계산에 의존하는 모든 대칭 제안을 사용하면 결국 목표 분포에 수렴됩니다. 독립 Metropolis-Hastings 알고리즘의 경우 제안서 분포가 목표 분포의 근사값이되기를 원하며 수락 확률에 대해 다른 계산을 사용합니다.
jsk

@rhody. 또한 정규 분포가 대칭 분포라는 것은 사실이지만 여기서 언급 된 대칭 유형은 아닙니다. q가 제안 분배이면, q (Y | X) = q (X | Y)이면 제안 분배는 대칭입니다. 만약qN(μ,σ2)이므로 q는 대칭이 아닙니다. q(Y)q(X) 모든 XY.
jsk

js xN(x,ε)대칭으로 간주됩니까?
user76284
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.