깁스 샘플링 및 일반 MH-MCMC

나는 Gibbs 샘플링과 Metropolis Hastings 알고리즘에 대해 약간의 독서를하고 있으며 몇 가지 질문이 있습니다.

내가 이해하는 것처럼 Gibbs 샘플링의 경우 큰 다변량 문제가있는 경우 조건부 분포에서 샘플링합니다. 즉, 하나의 변수는 샘플링하고 다른 변수는 모두 고정하고 MH에서는 전체 관절 분포에서 샘플링합니다.

문서가 말한 한 가지는 제안 된 샘플이 Gibbs Sampling에서 항상 수락 된다는 것입니다. 즉, 제안 수락 률은 항상 1입니다. 나에게 이것은 큰 다변량 문제의 경우 큰 이점처럼 보입니다. . 실제로 그런 경우, 사후 분포를 생성하기 위해 Gibbs Sampler를 항상 사용하지 않는 이유는 무엇입니까?

대도시 알고리즘을 사용하는 주된 이유는 결과 후방을 알 수없는 경우에도이를 사용할 수 있다는 사실에 있습니다. 깁스 샘플링의 경우 변형되는 사후 분포를 알아야합니다.

Gibbs 샘플링은 (아마도 높은 차원의) 매개 변수 공간을 여러 개의 낮은 차원 단계로 분류했기 때문에 샘플링에서 차원의 저주를 해제합니다. Metropolis-Hastings는 거부 샘플링 기술 생성의 일부 차원 문제를 완화하지만, 여전히 전체 다변량 분포 (샘플 수락 / 거부 결정)에서 샘플링하여 알고리즘이 차원의 저주로 고통받습니다.

이 간단한 방법으로 생각하십시오 : 모든 변수를 동시에 (Metropolis Hastings)보다 한 번에 하나의 변수 (Gibbs)에 대한 업데이트를 제안하는 것이 훨씬 쉽습니다.

그 말로, 매개 변수 공간의 차원은 잠재적으로 수렴 할 수없는 더 많은 매개 변수가 있기 때문에 Gibbs와 Metropolis Hastings의 수렴에 여전히 영향을 미칩니다.

Gibbs 루프의 각 단계가 닫힌 형태 일 수 있기 때문에 Gibbs도 좋습니다. 이는 종종 각 매개 변수가 다른 몇 가지에만 적용되는 계층 적 모델의 경우입니다. 각 Gibbs 단계가 닫힌 형태가되도록 모델을 구성하는 것이 매우 간단합니다 (각 단계가 켤 때 "반 접합"이라고도 함). 알려진 분포에서 샘플링하기 때문에 매우 빠르기 때문에 좋습니다.