Markov 체인 기반 샘플링이 Monte Carlo 샘플링에 가장 적합한가요? 사용 가능한 대체 계획이 있습니까?

10

Markov Chain Monte Carlo는 Markov 체인을 기반으로하는 방법으로, 샘플을 직접 그릴 수없는 비표준 분포에서 샘플 (Monte Carlo 설정)을 얻을 수 있습니다.

제 질문은 Markov 체인이 Monte Carlo 샘플링에서 "최첨단"인 이유입니다. 다른 질문은 Monte Carlo 샘플링에 사용할 수있는 Markov 체인과 같은 다른 방법이 있습니까? 나는 MCMC가 (a)주기 (periodicity), 동질성 (homogeneity) 및 세부적인 균형 (balance)과 같은 조건에서 이론적 인 뿌리를 가지고 있지만 Monte에 대해 "비교할 수있는"확률 론적 모델 / 방법이 있는지 궁금하다. 마르코프 체인과 유사한 카를로 샘플링.

질문의 일부를 혼동했거나 혼란스러워 보이는 경우 안내해주십시오.

— 이크 람 울라
소스

11

MCMC 샘플링이 "최고의"몬테 카를로 방법이라고 말할 이유가 없습니다! 일반적으로,이 대향에 더 이상 생성 몬테카를로 추정기의 분산의 관점에서, IID 샘플링보다

\frac{1}{T} \sum_{t = 1}^{T} h (X_{t})

$\frac{1}{T}\sum_{t=1}^T h(X_t)$ 실제로이 평균은 기대에 수렴하지만

E_{π} [h (X)]

$\mathbb{E}_{\pi}[h(X)]$ 언제

π

$\pi$ Markov 체인의 고정적이고 제한적인 분포입니다.

(X_{t})_{t}

$(X_t)_t$ MCMC 방법을 사용하는 데에는 두 가지 단점이 있습니다.

체인은 "정상성에 도달"해야합니다. 즉, 시작 가치를 잊어야합니다. $X_0$ . 다시 말해, $t$ "충분히 커야합니다" $X_t$ 에서 배포 $\pi$ . 때로는 "충분히 큰"것이 실험을위한 컴퓨팅 예산의 몇 배를 초과 할 수 있습니다.
가치 $X_t$ 상관 관계가 있으며, 이로 인해 점근 적 차이가 발생합니다. ${var}_{π} (X) + 2 \sum_{t = 1}^{\infty} {cov}_{π} (X_{0}, X_{t})$ $\text{var}_\pi(X)+2\sum_{t=1}^\infty\text{cov}_\pi(X_0,X_t)$ 일반적으로 초과 $\text{var}_\pi(X)$ 따라서 iid 샘플보다 더 긴 시뮬레이션이 필요합니다.

MCMC는 특히 규칙적인 iid 샘플링이 불가능하거나 너무 비싸고 중요도 샘플링이 캘리브레이션이 어려운 경우, 특히 시뮬레이션 할 랜덤 변수의 차원 때문에 설정을 처리하는 데 매우 유용합니다.

그러나 입자 필터와 같은 순차적 인 Monte Carlo 방법은 동적 모델에서 더 적합 할 수 있습니다. 동적 모델에서는 데이터가 즉각적인주의가 필요하고 잠시 후에 사라질 수도 있습니다 (즉, 저장할 수 없음).

결론적으로 MCMC는 일반적인 Monte Carlo 솔루션이 실패하는 복잡한 설정을 처리하는 데 매우 유용하고 많이 사용되는 도구입니다.

— 시안
소스

8

분포에서 임의의 값을 생성하는 방법에는 여러 가지가 있지만 McMC는 그중 하나이지만 몬테카를로 방법으로 간주 될 수도 있습니다 (Markov 체인 부분 제외).

일 변량 샘플링의 가장 직접적인 방법은 균일 한 랜덤 변수를 생성 한 다음이를 역 CDF 함수에 연결하는 것입니다. 역 CDF가있는 경우에는 효과가 있지만 CDF 및 / 또는 그 역이 직접 계산하기 어려운 경우에는 문제가됩니다.

다변량 문제의 경우, copula에서 데이터를 생성 한 다음 생성 된 값에 대해 역 CDF 방법을 사용하여 변수 사이에 일정한 수준의 상관 관계를 갖습니다 (원하는 상관 수준을 얻기 위해 copula에 올바른 매개 변수를 지정하면 종종 시행 착오).

거부 샘플링은 CDF 나 그 역을 알 필요가없고 밀도 함수에 대한 정규화 상수가 필요하지 않은 분포 (단 변량 또는 다변량)에서 데이터를 생성하는 데 사용할 수있는 또 다른 방법입니다. 그러나 시간이 오래 걸리는 경우에는 비효율적 일 수 있습니다.

랜덤 포인트가 아닌 생성 된 데이터의 요약에 관심이있는 경우 중요도 샘플링이 또 다른 옵션입니다.

McMC 샘플링의 형태 인 Gibbs 샘플링을 사용하면 다른 변수가 주어진 각 변수에 대한 조건부 분포를 알기 만하면 다변량 분포의 정확한 형태를 모르는 곳에서 샘플링 할 수 있습니다.

알고있는 것과 모르는 것 및 특정 문제에 대한 기타 세부 사항에 따라 다른 것이 있습니다. McMC는 많은 상황에서 잘 작동하고 다양한 사례로 일반화되기 때문에 인기가 있습니다.

— 그렉 스노우
소스