MCMC에서 낮은 자기 상관을 갖는 것이 바람직한 이유는 무엇입니까?

11

MCMC에서 자기 상관을 확인해야하는 필요성에 대해 계속 읽습니다. 자기 상관이 낮은 것이 왜 중요합니까? MCMC와 관련하여 무엇을 측정합니까?

sampling autocorrelation mcmc

3

실제로, MCMC 샘플러에서 높은 음의 자기 상관 을 생성 할 수 있다면 ,이 샘플러는 iid 샘플링시 향상됩니다. 그러나 이것은 매우 드문 일입니다 ...

— Xi'an

4

자기 상관은 신호 값이 다른 시점에서 해당 신호의 다른 값과 얼마나 관련되는지를 측정 한 것입니다. MCMC와 관련하여 자기 상관은 사후 분포와는 독립적 인 다른 샘플이 얼마나 독립적인지를 나타내는 척도입니다. 낮은 자기 상관은 더 독립적 인 결과를 나타냅니다.

자기 상관 률이 높으면 채집 한 표본이 사후 분포를 정확하게 나타내지 않으므로 문제 해결에 대한 의미있는 정보를 제공하지 않습니다. 즉, 자기 상관 률이 낮을수록 체인의 효율성이 높아지고 견적이 향상됩니다. 일반적인 규칙은 자기 상관 률이 낮을수록 분석법이 효과적 일 때 필요한 샘플 수가 적지 만 (과도하게 단순화 될 수 있음) 것입니다.

— 헨리 해먼드
소스

MCMC에 대한 배경 지식이 없지만 마지막 문장이 지나치게 단순화되지 않은 것 같습니다. 오류 추정치에 대한 자동 상관의 영향을 살펴보면 값이 에서 여기서 는 동일한 관측치 에서 측정 된 자기 상관 시간 입니다. 만 가지는 것처럼되도록 대신에 '유효 측정' . 이 진술에 여전히 일부 단순화가 있습니까?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— 학습은 엉망이다

10

첫째, 가장 명백하게, 자기 상관이 높으면 N 개의 표본은 분포에 대한 N 개의 정보를 제공하지 않지만 그보다 적은 수의 정보를 제공합니다. ESS (실제 샘플 크기)는 실제로 얻는 정보의 양을 측정하는 한 가지 척도이며 autocorrelation 매개 변수의 기능입니다.

관련하여, 자기 상관 (autocorrelation)은 대표성이없는 샘플을 '단기'로 제공합니다. 또한 자기 상관이 많을수록 '단기'가 길어집니다. 매우 강한 자기 상관을 위해 단기는 전체 표본의 상당 부분 일 수 있습니다. 일반적인 직접 조치는 체인에서 자기 상관을 생성하기 때문에 개별 매개 변수가 아닌 블록 단위로 상호 상관 될 것으로 예상되는 매개 변수화 또는 샘플링 매개 변수입니다. 종종 사람들이 근본적인 문제 해결에 얼마나 도움이에 대한 몇 가지 논의가 있지만 예를 들어, '얇은' 여기 . Kass 1997 은 문제에 대한 비공식적 인 토론이지만 다른 사람들이 추천 할 수있는 새로운 것이있을 수 있습니다.

간단히 말해서, 강한 자기 상관 체인은 시작 조건에서 원하는 목표 분포에 도달하는 데 시간이 더 걸리지 만 정보가 적고 분포에 도달 할 때 탐색에 더 오랜 시간이 걸립니다.

— 공역 체
소스