중복 평균 매개 변수화가 Gibbs MCMC의 속도를 높이는 이유는 무엇입니까?

Gelman & Hill (2007)의 저서 (회귀 및 다중 레벨 / 계층 모델을 사용한 데이터 분석)에서 저자는 중복 평균 매개 변수를 포함하면 MCMC 속도를 높일 수 있다고 주장합니다.

주어진 예제는 "비행 시뮬레이터"(Eq 13.9)의 중첩되지 않은 모델입니다.

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

그들은 평균 매개 변수를 추가하는 변수화를 추천 및 다음과 같다 : $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

제공되는 유일한 정당화는 다음과 같습니다 (420 페이지).

전체 벡터 (또는 )가 0에서 멀리 떨어져 있는 구성 (평균이 0 인 분포가 할당 된 경우에도) 에서 시뮬레이션이 중단 될 수 있습니다 . 궁극적으로 시뮬레이션은 올바른 분포로 수렴되지만 기다릴 필요는 없습니다. $\gamma$ $\delta$

중복 평균 매개 변수가이 문제에 어떻게 도움이됩니까?

비 중첩 모델은 주로 와 로 인해 음의 상관 관계가 있기 때문에 느립니다 . (실제로, 하나가 올라가면, 그 합계가 데이터에 의해 "고정 된"경우 다른 하나는 내려 가야합니다). 중복 평균 모수는 와 사이의 상관 관계를 줄이는 데 도움이 됩니까? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— 하이젠 베르크
소스

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

일반적으로 계층 적 센터링 개념에 대한 직관적 인 통찰력을 원합니다 (문제의 특정 사례는 계층 적 센터링을 직접 적용하기 때문에). 통찰력을 얻고 자하는 요점은 다음과 같습니다. 그룹 수준의 분산이 총 분산의 상당 부분 인 경우 왜 계층 적 센터링이 작동 합니까? Gelfand 등의 논문. 이것은 수학적으로 증명되지만 (즉, 상관 관계를 도출하고 그 한계 동작을 찾는) 직관적 인 설명이 없습니다.

— Heisenberg

$\mu$ $\gamma_j$ $\delta_k$

$\gamma_j$ $\delta_k$ $\mu$

매우 명확한 설명 섹션 25.1 '계층 적 센터링이란 무엇입니까?'를 참조하십시오. 윌리엄 J. 브라운 (William J. Browne ) 등의 (무료로 제공되는) 책 'MLwiN의 MCMC 추정'에서 http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
소스

'MCMC 추정 MlwiN'의 섹션 25.1은이 "계층 적 센터링"기술을 설명하지만 그것이 작동한다고 주장하는 것 이상의 세부 사항은 다루지 않습니다. 참조를 통해,이 기술의 실제 증거는 Gelfand et al, Biometrika vol 82 Issue 3에 의해 정상 선형 혼합 모델에 대한 효율적인 매개 변수 기사에 나와 있음을 발견했습니다.

— Heisenberg

위의 기사는 설명없이 정규 분포의 특성을 사용합니다. Kevin Murphy 의 Gaussian 분포 에 대한 Conjugate Bayesian 분석 에서 이러한 속성의 증거를 찾았습니다 .

— Heisenberg

불행히도, 나는이 기술이 왜 효과가 있는지에 대한 직관적 인 설명을 아직 보지 못했습니다.

— Heisenberg

늦었지만 이 논문 이 여러분이 찾고있는 것일 수도 있습니다.

— baruuum