Gibbs Sampling 알고리즘은 자세한 균형을 보장합니까?

Gibbs Sampling은 Markov Chain Monte Carlo 샘플링을위한 Metropolis-Hastings 알고리즘의 특별한 사례라는 것이 최고 권위 ¹ 입니다. MH 알고리즘은 항상 상세 밸런스 특성으로 전이 확률을 제공합니다. 깁스도 그래야한다고 생각합니다. 다음 간단한 경우 어디에서 잘못 되었습니까?

두 개의 이산 (간단 함) 변수에서 목표 분포 경우 전체 조건부 분포는 다음과 같습니다. q 1 ( x ; y $\pi(x, y)$

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

I는 깁스 샘플링을 알고있는 것처럼, 전이 확률은 기록 될 수있다 :

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

문제는 하지만 얻을 수있는 가장 가까운 인 π ( Y 1 , Y 2 ) P (R) O B { ( Y 1 , Y 2

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ 미묘하게 다르며 자세한 균형을 의미하지는 않습니다. 어떤 생각에 감사드립니다! $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

Markov 체인의 한 번의 전환이 조건부 분포에서 차례로 각 구성 요소를 샘플링하는 'Gibbs 스윕'으로 간주하여 얻은 Markov 체인에 대한 자세한 균형을 표시하려고했습니다. 이 체인의 경우 자세한 균형이 충족되지 않습니다. 요점은 조건부 분포에서 특정 구성 요소의 각 샘플링이 세부적인 균형을 만족하는 전이라는 것입니다. Gibbs 샘플링은 약간 일반화 된 Metropolis-Hastings의 특수한 사례라고 말하면 더 정확합니다. 여러 개의 다른 제안을 번갈아 가며 사용합니다. 자세한 내용은 다음과 같습니다.

스윕이 상세한 균형을 만족시키지 않습니다

$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$

그러나이 체인에는 여전히 올바른 분배가 있습니다. 세부 균형은 목표 분포에 수렴하기에 충분하지만 반드시 필요한 것은 아닙니다.

부품 별 움직임은 상세한 균형을 만족시킵니다

조건부 분포에서 첫 번째 변수를 샘플링하는 2 변수 상태를 고려하십시오. 사이의 이동$(x_1,x_2)$$(y_1,y_2)$ 경우 양방향에서 0 확률$x_2 \neq y_2$따라서 이러한 경우에 상세한 균형이 명확하게 유지됩니다. 다음으로, 고려$x_2 = y_2$:

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

구성 요소 별 이동은 어떻게 Metropolis-Hastings가 이동합니까?

첫 번째 구성 요소에서 샘플링 한 제안 분포는 조건부 분포입니다. (다른 모든 구성 요소의 경우 현재 값을 확률로 제안합니다.$1$). 에서 이동 고려$(x_1, x_2)$ 에 $(y_1, y_2)$목표 확률의 비율은

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ 그러나 제안 확률의 비율은 $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ 따라서 목표 확률과 제안 확률의 비율은 역수이므로 수용 확률은 다음과 같습니다. $1$. 이런 의미에서 Gibbs 샘플러의 각 동작은 Metropolis-Hastings 동작의 특수한 경우입니다. 그러나이 관점에서 보는 전체 알고리즘은 서로 다른 제안 분포 (대상 변수의 각 구성 요소마다 하나씩)가 번갈아 가며 일반적으로 제시된 Metropolis-Hastings 알고리즘을 약간 일반화 한 것입니다.