깁스 샘플링을 얻는 방법?

Gibbs 샘플링에 대한 다른 질문이나 Wikipedia가 언급 될까봐 두려워서 실제로 물어 보는 것이 주저하고 있지만, 그들이 실제로 무엇을 묘사하고 있는지에 대한 느낌이 없습니다.

조건부 확률 : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

조건부 확률 : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

우리는 결합 확률 유일하게 얻을 수 있습니다 . $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

우리는 미지수를 가지고 있지만 , 더 많은 ( ) 선형 방정식을 가지기 때문에 : $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

만큼 잘:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

$c_0=\tfrac{3}{4}b_0$ , 의해 빠르게 해결됩니다 $\tfrac{2}{3}c_0=a_1$ . 즉, $\tfrac{2}{4}b_0=a_1$ 을 $\tfrac{2}{6}(1-b_0)=a_1$ 합니다. 이것은 $b_0=\tfrac{2}{5}$ 를 제공하고 나머지는 다음과 같습니다.

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

이제 우리는 연속 사례로갑니다. 간격으로 가서 위의 구조를 그대로 유지하는 것은 상상할 수 있습니다 (알 수없는 것보다 많은 방정식으로). 그러나 임의 변수의 인스턴스를 (포인트) 이동하면 어떻게됩니까? 샘플링은 어떻게합니까

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

반복적으로 ? 제약 조건 과 하면 예를 들어 을 어떻게 보장 합니까? 과 마찬가지로 . 제약을 적고 첫 번째 원칙에서 Gibbs 샘플링을 도출 할 수 있습니까? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

따라서 Gibbs 샘플링을 수행하는 방법에 관심이 없지만 간단하게 파생시키는 방법에 관심이 있으며 (아마도 특정 조건에서) 작동하는지 증명하는 방법에 관심이 있습니다.

sampling mcmc gibbs

— 앤 반 로섬
소스

조건부 분포에서 공동 분포를 계산하는 것은 일반적으로 매우 어렵습니다. 조건부 분포를 임의로 선택하면 공통된 공동 분포가 존재하지 않을 수도 있습니다. 이 경우 조건부 분포가 일관됨을 보여주는 것조차 일반적으로 어렵습니다. 공동 분배를 유도하기위한 사용될 수있는 하나 개의 결과는 브룩의 보조 정리 , 고정 된 상태 를 선택하여 그 목적으로 자신을 성공적으로 사용한 적은 없었습니다. 이 주제에 대해 더 자세히 알아 보려면 Julian Besag의 작업을 살펴 보겠습니다.

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

그러나 Gibbs 샘플링이 작동한다는 것을 증명하려면 다른 경로를 사용하는 것이 좋습니다. 샘플링 알고리즘에 의해 구현 된 Markov 체인이 분포 를 변하지 않는 분포로 가지고 있고 돌이킬 수없고 비주기적인 경우 , Markov 체인은 해당 분포로 수렴합니다 (Tierney, 1994) . $p$

Gibbs 샘플링은 조건부 분포가 파생 된 관절 분포를 항상 일정하게 유지합니다. 대충 if 이고 샘플링 한 다음 $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

즉, 조건부 샘플링으로 를 업데이트 해도 샘플의 분포는 변경되지 않습니다. $x$

그러나 Gibbs 샘플링이 항상 되돌릴 수있는 것은 아닙니다 . 원하는 분포의 샘플을 이미 가지고 있다면 분포를 변경하지 않을 것이라는 점에서 우리는 항상 그것을 파괴하지 않고 적용 할 수 있지만, Gibbs 샘플링이 실제로 그것에 수렴 할 것인지 여부는 조인트 분포에 달려 있습니다 (간단한 충분 비 환원성 조건은 밀도가 모든 곳에서 양수라는 것이다 ). $p(\mathbf{x}) > 0$

— 루카스
소스

호환성에 관한 흥미로운 문제. 나는 이제 "비율 매트릭스"를 사용하여 호환성과 고유성을 설정하는 "유한 불연속 조건부 분포의 호환성"(Song et al.)을 확인하고 있습니다. 따라서 Gibbs는 이러한 제약 조건에서 시작하도록 강제되지 않으므로 이러한 제약 조건에서 파생 될 수 없습니다. 조건부 분포가 호환되지 않는 경우 부적절한 관절 분포 (합계> 1)가 반환 될 수 있습니다. 그러나 어쨌든 나는 내가하고있는 일이 결정 론적이며 라돈 변형과 비슷한 것이라고 생각합니다. 깁스 샘플링이 너무 더럽습니다.

— Anne van Rossum