깁스 샘플링과 관련된 혼란

내가 건너 온 이 문서 는 깁스가 모든 샘플을 샘플링으로 인정되는 것을 말한다. 약간 혼란 스러워요. 수용된 모든 표본이 고정 분포로 수렴하면 어떻게됩니까?

일반적으로 Metropolis Algorithm은 min (1, p (x *) / p (x))로 받아들입니다. 여기서 x *는 샘플 포인트입니다. x *는 밀도가 높은 위치를 가리 키므로 목표 분포로 이동한다고 가정합니다. 따라서 나는 화상 기간 후에 목표 분포로 이동한다고 가정합니다.

그러나 Gibbs 샘플링에서는 모든 것을 받아들이므로 다른 위치로 이동할 수 있지만 고정 / 목표 분포로 수렴한다고 어떻게 말할 수 있습니까?

분포가 있다고 가정하자 $p(\theta) = c(\theta)/Z$ . Z를 계산할 수 없습니다. 대도시 알고리즘에서는이 용어를 사용합니다. $c(\theta^{new})/c(\theta^{old})$ 분포를 통합 $c(\theta)$ 더하기 정규화 상수 Z는 취소됩니다. 그래서 괜찮아

그러나 Gibbs 샘플링에서 분포를 사용하는 곳은 어디입니까? $c(\theta)$

종이에 예를 들어 http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf 의 주어진

따라서 표본을 추출 할 정확한 조건부 분포가없고 조건부 분포에 직접 비례하는 것이 있습니다

여기에 이미지 설명을 입력하십시오

mcmc gibbs metropolis-hastings

— 사용자
소스

Metropolis-Hastings에서 발생하는 상황

p (x *) / p (x)

$p(x*)/p(x)$ 항상 1 이었어요?

— Glen_b-복지 주 모니카

답변:

Metropolis-Hastings 알고리즘을 사용할 때 허용 비율을 계산해야합니다

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$ 그리고 임의의 변수 을두면 경우 임의 변수를 받아들 입니다.

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

그러나 Gibbs 샘플링에서 우리는 항상 임의의 변수를 제외하고 수용 비율을 계산할 필요가 없기 때문에 (실제로 수행하지만 실제로 플러그를 꽂으면 모든 것이 취소되고 수용 비율이 이므로 명확하게 나타납니다. 는 항상 보다 작기 때문에 항상 수락합니다). 그러나 Gibbs 샘플링에서 직접 샘플링 할 수있는 닫힌 양식 표현식 인 전체 조건부에서 샘플링하는 위치를 직관적으로 생각할 수 있으므로 Metropolis-Hastings 알고리즘과 같이 샘플을 거부 할 필요가 없습니다. 에서 샘플링하는 방법을 모르거나 일반적으로 형식을 인식하지 못합니다 . 희망이 도움이됩니다! $\alpha=1$ $U$ $\alpha$ $p(x)$

여기에 이미지 설명을 입력하십시오

나는 모든 것이 어떻게 취소되는지 알지 못했습니다. 3 개의 변수 의 분포 에서 샘플링해야한다고 가정 해 봅시다 . 따라서 닫힌 양식 표현에서 전체 조건을 말하려는 경우 p (x1 | x2, x3) p (x2 | x1, x3) 및 p (x3 | x1, x2)를 의미합니다. 내 질문은 Gibbs 샘플링의 경우 샘플링하려는 실제 분포 p에서 얻은 조건부 분포를 알고 있습니다. 이게 네가 말하는거야. Metropolis 알고리즘의 경우 p는 모르지만 p (x) = c (x) / Z와 같은 c와 같은 것이 있습니까 ??

p (θ)

$p(\theta)$

— user34790

변수 x1, x2 및 x3에 대한 임의의 값으로 시작하여 고정 분포가 필요한 분포를 수렴한다고 어떻게 말할 수 있습니까? 그 기준은 무엇입니까?

— user34790

분포 가 있다고 가정하십시오 . Z를 모르겠습니다. 그래서 Gibbs 샘플링을 사용하여 샘플링하는 방법

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

나는 왜 항상 하나의 위의 증거를 추가했습니다. Gibbs 샘플링을 사용하려면 전체 조건이 무엇인지 알아야합니다.

수용 비율이 오타로 1과 같다는 증거, 즉 중간 및 세 번째 부분의 분모에서 q에 대한 표현식은 z_i 소수를 가져야하므로 결국 P (z_i prime | z_i 소수)를 얻을 수 있습니다.

알렉스

— 사용자
소스