전체 조건이 관절 분포를 결정할 수 있습니까?

모든 전체 조건 (Gibbs 샘플링에 사용됨)이 관절 분포를 결정할 수 있다고 들었습니다. 그러나 나는 왜 그리고 어떻게 이해하지 못한다. 아니면 잘못 들었습니까? 감사!

distributions

— 팀
소스

이 단순한 질문은 외형보다 깊어 해머 슬리-클리포드 정리로 이끈다. 전체 조건에서 관절 분포를 복구 할 수 있다는 사실은 Gibbs 샘플러를 가능하게하는 것입니다. 한계 가 관절 분포를 결정 하지 않는다는 것을 기억한다면 놀라운 결과로 보일 수 있습니다 .

관절, 조건부 및 한계 밀도에 대한 잘 알려진 정의로 공식적으로 계산하면 어떻게되는지 봅시다. 이후

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$ 우리는

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$ 그리고 우리는 정식 조건 조건에서 관절 밀도를 공식적으로 복구 할 수 있습니다.

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

이 공식적인 계산의 문제점은 관련된 모든 객체가 존재한다고 가정한다는 것입니다.

예를 들어, 우리에게 주어진다면 어떻게 될지 고려하십시오

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$ 그것은 다음과 같습니다

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$ 의 분모에 적분

(*)

$(*)$ 분기합니다.

다음을 사용하여 전체 조건에서 조인트 밀도를 복구 할 수 있습니다. $(*)$ 이 백서에서 논의한 호환성 조건이 필요합니다.

"호환 조건부 분포", Barry C. Arnold 및 S. James Press, 미국 통계 협회 저널 Vol. 84, No. 405 (1989), pp. 152-156.

마지막으로 Robert와 Casella의 책 에서 Hammersley-Clifford Theorem에 관한 토론을 읽으십시오.

— 선
소스

"완전한 .... 존재"가 무엇을 의미하는지 명확히 할 수 있습니까? 여기에는 두 가지 다른 문제가있는 것 같습니다. (i) 필수

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ 존재 하는가 아닌가? 그리고 (ii) 적분이 존재하면 그 가치는

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ? 아니면 언제든

X

$X$ 과

Y

$Y$ 조건부 밀도가

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ 존재하는 경우 적분의 값이

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ?

— Dilip Sarwate

고마워, @ 젠!

f_{Y}

$f_Y$ 과

f_{X | Y}

$f_{X|Y}$ 결정할 수있다

f_{X, Y}

$f_{X,Y}$ ,

f_{Y | X}

$f_{Y|X}$ 과

f_{X | Y}

$f_{X|Y}$ 또한 결정할 수 있습니다

f_{X, Y}

$f_{X,Y}$ . (1) 어느 것이 더 많은 정보를 제공합니까?

f_{Y}

$f_Y$ 또는

f_{Y | X}

$f_{Y|X}$ ? (2) 중복 / 중복 정보가 적은 정보

f_{X | Y}

$f_{X|Y}$ ,

f_{Y}

$f_Y$ 또는

f_{Y | X}

$f_{Y|X}$ ? (3) 중에서

f_{Y}

$f_Y$ 과

f_{Y | X}

$f_{Y|X}$ , 그들 중 하나는 다른 하나의 정보를 이미 제공하고 있습니까? 나는 그것이 정보 사이의 "교차점"인 것 같아

f_{Y}

$f_Y$ 그리고

f_{Y | X}

$f_{Y|X}$ 와 함께

f_{X | Y}

$f_{X|Y}$ 결정하다

f_{X, Y}

$f_{X,Y}$ .

— Tim

안녕하세요 @Tim.

f_{Y}

$f_Y$ 당신에 대한 불확실성을 나타냅니다

Y

$Y$ , 동안

f_{Y ∣ X}

$f_{Y\mid X}$ 불확실성을 나타냅니다

Y

$Y$ 의 가치를 알고 있다면

X

$X$ . "어느 정보가 더 포함되어 있습니까?" 쉬운 질문이 아닙니다. 만약

f_{X ∣ Y}

$f_{X\mid Y}$ 과

f_{Y ∣ X}

$f_{Y\mid X}$ (아놀드와 프레스의 의미에서) 호환 가능하다.

f_{X, Y}

$f_{X,Y}$ ...을 통하여

(*)

$(*)$ .

— Zen

나는 현재 같은 문제로 어려움을 겪고 있습니다. Gibbs Sampling에 대한 (적어도 내가 읽은 것) 소개에서는 언급되지 않았기 때문에 호환 가능한 조건부 배포가 필요하다는 점에 약간 혼란 스럽습니다. 또는 예를 들어 (*)와 같이 관절 분포를 공식적으로 복구하려는 경우 호환 조건부 분포가 필요합니다. -> Gibbs Sampling이 공동 분포를 근사하지 않습니까?

— sklingel

통계적 문제에 적용되는 일반적인 Gibbs 샘플링 설정에서는 관절 확률 (후방) 분포가 존재한다고 가정하므로이 관절 분포에서 파생 된 전체 조건이 호환됩니다. 이 경우를 제외하고 Gibbs 샘플링은 의미가 없습니다.

— 시안