베이지안 예측 분포 이해

9

Bayes 입문 과정을 진행 중이며 예측 분포를 이해하는 데 어려움이 있습니다. 왜 그것들이 유용하고 그 정의에 익숙한 지 이해하지만 이해하지 못하는 것이 있습니다.

1) 새로운 관측치 벡터에 대한 올바른 예측 분포를 얻는 방법

데이터에 대한 샘플링 모델 와 이전 고 가정 해 봅시다 . 관측 값 가 주어지면 조건에 독립적 이라고 가정합니다 . $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

일부 데이터 이전 를 사후 . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

새로운 관측치의 벡터를 예측하려면 , 이 공식 사용하여 사후 예측을 구해야한다고 생각합니다 동일하지 않은 그래서 예측 된 관측치는 독립적이지 않습니까? $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

그 Beta ( ) 및 Binomial ( ) 고정 . 이 경우, 6 개의 새로운 를 시뮬레이션 하고 싶다면 이것을 올바르게 이해하면 단일 관측치의 사후 예측에 해당하는 Beta-Binomial 분포와 독립적으로 6 개의 드로우를 시뮬레이션하는 것은 잘못된 것입니다. 이 올바른지? 관측치가 약간 독립적이지 않다는 것을 해석하는 방법을 모르겠으며, 이것을 올바르게 이해하고 있는지 잘 모르겠습니다. $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

사후 예측에서 시뮬레이션

사후 예측의 데이터를 시뮬레이션 할 때 여러 번이 체계를 따릅니다.

옵션 (1) 내지 : $b$ $B$

1) 샘플 에서 . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) 그런 다음 에서 새 데이터 을 시뮬레이션 합니다. $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

직관적으로 보이지만이 체계가 어떻게 작동하는지 증명하는 방법을 모르겠습니다. 또한 이름이 있습니까? 나는 칭의를 찾고 다른 이름을 시도했지만 운이 없었습니다.

감사!

bayesian prediction

— 프레드 L.
소스

stats.stackexchange.com/questions/72570/ 에서 비슷한 질문을 했지만 지금까지 더 많은 투표를 한 것으로 보입니다.

— John

4

한다고 가정 $X_1,\dots,X_n,X_{n+1}$ 주어진 조건부 독립 $\Theta=\theta$ . 그때,

{에프}_{{엑스}_{엔 + 1} ∣ {엑스}_{1}, \dots, {엑스}_{엔}} ({엑스}_{엔 + 1} ∣ {엑스}_{1}, \dots, {엑스}_{엔}) = \int {에프}_{{엑스}_{엔 + 1}, Θ ∣ {엑스}_{1}, \dots, {엑스}_{엔}} ({엑스}_{엔 + 1}, θ ∣ {엑스}_{1}, \dots, {엑스}_{엔}) 디 θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$ 첫 번째 평등은 총 확률의 법칙에 따르고, 두 번째 평등은 곱셈 규칙에서, 세 번째 평등은 가정 된 조건부 독립성에서 나옵니다.

Θ

$\Theta$ , 우리는 가치가 필요하지 않습니다

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$ 분포를 결정하기 위해

X_{n + 1}

$X_{n+1}$ .

시뮬레이션 구성표가 정확합니다. $i=1,\dots,N$ , 그리기 $\theta^{(i)}$ 분포에서 $\Theta\mid X_1=x_1,\dots,X_n=x_n$ 그런 다음 그립니다 $x_{n+1}^{(i)}$ 분포에서 $X_{n+1}\mid\Theta=\theta^{(i)}$ . 이것은 당신에게 샘플을 제공 $\{x_{n+1}^{(i)}\}_{i=1}^N$ 분포에서 $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$ .

— 선
소스

여러 기간에 걸쳐 사후 예측을 얻는다면 어떨까요? 나는 사용하고있다

θ^{(i)}

$\theta^{\left(i\right)}$ 각각

x_{n + j}

$x_{n+j}$ 하지만 새로운 세타를 다시 작성하는 것이 왜 의미가 있는지 알 수 있습니다.

— John

2

단계별 예측 분포를 단계별로 생성하는 직관에 대해 살펴 보겠습니다.

허락하다 $y$ 확률 분포에서 나온 관측 데이터로 구성된 벡터 $p(y|\theta)$ 그리고하자 $\tilde y$ 우리가 예측하고자하는 미래 (또는 표본 외) 값으로 구성된 벡터 여야합니다. 우리는 $\tilde y$ 와 같은 분포에서 나온다 $y$ . 최선의 추정치를 사용하고 싶을 수도 있습니다. $\theta$ 이 분포에 대한 정보를 얻기 위해 MLE 또는 MAP 추정과 같은 그러나 그렇게하는 것은 필연적으로 $\theta$ . 따라서 적절한 진행 방법은 사후 분포를 평균화하는 것입니다. $\theta$ 즉 $p(\theta|y)$ . 또한 주목하십시오 $\tilde y$ ~의 독립 $y$ 주어진 $\theta$ 동일한 분포에서 추출 된 독립 표본 인 것으로 가정하므로 $y$ . 그러므로,

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

사후 예측 분포 $\tilde y$ 따라서

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

어디 $\Theta$ 의 지원이다 $\theta$ .

이제 샘플을 어떻게 얻습니까? $p(\tilde y|y)$ ? 설명하는 방법을 구성 방법 이라고도하며 다음과 같이 작동합니다.

s = 1,2, ..., S의 경우

무승부 $\theta^{(s)}$ ...에서 $p(\theta|y)$

무승부 $\tilde y^{(s)}$ ...에서 $p(\tilde y|\theta^{(s)})$

대부분의 상황에서 우리는 이미 $p(\theta|y)$ 두 번째 단계 만 필요합니다.

이것이 작동하는 이유는 매우 간단합니다. $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ . 따라서 파라미터 벡터를 샘플링 $\theta^{(s)}$ ...에서 $p(\theta|y)$ 그런 다음이 벡터를 사용하여 샘플링 $\tilde y^{(s)}$ ...에서 $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ 관절 분포에서 샘플을 산출 $p(\tilde y, \theta|y)$ . 그 다음에 샘플링 된 값 $\tilde y^{(s)}, s=1,2,...,S$ 한계 분포의 표본입니다. $p(\tilde y|y)$ .

— Baruuum
소스

1

첫 번째 질문을 해결하기 위해 : 네, $\theta$ . 말해 봐요 $\tilde{y}_1$ 오히려 극단적 인 가치가 있습니다. 알 수없는 값이 $\theta$ 그 자체는 극단이므로 다른 관측치도 극심해야합니다.

— hr0nix
소스