사전에 부적절하게 어떻게 적절한 후방 분포를 이룰 수 있습니까?

적절한 사전 배포의 경우

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

이 단계에 대한 일반적인 정당성의 여백 분포이다 , ,에 대해 상수 인 사후 분포를 도출 할 때, 따라서 무시 될 수 있고. $X$ $P(X)$ $\theta$

그러나 이전에 부적절한 경우 사후 분포가 실제로 존재한다는 것을 어떻게 알 수 있습니까? 이 겉보기 순환 논쟁에 빠진 것이있는 것 같습니다. 다시 말해, 후부가 존재한다고 가정하면, 후자를 유도하는 방법의 역학을 이해하지만 그것이 왜 존재하는지에 대한 이론적 정당성이 빠져있는 것 같습니다.

PS I는 또한 이전에 부적절하게 부적절한 후부를 초래하는 경우가 있음을 알고 있습니다.

— jsk
소스

답변:

우리는 일반적으로 부적절한 전과에서 포스 테리어 동의 의 경우 존재하고 유효한 확률 분포 (즉,을 지원에 정확히 1로 통합됩니다). 본질적으로 이것은 로 한정됩니다. 이 경우, 우리는이 양의 전화 와 동의를 우리가 원하는 것을 사후 분포로. 그러나 이는 사후 분포가 아니며 조건부 확률 분포도 아닙니다 (이 두 문맥은 문맥 상 동의어 임). $\pi(\theta)$

\frac{π (엑스 ∣ θ) π (θ)}{π (엑스)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

이제는 위에서 언급 한 부적절한 선행으로부터 '전방'분포를 받아들 입니다. 그것들이 받아 들여지는 이유는 이전의 가 여전히 우리에게 매개 변수 공간에 상대적인 '점수'를 줄 것이기 때문입니다 . 즉, 분석에 의미가 있습니다. 경우에 따라 부적절한 사전에서 얻은 의미는 적절한 사전에 제공되지 않을 수 있습니다. 이것은 그것들을 사용하기위한 잠재적 정당성입니다. 부적절한 선행에 대한 실질적인 동기에 대한보다 철저한 조사는 Sergio의 답변을 참조하십시오. $\pi(\theta)$ $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

이 양의 는 바람직한 이론적 속성을 가지고 있음을 주목할 가치가 있습니다. Degroot & Schervish : $\pi(\theta \mid X)$

부적절한 사전 분포는 실제 확률 분포는 아니지만, 우리가 척척하는 경우, 우리는 이전 하이퍼 파라미터의 극단적 인 값을 가진 적절한 결합 사전 분포를 사용하여 얻은 사후를 근사하는 사후 분포를 계산할 것입니다.

나는 당신의 대답에 몇 가지 혼란 스럽습니다. 위의 내용이 유한하면 우리는 후자를 받아들이라고 말합니다. 적분이 유한하지 않다면 그 후부가 유한하지 않습니까? 또한,이 경우에 우리가 후자를 사용한다는 것을 암시하는 것처럼 보이지만 실제 배포가 아닙니다. 맞습니까? 실제 분포 인 경우는 없습니까? 또한, 이전의 비율이 이것과 어떤 관련이 있습니까? 연결이 보이지 않습니다.

— 벤 엘리자베스 워드

@BenElizabethWard 가 존재하면 반드시 가 존재해야합니다 (따라서 유한해야합니다). 대우도 마찬가지입니다 경우 수행 한 후 (무한) 존재하지 존재하지 않습니다. 존재하고 유효한 확률 분포 인 경우 는 확률 분포입니다. 그러나 주어진 데이터 가능성이 의 사후 분포는 아닙니다 . 그 이전의 후부는 존재하지 않습니다. 우리는 동의 우리의 분석이 때문에 근사치.

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard 비율은 이전에 여전히 적절한 이전에로드 할 수없는 유용한 정보를 포함하고 있음을 보여주기 위해 사용되었습니다. 이것을 포함하도록 답변을 편집하겠습니다.

@jsk 는 확률 분포가 아니지만 사후 분포의 정의는 가 확률 분포 여야하므로 를 사후 분포 라고 부르는 것을 속이는 확률 분포 일 때 Degroot & Schervish는 '.. 우리는 사후 분포를 계산할 것입니다 ..'라고 말하며, 인용문에서 앞서 언급 한 것처럼 '부적절한 사전'이 [적절한 사전]이라고 가정하기로 동의했습니다.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

미래 독자들이이 의견 교환을 읽을 필요가 없도록 답변을 완전하고 독립적으로 만들려면 답변을 업데이트 하시겠습니까?

— jsk

"이론적"답변과 "실용적"답변이 있습니다.

이론적 관점에서 볼 때, 선행이 부적절 할 경우, 후자는 존재하지 않지만 (음성있는 진술에 대한 Matthew의 대답을보십시오), 제한적인 형태로 근사화 될 수 있습니다.

데이터가 매개 변수가 인 Bernoulli 분포의 조건부 iid 샘플을 구성 하고 가 매개 변수가 및 인 베타 분포를 갖는 경우 의 사후 분포는 매개 변수가 ( 관측 성공) 및 평균이다 . 만약 우리가 사전 hypoparameters 이전에 부적절한 (그리고 비현실적인) 베타 분포를 사용하고 그 $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ , 우리는 비례하는 적절한 후방을 얻는다. 즉, 상수 인자를 제외하고 매개 변수 와 가진 베타 분포의 pdf . 이는 매개 변수 및 (Degroot & Schervish, 예 7.3.13)이 있는 베타에 대한 후부의 제한적인 형식입니다 . $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ $\alpha\to 0$ $\beta\to 0$

통상 평균이 모델에서 공지 분산 및 에 대한 사전 확률 분포 , 종래 정밀도의 경우, , 데이터 정밀도 비해 작 으면 사후 분포는 대략 같습니다. 즉, 사후 분포는 대략 가 의 상수에 비례 한다고 가정 한 결과입니다. $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$ 엄격히 가능하지는 않지만 이 접근함에 따라 제한 형태 가 존재한다 ( Gelman et al. , p. 52).

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

보기의 "실용"의 관점에서, 때 어떤 , 그래서 만약 을 입력 한 다음 . 와 같이 가능성이 인정 될 수있는 지역에서 사전 분포 의 국소 거동 을 나타 내기 위해 부적절한 사전이 사용될 수있다 . 충분히 근사한 것으로 가정하면 이전의 또는 이상 $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ , 우리는 그 범위를 벗어나면 제로에 적절하게 꼬리를 달기 위해 실제로 사용 된 사전이 올바른지 확인합니다 ( Box and Tiao , p. 21). 따라서 의 이전 분포 가 이지만 가 묶인 경우 인 것처럼 즉 입니다. 구체적인 예를 들어, 이것은 Stan 에서 발생하는 일 입니다. 매개 변수에 사전이 지정되어 있지 않으면 암시 적으로 사전에 균일 한 지원이 제공되며 이는 가능성에 대한 상수 곱셈으로 처리됩니다. $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— 세르지오
소스

왜 이론적 관점에서 이것이 존재하지 않는지에 대해 더 말할 수 있습니까?

— jsk

나는 그의 대답과 의견에서 Matthew보다 더 잘 설명 할 수 없었습니다.

— 세르지오

실용 섹션에서 y는 무엇입니까? 또한이 섹션에서 항 중 일부가 가능성이 있습니까?

p (θ ∣ x)

$p(\theta \mid x)$

p (x ∣ θ)

$p(x\mid \theta)$

— jsk

감사. 실수가 하나 더 있다고 생각합니다 ... 을 작성하지만 이전은 의존 할 수 없습니다 . 수행하면 평균 ?

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$

x

$x$

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$

— jsk

권리! Box & Tiao에서와 같이 수식을 다시 작성했습니다. 나는 균일 한 표기법을 선택하려고했다 (예를 들어 겔만 사용 대신 , 그룻 사용하는 전과 및 포스 테리어 등)하지만 난 ... 혼란에 감사를 종료!

y

$y$

x

$x$

ξ (.)

$\xi(.)$

— Sergio

그러나 이전에 부적절한 경우 사후 분포가 실제로 존재한다는 것을 어떻게 알 수 있습니까?

뒤쪽도 적절하지 않을 수 있습니다. 사전이 부적절하고 가능성이 평평한 경우 (의미있는 관찰이 없기 때문에), 후방은 이전과 같고 부적절합니다.

일반적으로 약간의 관찰이 있으며 일반적으로 가능성이 평평하지 않으므로 후방이 적절합니다.

— 닐 G
소스