베이지안 환경에서 이전의“잊어 버림”?

그것은 당신이 더 많은 증거를 가지고 (큰 형태로 말하는 것을 잘 알려져있다 에 대한 , 베이지안 전에 "잊혀진"도착 IID 예), 그리고 추론의 대부분은 증거 (또는 가능성)에 의해 영향을받습니다. $n$ $n$

다양한 특정 사례 (예 : 베타 이전의 Bernoulli 또는 다른 유형의 예)에서 쉽게 볼 수 있지만 일반적인 경우에는 및 일부 이전 ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

편집 : 나는 이전의 모든 경우에 대해 일반적인 경우에 표시 할 수 없다고 생각합니다 (예를 들어, 점 질량 이전은 후부를 점 질량으로 유지합니다). 그러나 아마도 이전의 것을 잊어 버린 특정 조건이있을 수 있습니다.

다음과 같은 종류의 "경로"를 생각하고 있습니다.

파라미터 공간 같다고 가정 및하자 및 되는 모든 곳에서 영이 아닌 확률 질량 두 전과 수 . 따라서 각 이전 금액에 대한 두 가지 사후 계산은 다음과 같습니다. $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

그리고

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

를 (후부)로 나누면 다음과 같은 결과가 나타납니다. $p$ $q$

피 (θ | {엑스}_{1}, \dots, {엑스}_{엔}) / 큐 (θ | {엑스}_{1}, \dots, {엑스}_{엔}) = \frac{피 (θ) \int_{θ} \prod_{나는} 피 ({엑스}_{나는} | θ) 큐 (θ) 디 θ}{큐 (θ) \int_{θ} \prod_{나는} 피 ({엑스}_{나는} | θ) 피 (θ) 디 θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

이제 이 로 갈 때 위의 용어를 탐색하고 싶습니다 . 이상적으로 "이해되는"또는 다른 좋은 행동 에 대해 특정 대해 로 갈 것입니다. $n$ $\infty$ $1$ $\theta$

bayesian prior

— 베이지안
소스

직관의 경우 가능성은 표본 크기에 따라 비례하지만 이전은 그렇지 않습니다.

— 매크로

@ 매크로 감사합니다, 나는 또한 직관을 가지고 있지만, 더 이상 추진할 수 없습니다. 위의 편집 내용을 참조하십시오.

— bayesianOrFrequentist

Ghosh와 Ramamoorthi의 교과서 Bayesian Nonparametrics 의 처음 몇 장은 여러분이 이야기하고있는 것들의 종류를 구체화합니다. 적절한 기관에있는 경우 Springer 온라인을 통해 무료로 제공됩니다. 무증상으로 이전에 대한 의존성 결여를 공식화하는 방법에는 여러 가지가 있지만 물론 규칙적인 조건이 몇 가지 있습니다.

— guy

사후 비율은 이전 비율에 비례하기 때문에 가능성과 증거 비율은 실제로 이것에 영향을 미치지 않습니다.

— 확률

답변:

거칠지 만 희망적으로 직관적 인 답변입니다.

로그 공간 관점에서 살펴보십시오 여기서 은 데이터에 의존하지만 매개 변수에 의존하지 않는 상수와 iid 관측치를 가정 할 수있는 상수입니다. 따라서 후부의 모양을 결정하는 부분, 즉
$- 로그 피 (θ | {엑스}_{1}, \dots, {엑스}_{엔}) = - 로그 피 (θ) - \sum_{나는 = 1}^{엔} 로그 피 ({엑스}_{나는} | θ) - 씨_{엔}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ ${에스}_{엔} = - 로그 피 (θ) - \sum_{나는 = 1}^{엔} 로그 피 ({엑스}_{나는} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
와 같은 이 있다고 가정하십시오 . 이것은 개별 배포에 적합합니다. $D>0$ $-\log P(\theta) \leq D$
용어가 모두 긍정적이기 때문에 은 "증가"할 것입니다 (여기서는 기술을 생략하겠습니다). 그러나 이전의 기여는 의해 결정됩니다 . 따라서, 최대 인 선행에 의해 기여 된 비율은 각각의 추가 관찰에 의해 단조 감소한다. $S_n$ $D$ $D/S_n$

물론 엄격한 증거는 기술에 직면해야하며 (매우 어려울 수 있음) 위의 설정은 IMHO가 가장 기본적인 부분입니다.

— 페드로 A. 오르테가
소스

나는 "사전이 잊혀졌다"는 말과 "대부분의 추론이 증거에 의해 영향을 받는다"는 말의 의미에 다소 혼란스러워한다. 나는 데이터의 양이 증가함에 따라 (순서의) 추정기가 이전과 상관없이 매개 변수의 실제 값에 접근한다는 것을 의미한다고 가정합니다.

Bayes Estimators는 사후 분포 형태의 규칙 성 조건을 가정하면 일관되고 무증상으로 편향됩니다 ( Gelman et al, chapter 4 ). 이는 표본 크기가 증가함에 따라 베이 추정기가 매개 변수의 실제 값에 접근 함을 의미합니다. 일관성 은 베이 추정기 가 실제 모수 값으로 확률 적 으로 수렴 함을 의미 하고 점근 적 편견 은 다음과 같이 가정합니다. $\theta_0$ 매개 변수의 실제 값입니다.

\frac{이자형 [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V ㅏ 아르 자형 (\hat{θ})}} \overset{피}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

수렴은 이전의 특정 형태에 의존하지 않고, 이전 및 가능성으로부터 획득 된 사후 분포가 규칙 성 조건을 만족한다는 것만 해당합니다.

Gelman et al에 언급 된 가장 중요한 규칙 조건은 매개 변수의 연속 함수일 가능성이 있으며 매개 변수의 실제 값은 매개 변수 공간 내부 에 있을 수 있습니다 . 또한 언급했듯이 매개 변수의 실제 값에 대한 실제 값의 개방 된 이웃에서 후부는 0이 아니어야합니다. 일반적으로 이전 매개 변수는 전체 매개 변수 공간에서 0이 아니어야합니다.

— 기병
소스

매우 통찰력있는 감사합니다. 실제로 "true"매개 변수 값과 관련이없는 결과를 원했습니다. 기술적으로, 더 많은 증거가있을 때, 당신이 얻을 수있는 후부는 이전에 관계없이 동일합니다. 그것을 반영하기 위해 약간의 편집을 할 것입니다.

— bayesianOrFrequentist

@bayesianOrFrequentist 이른바 베이지안 중심 한계 정리를 살펴보십시오 .

— Stéphane Laurent