베이지안 사전 및 사후 분포 이해하기

학생들 그룹에는 왼손잡이 인 18 명 중 2 명이 있습니다. 정보가없는 것으로 가정하고 모집단에서 왼손잡이 학생들의 사후 분포를 찾으십시오. 결과를 요약하십시오. 문헌에 따르면 5-20 %의 사람들이 왼손잡이입니다. 이전에이 정보를 고려하여 새로운 후부를 계산하십시오.

베타 배포판을 사용해야한다는 것을 알고 있습니다. 먼저 및 값을 1로 사용합니까? 후부의 재료에서 찾은 방정식은$\alpha$$\beta$

$Y=2$N = 18 ,$N=18$

왜 방정식에서 이됩니까? ( 왼손잡이 비율을 나타냄). 알려지지 않았으므로이 방정식에서 어떻게 할 수 있습니까? 나에게 계산하는 말도 안되는 것 같다 주어진 하고 사용 주는 식 . 샘플 에서 결과는 . 그에서 추론해야합니까?$r$$r$$r$$Y$$r$$r$$r=2/18$$0,0019$$f$

알려진 와 주어지면 의 예상 값을 제공하는 방정식이 더 잘 작동하여 을 얻었습니다 . 방정식은 값 1 이 α 및 β에 할당 된 E (r | X, N, α, β) = (α + X) / (α + β + N) 입니다 . 사전 정보를 고려하기 위해 α 와 β 에 어떤 값을 주어야 합니까?$R$$Y$$N$$0,15$$E(r | X, N, α, β) = (α + X)/(α + β + N)$$1$$α$$β$$α$$β$

몇 가지 팁을 주시면 감사하겠습니다. 이전과 이후의 분포에 대한 일반적인 강의는 아프지 않을 것입니다 (모호한 내용은 모호하지만 모호한 것뿐입니다) 고급 수학은 아마 내 머리 위로 날 것이다.

먼저 켤레 이전 이 무엇인지 설명하겠습니다 . 그런 다음 구체적인 예를 사용하여 베이지안 분석을 설명하겠습니다. 베이지안 통계에는 다음 단계가 포함됩니다.

1. 모수에 대한 주관적인 신념을 포함 하는 이전 분포 를 정의하십시오 (예 : 관심있는 모수는 왼손잡이의 비율 임). 사전 정보는 "비 정보"또는 "정보"가 될 수 있습니다 (하지만 정보가없는 사전 정보는 없습니다 . 여기 에서 논의 참조 ).
2. 데이터를 수집하십시오.
3. 베이 즈 정리를 사용하여 데이터를 사용하여 이전 분포를 업데이트하여 사후 분포 를 구합니다 . 사후 분포는 데이터를 본 후 모수에 대한 업데이트 된 신념을 나타내는 확률 분포입니다.
4. 사후 분포를 분석하고 요약합니다 (평균, 중앙값, sd, Quantile 등).

모든 베이지안 통계의 기초는 베이 즈 정리입니다.

귀하의 경우, 가능성은 이항입니다. 이전 분포와 후방 분포가 동일한 패밀리에있는 경우 , 이전 및 후방 분포를 공액 분포 라고 합니다. 후부는 또한 베타 분포이기 때문에 베타 분포는 접합체 이전이다. 우리는 베타 분포가 이항 우도에 대한 결합체 패밀리라고 말합니다. 활용 분석은 편리하지만 실제 문제에서는 거의 발생하지 않습니다. 대부분의 경우, 사후 분포는 MCMC (Stan, WinBUGS, OpenBUGS, JAGS, PyMC 또는 기타 프로그램 사용)를 통해 수치 적으로 찾아야합니다.

사전 확률 분포가 1에 적분되지 않으면이를 부적절한 선행 이라고하며 , 1에 적분하면 적절한 우선 순위라고합니다 . 대부분의 경우 부적절한 선행은 베이지안 분석에 큰 문제가되지 않습니다. 후방 분포 는 적절 해야합니다 . 즉 후방은 1에 통합되어야합니다.

이러한 경험적 규칙은 베이지안 분석 절차의 본질에서 직접 따릅니다.

• 이전의 정보가 유익하지 않은 경우, 후부는 데이터에 의해 매우 많이 결정됩니다 (후부는 데이터 중심)
• 선행이 유익한 경우, 후부는 이전과 데이터의 혼합입니다.
• 사전 정보가 많을수록 신념을 "변경"하는 데 필요한 데이터가 많을수록 사후 정보는 이전 정보에 의해 크게 좌우되므로
• 데이터가 많으면 데이터가 사후 분포를 지배합니다 (이전 데이터를 압도합니다)

베타 배포에 대한 몇 가지 "정보"및 "비 정보"사전에 대한 훌륭한 개요는 이 게시물 에서 확인할 수 있습니다 .

이전 베타 버전이 이고 여기서 는 왼손잡이 비율입니다. 이전 매개 변수 및 를 지정하려면 베타 분포의 평균 및 분산을 아는 것이 좋습니다 (예를 들어, 사전에 특정 평균 및 분산을 원할 경우). 평균은 입니다. 따라서 일 때마다 평균은 입니다. 베타 분포의 분산은 입니다. 이제 편리한 것은 와 생각할 수 있다는 것입니다.$\mathrm{Beta}(\pi_{LH}| \alpha, \beta)$$\pi_{LH}$$\alpha$$\beta$$\bar{\pi}_{LH}=\alpha/(\alpha + \beta)$$\alpha =\beta$$0.5$$\frac{\alpha\beta}{(\alpha + \beta)^{2}(\alpha + \beta + 1)}$$\alpha$$\beta$이전에 관찰 된 (의사) 데이터, 즉 크기의 (의사) 샘플에서 왼손잡이 및 오른 손잡이 . 분포가 균일 한 (모든 값입니다 똑같이 가능성이있다)과 이명 밖으로 관찰 한 것과 같습니다 그중 하나는 왼손잡이이고 다른 하나는 오른 손잡이입니다.$\alpha$$\beta$$n_{eq}=\alpha + \beta$$\mathrm{Beta}(\pi_{LH} |\alpha=1, \beta=1)$$\pi_{LH}$

사후 베타 ​​분포는 간단히 여기서 은 샘플의 크기이고 는 샘플의 왼손잡이 수입니다. 후방의 평균 그러므로 . 따라서 사후 베타 ​​분포의 매개 변수를 찾으려면 왼쪽을 하고 오른쪽을 됩니다. 사후 분산은$\mathrm{Beta}(z + \alpha, N - z +\beta)$$N$$z$$\pi_{LH}$$(z + \alpha)/(N + \alpha + \beta)$$z$$\alpha$$N-z$$\beta$$\frac{(z+\alpha)(N-z+\beta)}{(N+\alpha+\beta)^{2}(N + \alpha + \beta + 1)}$. 사전 정보가 많으면 사후 분포의 분산이 더 작아집니다 (아래 그래프는 요점을 잘 보여줍니다).

귀하의 경우, 및 이고 귀하의 이전은 정보가없는 유니폼이므로 입니다. 따라서 사후 분포는 입니다. 사후 평균은 입니다. 다음은 이전, 데이터의 가능성 및 사후 가능성을 보여주는 그래프입니다.$z=2$$N=18$$\alpha = \beta = 1$$Beta(3, 17)$$\bar{\pi}_{LH}=3/(3+17)=0.15$

이전 분포가 유익하지 않기 때문에 사후 분포는 전적으로 데이터에 의해 좌우됩니다. 또한 사후 분포에 대한 최고 밀도 간격 (HDI)이 플롯됩니다. 사후 분포를 2D 분지에 넣고 분포의 95 %가 수선 위에 올 때까지 물을 채우기 시작한다고 상상해보십시오. 흘수선이 사후 분포와 교차하는 지점은 95 % -HDI를 구성합니다. HDI 내부의 모든 포인트는 외부의 모든 포인트보다 확률이 높습니다. 또한 HDI는 항상 사후 분포의 피크 (즉, 모드)를 포함합니다. HDI는 후방의 각 꼬리에서 2.5 %가 제외되는 동일한 꼬리 95 % 신뢰할 수있는 간격과 다릅니다 ( 여기 참조 ).

두 번째 과제의 경우 인구의 5-20 %가 왼손잡이라는 정보를 통합해야합니다. 여러 가지 방법이 있습니다. 가장 쉬운 방법은 이전 베타 배포판의 평균이 의 평균이어야하며 이는 평균 와 입니다. 그러나 이전 베타 배포판의 및 를 선택하는 방법은 무엇입니까? 먼저, 사전 분포의 평균 이 동등한 표본 크기 의 유사 표본에서 되길 원합니다 . 더 일반적으로, 이전에 의사 샘플 크기가 인 평균 을 원하면 해당$0.125$$0.05$$0.2$$\alpha$$\beta$$0.125$$n_{eq}$$m$$n_{eq}$$\alpha$및 값은 : 와 . 지금해야 할 일은 의사 샘플 크기 를 선택하여 이전 정보에 대한 신뢰도를 결정하는 것입니다. 이전 정보에 대해 확신하고 설정했다고 가정 해 봅시다 . 이전 분포의 매개 변수는 및 1-0.125 입니다. 사후 분포는 이며 평균은 약 이며 이전 평균은$\beta$$\alpha = mn_{eq}$$\beta = (1-m)n_{eq}$$n_{eq}$$n_{eq}=1000$$\alpha = 0.125\cdot 1000 = 125$$\beta = (1 - 0.125)\cdot 1000 = 875$$\mathrm{Beta}(127, 891)$$0.125$$0.125$. 이전 정보가 후부를 지배하고 있습니다 (다음 그래프 참조).

당신이 사전 정보에 대해 덜 확신한다면, 당신은 설정할 수 말, 당신의 의사 샘플의 산출, 및 귀하의 사전 베타 배포를. 사후 분포는 이며 평균은 약 입니다. 데이터가 이전 데이터를 압도하기 때문에 사후 평균은 이제 데이터 평균 ( )에 가깝습니다 . 상황을 보여주는 그래프는 다음과 같습니다.$n_{eq}$$10$$\alpha=1.25$$\beta=8.75$$\mathrm{Beta}(3.25, 24.75)$$0.116$$0.111$

사전 정보를 통합하는 고급 방법은 이전 베타 배포 의 Quantile은 약 이고 Quantile은 약 여야한다는 것 입니다. 이는 인구의 왼손잡이 비율이 5 %에서 20 % 사이에 있다고 95 % 확신한다고 말하는 것과 같습니다. R 패키지 의 함수 는 이러한 Quantile에 해당하는 베타 분포 의 해당 및 값을 계산합니다 . 코드는$0.025$$0.05$$0.975$$0.2$beta.selectLearnBayes$\alpha$$\beta$

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

매개 변수가 이고 에 원하는 속성이있는 것 같습니다. 이전 평균은 이며 이는 데이터의 평균 근처입니다 ( ). 또한,이 사전 분포는 약 의 등가 샘플 크기의 의사 샘플 정보를 포함합니다 . 사후 분포는 이며 평균은 이는 사전에 높은 정보를 제공하는 사용한 이전 분석의 평균과 비슷합니다 . 해당 그래프는 다음과 같습니다.$\alpha = 7.61$$\beta=59.13$$7.61/(7.61 + 59.13)\approx 0.114$$0.111$$n_{eq}\approx 7.61+59.13 \approx 66.74$$\mathrm{Beta}(9.61, 75.13)$$0.113$$\mathrm{Beta}(125, 875)$

베이지안 추론과 간단한 분석에 대한 짧지 만 효과적인 개요를 보려면 이 참조 를 참조 하십시오 . 접합 분석, 특히 이항 데이터에 대한 더 긴 소개는 여기 에서 찾을 수 있습니다 . 베이지안 사고에 대한 일반적인 소개는 여기 에서 찾을 수 있습니다 . Baysian 통계의 측면에 관한 추가 슬라이드가 여기에 있습니다 .

와 베타 분포 = 1 = 1은 균일 한 분포와 동일하다. 사실 그것은 균일합니다. 분포의 모수 (이 경우 한 그룹의 왼손잡이 비율)에 대한 정보를 찾으려고합니다. 베이 즈 공식 상태 :$\alpha$$\beta$

$P(r|Y_{1,...,n})$ =$\frac{P(Y_{1,...,n}|r)*P(r)}{\int P(Y_{1,...,n}|\theta)*P(r)}$

당신이 지적한 것은 다음에 비례합니다.

$P(r|Y_{1,...,n})$ $\propto$ $(Y_{1,...,n}|r)*P(r)$

따라서 기본적으로 그룹 (P (r), 균일 한 dist를 사용하는)의 왼손잡이 비율에 대한 사전 믿음으로 시작한 다음 수집 한 데이터를 고려하여 이진 (이항식) 이 경우에는 오른 손잡이이거나 왼손잡이이므로 ). 이항 분포는 사전에 베타 접합체를 가지며, 이는 후방 분포$P(Y_{1,...,n}|r)$$P(r|Y_{1,...n})$데이터를 고려한 후 매개 변수의 분포는 이전과 동일합니다. r 결국에는 알 수 없습니다. (그리고 솔직히 데이터를 수집하기 전이 아니 었습니다. 우리는 사회에서 왼손잡이 비율에 대해 꽤 잘 알고 있습니다.) 당신은 사전 배포 (r의 가정)와 데이터를 수집했습니다. 두 개를 합치세요 후자는 데이터를 고려한 후 왼손잡이 분포에 대한 새로운 가정입니다. 따라서 데이터의 가능성을 고려하여 유니폼에 곱하십시오. 베타 분포의 예상 값 (포스터)은 입니다. 따라서 시작할 때 = 1 및 가정$\frac{\alpha}{\alpha+\beta}$$\alpha$$\beta$= 1은 세계에서 왼손잡이 비율이 입니다. 이제 18 개 중 2 개의 왼손잡이가있는 데이터를 수집했습니다. 사후를 계산했습니다. (아직 베타) 와 값이 달라졌으므로 좌익과 우익의 비율에 대한 생각이 바뀌 었습니다. 어떻게 바뀌 었습니까?$\frac{1}{2}$$\alpha$$\beta$

질문의 첫 부분에서 "r"에 적합한 사전을 정의하도록 요청합니다. 이항 데이터를 보유하고 있다면 베타 분포를 선택하는 것이 좋습니다. 그 이후로는 베타가 될 것이기 때문입니다. 균일 한 분포는 베타의 특별한 경우입니다. "r"의 모든 가능한 값이 똑같이 가능하도록 균일 한 분포를 "r"에 대해 미리 선택할 수 있습니다.

두 번째 부분에서는 이전 배포판 "r"에 관한 정보를 제공했습니다.

이것을 손에 들고 @COOLSerdash의 대답은 올바른 지시를 줄 것입니다.

이 질문을 게시 해 주시고 적절한 답변을 제공 한 COOLSerdash에 감사드립니다.