빈도에 대한 베이지안 추론 이전의 베타 접합체 이해

다음은 Bolstad의 베이지안 통계 소개 에서 발췌 한 것입니다 .

거기에있는 모든 전문가에게 이것은 사소한 것일 수 있지만 저자가 우리가 어떤 값에 대한 사후 확률을 계산하기 위해 통합을 수행 할 필요가 없다는 결론을 내릴 수 없습니다 . 나는 두 번째 표현 인 비례와 모든 용어의 유래를 이해합니다 ( likelihood x Prior) . 또한 분자만이 비례하기 때문에 분모에 대해 걱정할 필요가 없습니다. 그러나 세 번째 방정식 으로 넘어 가면 베이 즈 규칙의 분모를 잊어 버리지 않습니까? 어디 갔어? 그리고 감마 함수에 의해 계산 된 값은 상수가 아닌가? 베이 즈 정리에서 상수가 취소되지 않습니까?$\pi$

$x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

설정

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

암시 적 버전

지금. 사후 분포는 종래에 비례 우도 곱하여 . 상수 (즉 , 가 아닌 것들)를 무시할 수 있습니다 : $f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

여기에는 매개 변수가 및 인 베타 분포의 '모양'이 있으며 해당 매개 변수가있는 베타 분포 에 해당하는 정규화 상수는 다음과 같습니다. . 또는 감마 함수 측면에서 다시 말해서, 우리는 여분의 레거시없이 비례 관계보다 조금 더 잘 할 수 있으며, 평등으로 직진 할 수 있습니다 : $\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

따라서 베타 배포 구조에 대한 지식을 사용하여 복잡한 통합 등을 거치지 않고 후자의 표현을 쉽게 복구 할 수 있습니다.

관절 분포의 정규화 상수를 암시 적으로 취소하여 혼동을 일으킬 수 있습니다.

명시 적 버전

당신은 또한 절차 적으로 물건을 갈아 낼 수 있습니다.

실제로 그렇게 오래 걸리지는 않습니다. 관절 분포를 로 표현할 수 있습니다. 과의 여백 분포 으로

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

따라서 베이 즈 정리를 사용하여 이것은 이전에 얻은 것과 동일합니다.

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

총론

비욘 좀 더 명시 적으로 같은 시간에 더 일반적인 @에 의해 주어진 답을하려면, 우리는 우리가 도착 있음을 유의 베이 즈 정리 에서

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom)

여기서 는 관측 된 데이터를 나타내며 알 수없는 매개 변수 인 에 대해 확률 론적 추론을하고 싶습니다. 질문의 경우 매개 변수는 알 수없는 주파수 입니다. 단순하게 유지하기 위해 벡터 또는 스칼라에 대해 이야기하고 있는지 걱정하지 마십시오.$X$$\theta$$\pi$

연속적인 경우의 한계 화 는

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

여기서 공동 분포 는 위에서 보았 듯이 같습니다 . 그것은이다 일정한 그것은 단지에 따라 매개 변수 '밖으로 통합'이후부터 일정한 조건을 .$p(X,\theta)$$likelihood \times prior$

그러므로 우리는 베이 즈 정리를 다음 과 같이 재구성 할 수 있습니다.

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ 와$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

따라서 베이 즈 정리 의 일반적인 비례 형태 에 도달합니다 .

문제를 손에 적용

이제 우리는 질문의 경우의 가 형식 이기 때문에 우리가 아는 것을 간단히 꽂을 준비가되었습니다.$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

여기서 , 및 여기서 은 이항 우도 및 베타에서 상수 항을 수집합니다. 이전.$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

이제 @ Björn의 답변을 사용하여 이것이 베타 함수 곱하기 상수 항 의 집합에 통합 되어 있음을 알 수 있습니다.$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

관절 분포에서 상수 항은 항상 지명자 와 분모에 동시에 나타나기 때문에 항상 취소 되므로 (@jtobin이 제공 한 답변 참조) 실제로 귀찮게 할 필요는 없습니다.

따라서 우리의 사후 분포는 사실 이전의 매개 변수 및 를 간단히 업데이트 하여 후부에 도달 할 수 있는 베타 분포 라는 것을 알고 있습니다 . 그렇기 때문에 이전에 배포 된 베타를 켤레 이전 이라고합니다 . b ′ = b + n − $a' = a+y$$b' = b+n-y$