이항 분포와 베타 분포의 관계

저는 통계 학자보다 프로그래머에 가깝기 때문에이 질문이 너무 순진하지 않기를 바랍니다.

임의의 시간에 프로그램 실행을 샘플링 할 때 발생합니다. 프로그램 상태의 N = 10 임의 시간 샘플을 취하면 Foo 함수가 실행되고 있음을 알 수 있습니다 (예 : 해당 샘플의 I = 3). Foo가 실행되는 시간 F의 실제 비율에 대해 알려주는 것에 관심이 있습니다.

나는 평균 F * N으로 이항 분포됨을 이해합니다. 또한 I와 N을 고려할 때 F는 베타 분포를 따릅니다. 사실 저는이 두 배포판 사이의 관계를 프로그램으로 확인했습니다.

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

문제는 관계에 대한 직관적 인 느낌이 없다는 것입니다. 왜 작동하는지 "사진"으로 볼 수 없습니다.

편집 : 모든 대답, 특히 @ whuber 's가 어려웠지만 여전히 통계가 필요했지만 순서 통계를 가져 오는 것이 매우 도움이되었습니다. 그럼에도 불구하고 더 기본적인 질문을해야한다는 것을 깨달았습니다 .I와 N을 감안할 때 F의 분포는 무엇입니까? 모두가 내가 알고있는 베타라고 지적했습니다. 나는 마침내 Wikipedia ( Conjugate prior )에서 그것이 겉 모습 인 것처럼 보였다Beta(I+1, N-I+1) . 프로그램으로 탐색 한 후 정답으로 보입니다. 그래서 내가 틀렸는 지 알고 싶습니다. 그리고 나는 여전히 위에 표시된 두 cdfs 사이의 관계, 왜 1을 합산하는지, 그리고 내가 정말로 알고 싶었던 것과 관련이 있다면 혼란 스럽습니다.

순서 통계 고려 의 독립 균일 분포로부터 그린다. 때문에 차 통계량은 베타 분포를 가지고 있다는 가능성 초과하지 않는 베타 일체로 주어진다 n + 1 x [ k ]$x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$$n+1$$x_{[k]}$$p$

$$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$$

(왜 이런가? 여기에 엄격하지는 않지만 기억에 남을만한 데모가있다. 가 와 사이 에있을 확률은 균일 한 값 중 가 과 중 적어도 하나는 와 사이에 있고 나머지는 와 사이 에 있습니다. 무한 첫 번째 순서를 위해서는 정확히 하나의 값 (즉, 자체)는 와 사이에 있으므로$x_{[k]}$$p$$p + dp$$n+1$$k$$0$$p$$p$$p + dp$$p + dp$$1$$dp$$x_{[k]}$$p$$p + dp$$n - k$ 값이 초과 합니다. 모든 값이 독립적이고 균일하므로이 확률은 비례합니다 . 의 첫번째 순서에 이 동일 베타 분포의 정확한 적분. 이라는 용어 는이 인수에서 다항식 계수 로 직접 계산하거나 다음과 같이 간접적으로 파생 할 수 있습니다. 적분의 정규화 상수.)$p + dp$$p^k (dp) (1 - p - dp)^{n-k}$$dp$$p^k(1-p)^{n-k}dp$$\frac{1}{B(k+1, n-k+1)}$${n+1}\choose{k,1, n-k}$

정의에 따르면 이벤트 는 값이 초과하지 않는 것 입니다. 마찬가지로, 값의 이상 이 초과하지 않습니다 .이 간단한 주장은 원하는 직관을 제공합니다. 동등한 진술의 확률은 이항 분포에 의해 주어진다.$x_{[k]} \le p$$k+1^\text{st}$$p$ $k+1$$p$

$$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$$

요약하면 , 베타 적분은 이벤트 계산을 일련의 계산으로 나눕니다. 범위에서 이상의 값을 찾는 것은 일반적으로 이항 cdf로 계산할 확률이 서로 나뉩니다. 정확히 값이 범위에 있고 1 값이 가능한 모든 , 대해 범위 에 있고 가 무한 길이 인 독점적 인 경우 입니다 . 이러한 모든 "윈도우" 즉, 통합)를 합하면 이항 cdf와 같은 확률을 가져야합니다.$k+1$$[0, p]$ $k$$[0, x]$$[x, x+dx]$$x$$0 \le x \lt p$$dx$$[x, x+dx]$

이항의 pdf를 : 의 함수로, Beta의 pdf를 의 함수로 . 아마도 알 수 있습니다 와 대한 적절한 (정수) 선택으로 이것들은 동일합니다. 내가 알 수있는 한,이 관계에 대한 모든 것이 있습니다 : 가 이항 pdf에 들어가는 방식 은 베타 배포라고합니다.$x$

$$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$$ $p$ $$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$$ $a$$b$$p$

언급했듯이 베타 분포는 시행 확률 매개 변수 분포를 나타내고 이항 분포는 결과 매개 변수 의 분포를 나타 냅니다. 질문을 다시 쓰면, 왜 즉, 관측치에 1을 더한 값이 관측치보다 클 확률은 다음과 같습니다. 관측 값에 1을 더한 값은 관측 값보다 큽니다.$F$$I$

$$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$$ $$P(Fn \le i+1)+P(I+1 \le fn)=1$$ $$P(Fn \le i+1)=P(fn<I+1)$$

나는 이것이 문제의 원래 공식을 직관하는 데 도움이되지 않을 수도 있지만, 적어도 두 분포가 동일한 매개 변수의 반복 된 베르누이 시행 모델을 사용하여 다른 모수의 행동을 설명하는 데 도움이 될 수 있음을 인정한다.

베이지안 땅에서 베타 분포는 이항 분포의 p 모수에 대한 접합체입니다.

다른 답변에 대해서는 언급 할 수 없으므로 내 답변을 만들어야합니다.

사후 = C * 가능성 * 우선 (C는 사후를 1에 통합시키는 상수)

가능성에 이항 분포를 사용하고 이전에 베타 분포를 사용하는 모형이 제공됩니다. Posterior를 생성하는이 둘의 곱은 베타 배포판이기도합니다. Prior와 Posterior는 모두 Beta이므로 켤레 분포 입니다. Prior (베타)는 가능성 (Binomial) 보다 먼저 켤레 라고 합니다. 예를 들어 Beta에 Normal을 곱하면 Posterior는 더 이상 Beta가 아닙니다. 요약하면 베타와 이항은 베이지안 추론에 자주 사용되는 두 분포입니다. Beta는 Binomial의 Conjugate Priority이지만 두 배포판은 다른 배포판의 하위 집합 또는 상위 집합이 아닙니다.

베이지안 추론의 핵심 아이디어는 매개 변수 p를 고정 된 것으로 취급하는 빈번한 추론 접근법과는 반대로 [0,1] 범위의 랜덤 변수로 매개 변수 p를 처리하는 것입니다. 베타 분포의 속성을 자세히 살펴보면 평균과 모드는 매개 변수 p와 관련이없는 및 의해서만 결정됩니다$\alpha$$\beta$ . 이것이 유연성과 함께 베타가 일반적으로 선행으로 사용되는 이유입니다.

요약 : 종종 베타 배포판은 배포판 배포판이라고합니다! 그러나 의미는 무엇입니까?

그것은 본질적으로 고정 하고 를 의 함수로 생각할 수 있음을 의미합니다 . 아래 계산은 를 에서 조정할 때 이 에서 증가한다는 것 입니다. 각각의 증가율 정확히 그 순간 .$n,k$$\mathbb P[Bin(n,p)\geqslant k]$$p$$\mathbb P[Bin(n,p)\geqslant k]$$0$$1$$p$$0$$1$$p$$\beta(k,n-k+1)$$p$

---

하자 와 이항 확률 변수 나타내는 샘플과 성공 확률 . 우리는 기본 대수를 사용하여$Bin(n,p)$$n$$p$

$$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$$

또한 좋은 조합 증거가 있습니다. 운동으로 생각하십시오!

그래서 우리는 :

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$$ 텔레 스코핑 시리즈이며 다음과 같이 단순화 할 수있는

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$$

---

비고 대화식 버전의 음모를 보려면 이것을보십시오 . 노트북을 다운로드하거나 바인더 링크를 사용할 수 있습니다.