이항 랜덤 변수의 예측 구간

이항 랜덤 변수의 예측 구간에 대한 공식 (대략 또는 정확한)은 무엇입니까?

가정 , 우리는 관찰 (로부터 인출 ). 공지되어있다. $Y \sim \mathsf{Binom}(n, p)$ $y$ $Y$ $n$

우리의 목표는 에서 새로운 추첨에 대한 95 % 예측 간격을 얻는 것입니다 . $Y$

예상 포인트는 이며 여기서 입니다. 대한 신뢰 구간 은 간단하지만 에 대한 예측 구간에 대한 공식을 찾을 수 없습니다 . 만약 우리가 ( 대신)를 알고 있다면 , 95 % 예측 구간은 이항의 분위수를 찾는 것과 관련이 있습니다. 내가 간과하고있는 것이 분명합니까? $n\hat{p}$ $\hat{p}=\frac{y}{n}$ $\hat{p}$ $Y$ $p$ $\hat{p}$

confidence-interval binomial prediction-interval

— 통계 인
소스

예측 적 추론에 어떤 비 베이지안 방법이 있습니까?를 참조하십시오 . . 이 경우 피벗을 사용하는 방법을 사용할 수 없지만 (나는 생각하지 않습니다) 예측 가능성 중 하나를 사용할 수 있습니다. 물론 베이지안 접근 방식입니다.

— Scortchi-Monica Monica 복원

안녕하세요 여러분, 제기 된 우려 사항을 해결하기 위해 잠시 시간을 내고 싶습니다. -p에 대한 자신감 : 나는 그것에 관심이 없다. -예측이 분포의 95 %에 관한 것 : 예, 그것은 문맥에 상관없이 정확히 예측 구간입니다 (회귀에서는 신뢰 구간이 CLT에 의존하는 일반적인 오차를 가정해야합니다)-예, 헤드 수를 예측하는 예 동전 뒤집기가

— 맞습니다이

@Addison G. Hahn과 W. Meeker의 통계 간격 책을 읽으십시오. 신뢰 구간, 예측 구간, 공차 구간 및 베이지안 신뢰 구간 간의 차이를 설명합니다. 95 % 예측 구간은 분포의 95 %를 포함하지 않습니다. 가장 빈번한 간격이하는 일을합니다. B (n, p)에서 반복적으로 샘플링하고 p에 대해 95 % 예측 구간을 생성하기 위해 매번 동일한 방법을 사용하는 경우 예측 구간의 95 %에 p의 실제 값이 포함됩니다. 분포의 95 %를 커버하려면 공차 구간을 구성하십시오.

— Michael R. Chernick

공차 구간은 분포의 백분율을 포함합니다. 분포의 90 %에 대한 95 % 공차 구간의 경우 공정을 여러 번 반복하고 동일한 방법을 사용하여 매번 구간을 생성 한 다음 약 95 %의 경우 분포의 90 % 이상이 구간에 해당합니다. 분포의 90 % 미만의 시간의 5 %가 구간에 포함됩니다.

— Michael R. Chernick

Lawless & Fredette (2005), "Frequentist Prediction Intervals and Predictive Distributions", Biometrika , 92 , 3 은 제가 제공 한 링크에 추가 된 것 외에도 좋은 참고 자료입니다.

— Scortchi-Monica Monica 복원

좋아, 한번 해보자 나는 두 가지 답을하겠다. 베이지안 (Bayesian), 내 생각으로는 간단하고 자연 스러우며 가능한 빈번한 것들 중 하나이다.

베이지안 솔루션

Beta-Binomial 모델이 켤레이기 때문에 , 즉 이전의 베타를 가정합니다 . 이는 사후 분포도 매개 변수가 , 나는 대신 시행 에서 성공 횟수를 나타 내기 위해 를 사용하고 있습니다. 따라서 추론이 크게 단순화됩니다. 의 가능성있는 값에 대한 사전 지식이 있다면 및 값을 설정하는 데 사용할 수 있습니다 . 즉, 베타를 사전에 정의하십시오. 그렇지 않으면 이전과 동일한 (비 정보)를 가정 할 수 있습니다. $p$ $p \sim Beta(\alpha,\beta)$ $\hat{\alpha}=\alpha+k,\hat{\beta}=\beta+n-k$ $k$ $n$ $y$ $p$ $\alpha$ $\beta$ $\alpha=\beta=1$ 또는 기타 비 정보적인 선행 (예 : 여기 참조 ). 어쨌든 당신의 후부는

$Pr(p|n,k)=Beta(\alpha+k,\beta+n-k)$

베이지안 추론에서 중요한 것은 사후 확률입니다. 일단 알면 모델의 다른 모든 수량에 대해 추론 할 수 있습니다. 관측 값 에 대해, 특히 새로운 결과 의 벡터에 대해 추론하려고합니다 . 여기서 은 반드시 과 같지 않습니다 . 특히, 각 , 우리 는 앞의 시도 에서 성공을 거두었 다면 다음 시도 에서 정확히 성공 을 가질 확률을 계산하려고합니다 . 사후 예측 질량 함수 : $y$ $\mathbf{y}=y_1,\dots,y_m$ $m$ $n$ $j=0,\dots,m$ $j$ $m$ $k$ $n$

그러나 대한 이항 모델은 조건부 로 특정 값을 갖는 에 대해 시행 에서 성공 확률이 과거 결과에 의존하지 않음을 의미합니다. $Y$ $p$ $j$ $m$

$f(j|m,p)=\binom{j}{m} p^j(1-p)^j$

따라서 표현은

$Pr(j|m,n,k)=\int_0^1 \binom{j}{m} p^j(1-p)^j Pr(p|n,k)dp=\int_0^1 \binom{j}{m} p^j(1-p)^j Beta(\alpha+k,\beta+n-k)dp$

이 적분의 결과는 Beta-Binomial 분포라는 잘 알려진 분포입니다. 구절을 건너 뛰면 끔찍한 표현이 나타납니다.

$Pr(j|m,n,k)=\frac{m!}{j!(m-j)!}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+k)\Gamma(\beta+n-k)}\frac{\Gamma(\alpha+k+j)\Gamma(\beta+n+m-k-j)}{\Gamma(\alpha+\beta+n+m)}$

2 차 손실을 고려한 에 대한 우리의 점 추정치 는 물론이 분포의 평균입니다. $j$

$\mu=\frac{m(\alpha+k)}{(\alpha+\beta+n)}$

이제 예측 구간을 찾아 봅시다. 이 이산 분포이기 때문에, 우리는에 대한 폐쇄 형태의 표현이없는 등이 . 그 이유는 Quantile을 정의하는 방법에 따라 불연속 분포의 경우 Quantile 함수가 함수가 아니거나 불연속 함수이기 때문입니다. 그러나 이것은 큰 문제는 아닙니다. 작은 경우 확률 여기에서 찾을 그러한 $[j_1,j_2]$ $Pr(j_1\leq j \leq j_2)= 0.95$ $m$ $m$ $Pr(j=0|m,n,k),Pr(j\leq 1|m,n,k),\dots,Pr(j \leq m-1|m,n,k)$ $j_1,j_2$

$Pr(j_1\leq j \leq j_2)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\geq 0.95$

물론 둘 이상의 커플을 찾을 수 있으므로 위의 내용이 만족 되는 가장 작은 찾는 것이 이상적 입니다. 참고 $[j_1,j_2]$

$Pr(j=0|m,n,k)=p_0,Pr(j\leq 1|m,n,k)=p_1,\dots,Pr(j \leq m-1|m,n,k)=p_{m-1}$

Beta-Binomial 분포의 CMF (Cumulative Mass Function) 값일 뿐이므로 닫힌 형식 표현식 이 있지만 일반화 된 초 지오메트리 기능 측면에서 볼 때 매우 복잡합니다. 오히려 R 패키지를 설치 하고 Beta-Binomial 분포의 CMF를 계산하기 위해 extraDistr호출 pbbinom합니다. 특히, 모든 확률 을 한 번에 계산하려면 다음과 같이 작성하십시오. $p_0,\dots,p_{m-1}$

library(extraDistr)  
jvec <- seq(0, m-1, by = 1) 
probs <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

어디 alpha와 beta의 매개 변수의 값은 당신의 베타 이전, 즉, 와 (따라서 1이 균일 이전을 통해 사용하는 경우 ). 물론 R이 Beta-Binomial 분포에 대한 Quantile 함수를 제공하면 훨씬 간단하지만 안타깝게도 그렇지 않습니다. $\alpha$ $\beta$ $p$

베이지안 솔루션의 실제 예

, 이라고합시다 (따라서 처음 100 회 시도에서 70 개의 성공을 관찰했습니다). 다음 시행 에서 성공 횟수 에 대한 점 추정치 및 95 % 예측 간격을 원합니다 . 그때 $n=100$ $k=70$ $j$ $m=20$

n <- 100
k <- 70
m <- 20
alpha <- 1
beta  <- 1

어디에서 전에 유니폼을 가정 특정 응용 프로그램에 대한 사전 지식에 따라,이 또는 좋은 이전하지 않을 수 있습니다. 그러므로 $p$

bayesian_point_estimate <- m * (alpha + k)/(alpha + beta + n) #13.92157

분명히 대한 정수가 아닌 추정은 의미가 없으므로 가장 가까운 정수 (14)로 반올림 할 수 있습니다. 그런 다음 예측 구간에서 다음을 수행하십시오. $j$

jvec <- seq(0, m-1, by = 1)
library(extraDistr)
probabilities <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

확률은

> probabilities
 [1] 1.335244e-09 3.925617e-08 5.686014e-07 5.398876e-06
 [5] 3.772061e-05 2.063557e-04 9.183707e-04 3.410423e-03
 [9] 1.075618e-02 2.917888e-02 6.872028e-02 1.415124e-01
[13] 2.563000e-01 4.105894e-01 5.857286e-01 7.511380e-01
[17] 8.781487e-01 9.546188e-01 9.886056e-01 9.985556e-01

확률 간격 동등한 꼬리를 들어, 우리가 원하는 최소 되도록 및 최대 되도록 . 이 방법으로 우리는 $j_2$ $Pr(j\leq j_2|m,n,k)\ge 0.975$ $j_1$ $Pr(j < j_1|m,n,k)=Pr(j \le j_1-1|m,n,k)\le 0.025$

$Pr(j_1\leq j \leq j_2|m,n,k)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\ge 0.975-0.025=0.95$

따라서 위의 확률을 및 입니다. 이 베이지안 예측 구간의 확률은 0.9778494로 0.95보다 큽니다. 와 같이 더 짧은 구간을 찾을 수 있지만,이 경우 테일 확률의 두 부등식 중 하나 이상이 충족되지 않습니다. $j_2=18$ $j_1=9$ $Pr(j_1\leq j \leq j_2|m,n,k)\ge 0.95$

상용 솔루션

2011 년 Krishnamoorthy and Peng 의 치료에 대해 살펴 보겠습니다 . 하자 및 독립적으로 배포 Binominally. 의 관측치에 따라 에 대해 예측 간격을 원합니다 . 다시 말해 우리는 다음과 같이 찾습니다 . $Y\sim Binom(m,p)$ $X\sim Binom(n,p)$ $1-2\alpha-$ $Y$ $X$ $I=[L(X;n,m,\alpha),U(X;n,m,\alpha)]$

$Pr_{X,Y}(Y\in I)=Pr_{X,Y}(L(X;n,m,\alpha)\leq Y\leq U(X;n,m,\alpha)]\geq 1-2\alpha$

" "는 불연속 랜덤 변수를 다루기 때문에 정확한 적용 범위를 기대할 수는 없지만 항상 최소 간격을 갖는 구간을 찾을 수 있습니다. 공칭 범위, 따라서 보수적 인 간격. 이제 그것의 조건부 분포 입증 될 수 주어진 샘플 크기 초기 하이다 인구 성공의 개수 과 인구 크기 . 따라서 조건부 pmf는 $\geq 1-2\alpha$ $X$ $X+Y=k+j=s$ $s$ $n$ $n+m$

$Pr(X=k|X+Y=s,n,n+m)=\frac{\binom{n}{k}\binom{m}{s-k}}{\binom{m+n}{s}}$

조건부 CDF 주어진 따라서 인 $X$ $X+Y=s$

$Pr(X\leq k|s,n,n+m)=H(k;s,n,n+m)=\sum_{i=0}^k\frac{\binom{n}{i}\binom{m}{s-i}}{\binom{m+n}{s}}$

이 CDF 의 가장 큰 장점은 우리가 모르는 의존 하지 않는다는 것입니다. 두 번째로 중요한 것은 PI를 쉽게 찾을 수 있다는 것입니다. 실제로, 우리가 값 의 X를 관찰 하면 낮은 예측 한계는 가장 작은 정수 입니다. $p$ $k$ $1-\alpha$ $L$

$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

이에 따라 상한 예측 한계는 다음과 같이 가장 큰 정수입니다. $1-\alpha$

$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$

따라서, 는 적어도 의 커버리지의 에 대한 예측 간격 이다. 때 유의 근접 0 또는 1이고,이 간격이 큰 사람에 대한 보수적 인 , , 즉, 커버리지는보다 상당히 크다 . $[L,U]$ $Y$ $1-2\alpha$ $p$ $n$ $m$ $1-2\alpha$

Frequentist 솔루션을 사용한 실용적인 예

이전과 동일한 설정이지만 및 를 지정할 필요 는 없습니다 (Frequentist 프레임 워크에는 사전이 없습니다) : $\alpha$ $\beta$

n <- 100
k <- 70
m <- 20

점 추정치는 이제 성공 확률에 대한 MLE 추정값 인 사용하여 얻습니다 . 이는 시행 에서 성공한 횟수에 대한 다음 추정치입니다 . $\hat{p}=\frac{k}{n}$ $m$

frequentist_point_estimate <- m * k/n #14

예측 구간의 경우 절차가 약간 다릅니다. 와 같은 가장 큰 찾아서 위 식을 계산해 봅시다. 모든 에 대해 : $U$ $Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$ $U$ $[0,m]$

jvec <- seq(0, m, by = 1)
probabilities <- phyper(k,n,m,k+jvec)

확률이 여전히 0.025보다 큰 최대 는 $U$

jvec[which.min(probabilities > 0.025) - 1] # 18

베이지안 접근 방식과 동일합니다. 낮은 예측 경계 은 와 같은 가장 작은 정수입니다 따라서 $L$ $Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

probabilities <- 1-phyper(k-1,n,m,k+jvec)
jvec[which.max(probabilities > 0.025) - 1] # 8

따라서 우리의 빈번한 "정확한"예측 구간은 입니다. $[L,U]=[8,18]$

— 델타 IV
소스