이항 신뢰 구간 추정-왜 대칭이 아닌가?

30

다음 r 코드를 사용하여 이항 비율의 신뢰 구간을 추정했습니다. 왜냐하면 모집단에서 질병의 탐지를보고 수신기 작동 특성 곡선 설계를 설계 할 때 "전력 계산"을 대체한다는 것을 이해하기 때문입니다.

n은 150이고,이 질병은 인구에서 25 %가 유행한다고 생각합니다. 나는 사람들이하는 것처럼 75 %의 감도와 90 %의 특이성에 대한 값을 계산했습니다.

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

나는 또한이 사이트를 방문했다 :

http://statpages.org/confint.html

이항 신뢰 구간을 계산하는 Java 페이지이며 동일한 대답을 제공합니다.

어쨌든, 긴 설정 후에 신뢰 구간이 대칭이 아닌 이유를 묻고 싶습니다. 예를 들어 감도는

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579

이것이 바보 같은 질문이라면 미안하지만 모든 곳에서 대칭이 될 것을 제안하는 것처럼 보이고 내 동료가 자신도 그렇게 될 것이라고 생각하는 것 같습니다.

confidence-interval binomial

— 크리스 비 일리
소스

20

보통 근사치가 자주 사용되기 때문에 대칭이라고 믿어집니다. 이것은 p가 약 0.5 인 경우에 충분합니다. binom.test반면에 F 분포를 기반으로 한 "정확한"Clopper-Pearson 간격을보고 합니다 ( 두 접근 방식의 정확한 공식 은 여기 참조 ). 우리가 R에 Clopper - 피어슨 간격을 구현하는 것이 있다면 그것은 같은 (참조 될 것이다 참고 )

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

링크와 구현에서 상한과 하한에 대한 공식이 완전히 다르다는 것을 알 수 있습니다. 대칭 신뢰 구간의 유일한 경우는 p = 0.5입니다. 링크의 공식을 사용 하고이 경우 하면 그것이 어떻게 나오는지 쉽게 알 수 있습니다. $n = 2\times x$

나는 물류 접근 방식에 따라 신뢰 구간을 더 잘 보는 것이 개인적으로 이해했다. 이항 데이터는 일반적으로 다음과 같이 정의 된 로짓 연결 함수를 사용하여 모델링됩니다.

l o g i t (x) = \log (\frac{x}{1 - x})

${\rm logit}(x) = \log\! \bigg( \frac{x}{1-x} \bigg)$

이 링크 함수는 로지스틱 회귀 분석에서 오류 항을 정규 분포에 "매핑"합니다. 결과적으로 로지스틱 프레임 워크의 신뢰 구간은 고전 선형 회귀 프레임 워크에서와 같이 로짓 값을 중심으로 대칭입니다. 로짓 변환은 선형 회귀에 대한 정규성 기반 이론 전체를 사용할 수 있도록 정확하게 사용됩니다.

역변환을 수행 한 후 :

{l o g i t}^{- 1} (x) = \frac{e^{x}}{1 + e^{x}}

${\rm logit}^{-1}(x) = \frac{e^x}{1+e^{x}}$

비대칭 간격이 다시 나타납니다. 이제 이러한 신뢰 구간은 실제로 편향되어 있습니다. 그들의 범위는 특히 이항 분포의 경계에서 기대하는 것이 아닙니다. 그러나 이항 분포가 비대칭 신뢰 구간을 갖는 것이 논리적 인 이유를 설명합니다.

R의 예 :

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

참고 : 실제로 R은 베타 분포를 사용하지만 이는 완전히 동등하며 계산적으로 조금 더 효율적입니다. 따라서 R의 구현은 여기에 표시된 것과 다르지만 정확히 동일한 결과를 제공합니다.

— 조리스 메이스
소스

2

로짓이 "정규 분포에서 이항 분포를 변형시킨다"는 말을 정말로 의미 했습니까?

— whuber

@ whuber : 공식의 멋진 캐치 및 공식의 멋진 캐치. 거의 없습니다. 로지스틱 회귀 분석의 오류가 정규 분포를 따르는 지 확인합니다. 정정을위한 Thx.

— Joris Meys

간단히 기술적 인 요점 인 "아르 신"변환은 로지스틱 변환보다 정규성에 대해 더 빠른 수렴을 갖는 변환입니다. 설정 (여기서 "성공"과의 수를 시험의 수), 당신은으로 표시 할 수 있습니다 소위 "델타 방법"은 의 분산 이 거의 일정합니다 ( 정규 분포에 있어야하므로 와 무관 ).

Y = \frac{2}{π} \arcsin \sqrt{\frac{X}{N}}

$Y=\frac{2}{\pi}\arcsin{\sqrt{\frac{X}{N}}}$

X

$X$

N

$N$

Y

$Y$

Y

$Y$

— chanceislogic

"정확한 확률"에 제공 한 링크가 손상되었습니다. 다른 거 있어요?

— S. Kolassa-복원 모니카

@StephanKolassa 여기에서도 Clopper Pearson 공식을 찾을 수 있습니다. en.wikipedia.org/wiki/…

— Joris Meys

24

대칭이 아닌 이유를 보려면 상황을 생각해보고 10 번의 시도에서 9 번의 성공을 거두십시오. 이어서 및 대한 95 % CI [0.554, 0.997]이다. 상한은 분명히 1보다 클 수 없으므로 대부분의 불확실성은 왼쪽에 있어야합니다 . $p=0.9$ $\hat{p}=0.9$ $p$ $\hat{p}$

— 롭 헨 드먼
소스

9

@Joris는 대칭 또는 "점근 적"간격을 언급했는데, 이는 아마도 당신이 기대하는 것입니다. @Joris는 또한 "정확한"Clopper-Pearson 간격을 언급했으며 매우 멋진 참조를 제공했습니다. 점수 테스트를 거꾸로 한 점근 적 간격의 유형 인 "윌슨 (Wilson)"간격은 발생할 가능성이있는 비율에 대한 또 다른 신뢰 구간이 있습니다 (대칭이 아님). 의 종점 (투입 간격 해결 ) 식 $p$

(\hat{p} - p) / \sqrt{p (1 - p)} = \pm z_{α / 2}

$(\hat{p} - p)/\sqrt{p(1-p)}=\pm z_{\alpha/2}$

어쨌든 다음과 같이 R에서 세 가지를 모두 얻을 수 있습니다.

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

"wilson"방법은 Yates의 연속성 수정없이 prop.test에 사용 된 것과 동일한 신뢰 구간입니다.

prop.test(29, 38, correct = FALSE)

Agresti의 Categorical Data Analysis와 함께 제공되는 Laura Thompson의 무료 SPLUS + R 설명서는 여기 를 참조 하십시오 .

1

(+1) Laura의 교과서를 인용하고 Wilson의 CI에 대한이 보완 정보를 추가하게되어 기쁩니다.

— chl

2

감사. @Joris가 참조한 기사에서 Wilson 간격이 설명되어 있음을 지적하고 싶습니다.

9

이항 분포에 대한 대칭 적 신뢰 구간 이 있습니다 . 이미 언급 한 모든 이유에도 불구하고 비대칭 성은 우리에게 강요되지 않습니다. 대칭 간격은 일반적으로 열등한 것으로 간주됩니다.

수치 적으로 대칭 이지만 확률 적으로 대칭이 아닙니다 . 즉, 꼬리 꼬리 범위가 서로 다릅니다. 이항 분포의 비대칭 가능성으로 인해 필요한 결과는 문제의 핵심입니다.
@Rob Hyndman이 지적한 것처럼 하나의 엔드 포인트는 비현실적이어야합니다 (0보다 작거나 1보다 큼).

나는 수치 적으로 대칭적인 CI가 어떤 상황에서는 초기에 대칭적인 CI보다 더 짧은 경향이있는 것과 같은 좋은 특성을 가지고 있다고 생각합니다.

— 우버
소스

마지막 문장과 관련하여 가장 짧은 신뢰 구간을 계산하지 않는 이유는 무엇입니까? 2와 관련하여, 양쪽에 동일한 너비를 갖는 것은 (정상) 근사치를 사용해야 함을 의미하지 않습니다. 한계를 [0, 1] 밖으로 확장해야 할 경우이 특정 간격이 존재하지 않는다고 말하고 싶습니다.

\hat{p} = k / n

$\hat p = k/n$

— cbeleites는 Monica

@cb 나는 이것을 따르지 않습니다. 첫째, 가장 짧은 CI가 각 끝에서 반드시 동일한 밀도를 가질 필요는 없습니다. 둘째, "존재하지 않는다"는 말이 의미가 없습니다. "존재하지 않는다"는 것은 무엇을 의미합니까?

— whuber

1

가장 짧은 CI. 주어진 적용 범위에 대해 가장 짧은 CI를 계산하기 위해 최대 밀도에서 시작하여 밀도가 높은쪽으로 짧은 단계를 확대합니다. 거기에 나는 대부분의 자신감을 얻습니다 (짧은 단계). 원하는 영역 (커버리지)이 될 때까지 ci를 반복해서 확대합니다. 내 단계가 작 으면 (무한) 양쪽의 밀도는 (대략) 동일합니다. 이 전략에서 실수를 했습니까?

— cbeleites는 Monica를 지원합니다.

존재하지 않는 경우 : 예 : 5 개 중 4 개 성공 95 % ci를 요구하는 것이 합리적입니다. 그러나 5 번의 시도 중 4 개 성공을 보았을 때 실제 대한 확률 밀도를 계산하면 위의 꼬리 은 약 0.35입니다. 이에 대신 실제 같은 정확하지 않을 수있다 (95 % 신뢰 구간은 1.15로 상승 말하는 통상 근사 예 받아들이는 1을 초과 할 수 없다 이항 시험의 I 낮은쪽으로 동일한 폭을 갖는 CI 말 것 이상 않는다 신뢰 수준이 경우에만 존재

p

$p$

\hat{p} = 4 / 5 = 0.8

$\hat p = 4/5 = 0.8$

p

$p$

p

$p$

< 70 %

$< 70 \%$

— cbeleites는

1

우리는 다른 것들에 대해 이야기하고 있습니까? 이항 분포는 불 연속적이며, ci는 " 의 경우 반복의 94 % 에서 테스트 에서 성공을 관찰 합니다"입니다. 그러나 이미 관측 된 과 대해 를 추정해야한다는 것을 이해했습니다 . 예를 들어 , 테스트 중 가 성공 했다고 가정하면 입니다. 그래서 , 대해 이야기하고 있습니다. 이다 하지 이항 분포 하지만 비율의

p = 0.8

$p = 0.8$

k \in {3, 4, 5}

$k \in \{3, 4, 5\}$

n = 5

$n = 5$

p

$p$

n

$n$

k

$k$

p

$p$

k = 4

$k = 4$

n = 5

$n = 5$

P r (p | n = 5, k = 4)

$Pr (p | n = 5, k = 4)$

p \in [0, 1]

$p \in [0, 1]$

P r (k | n, p)

$Pr (k | n, p)$

p

$p$ (나는 그 이름을 모른다). 이 분포에 밀도가없는 이유를 이해하도록 도와주세요.

— cbeleites는

6

이항 분포는 그냥 되지 대칭, 아직이 사실은 특수 나온다 근처 또는 작은을위한 ; 대부분의 사람들은 에 사용하므로 혼동됩니다. $p$ $0$ $1$ $n$ $p\approx 0.5$

— chl
소스

2

나는 그것이 오래되었다는 것을 알고 있지만, 나는 여기에 차임이 될 것이라고 생각했다. n과 p가 주어지면 이항 분포를 사용하여 특정 횟수의 성공 확률을 계산하는 것이 간단합니다. 그런 다음 분포가 대칭이 아닌지 확인하기 위해 분포를 조사 할 수 있습니다. 큰 np 및 큰 n (1-p)에 대한 대칭에 접근합니다.

꼬리에 확률을 축적하여 특정 CI를 계산할 수 있습니다. 분포의 불연속적인 특성을 고려할 때 꼬리에서 특정 확률 (예 : 95 % CI의 경우 2.5 %)을 찾으려면 성공 횟수 사이의 보간이 필요합니다. 이 방법을 사용하면 근사치없이 필요한 보간법없이 CI를 직접 계산할 수 있습니다.

— 에릭 박사
소스