비율에 대한 신뢰 구간을 계산하는 방법은 무엇입니까?


12

0과 1 사이 의 비율 를 출력하는 실험을 고려하십시오. 이 비율을 얻는 방법은이 맥락에서 관련이 없어야합니다. 이 질문의 이전 버전 에서 자세히 설명 되었지만 메타에 대한 토론 후에 명확성을 위해 제거되었습니다 .Xi

이 실험은 번 반복되는 반면 은 작습니다 (약 3-10). 독립적이고 동일하게 분산 된 것으로 간주됩니다. 이로부터 평균 를 계산하여 평균을 추정 하지만 해당 신뢰 구간 을 계산하는 방법은 무엇입니까?n X i ¯ X [ U , V ]nnXiX¯[U,V]

신뢰 구간을 계산하기 위해 표준 접근법을 사용할 때 는 때때로 1보다 큽니다. 그러나 내 직감은 올바른 신뢰 구간입니다.V

  1. ... 범위는 0과 1이어야합니다
  2. ... 을 증가 시키면 작아 질 것n
  3. ... 표준 접근법을 사용하여 계산 된 순서와 거의 같습니다.
  4. ... 수학적으로 건전한 방법으로 계산됩니다.

이것들은 절대적인 요구 사항은 아니지만 적어도 내 직감이 왜 틀린지 이해하고 싶습니다.

기존 답변을 기반으로 계산

다음에서 기존 해답으로 인한 신뢰 구간은 \ {X_i \} = \ {0.985,0.986,0.935,0.890,0.999 \} 와 비교됩니다 {Xi}={0.985,0.986,0.935,0.890,0.999}.

표준 접근법 (일명 "학교 수학")

X¯=0.959 , σ2=0.0204 이므로 99 % 신뢰 구간은 [0.865,1.053] 입니다. 이것은 직관 1과 모순된다.

자르기 (댓글에서 @soakley가 제안 함)

표준 접근법을 사용하고 그 결과로 [0.865,1.000] 을 제공하기 만하면[0.865,1.000] 됩니다. 그러나 우리는 그렇게 할 수 있습니까? 나는 아직 하한이 일정하게 유지된다고 확신하지 못한다 (-> 4).

로지스틱 회귀 모형 (@Rose Hartman이 제안)

변환 된 데이터 : 결과 , 그 변환 결과는 다시 . 분명히 6.90은 변환 된 데이터에 대한 특이 치이며 0.99는 변환되지 않은 데이터에 대한 것이 아니므로 신뢰 구간이 매우 큽니다. (-> 3.)[ 0.173 , 7.87 ] [ 0.543 , 0.999 ]{4.18,4.25,2.09,2.66,6.90}[0.173,7.87][0.543,0.999]

이항 비례 신뢰 구간 (@Tim에서 제안 함)

이 접근법은 꽤 좋아 보이지만 불행히도 실험에 적합하지 않습니다. @ZahavaKor가 제안한대로 결과를 결합하고 하나의 큰 반복 Bernoulli 실험으로 해석하면 다음과 같습니다.

5 * 1000 [ 0.9511 , 0.9657 ] X i985+986+890+935+999=4795 중 합계이다. 이것을 Adj에 먹이십시오. Wald 계산기는 제공합니다 . 하나의 가 해당 간격 내에 있지 않기 때문에 현실적으로 보이지 않습니다 ! (-> 3.)51000[0.9511,0.9657]Xi

부트 스트랩 (@soakley에서 제안)

함께 우리는 3125 가능한 순열이있다. 순열 의 중간 수단을 하면 됩니다. 더 큰 간격 (-> 3)을 기대하지만 그렇게 나쁘지 않습니다 . 그러나 구성 당 보다 크지 않습니다 . 따라서 작은 샘플의 경우 (-> 2) 을 늘리기 위해 축소하는 것보다 오히려 커집니다 . 이것은 적어도 위에서 주어진 샘플에서 일어나는 일입니다.3093n=5[0.91,0.99][min(Xi),max(Xi)]n30933125=0.99[0.91,0.99][min(Xi),max(Xi)]n


두 번째 접근 방식이 맞습니다. 나는 첫 번째에 대해 확실하지 않습니다-통계적으로 명확하게 언급되지 않았습니다. 내가 아는 한, 재현성은 다른 연구원이 동일한 실험을 수행하여 유사한 결과를 얻는다는 것을 의미합니다. 추정하려는 모수에 관한 통계적 가설과 관련하여 목표를보다 명확하게 지정해야합니다. "복제 성"이라는 용어를 사용하는 것은 제 생각에는 너무 모호합니다.
Zahava Kor

맞습니다. 반복성은 올바른 용어이며 재현성이 아닙니다. 통계 용어로 정의를 구성하려고합니다.
koalo

@ZahavaKor 나는 반복성에 대한 불특정 한 예를 제거하고 내 문제를 명확히하고 혼동하지 않기를 바라는 실제 응용 프로그램을 지정했습니다.
koalo

실제로 크기가 1000 인 샘플을 수집하는 경우 리샘플링 방법을 올바르게 적용하지 않은 것입니다. 그러나 데이터가 많으면 리샘플링이 필요하지 않으며 위에서 알 수 있듯이 표준 이항 접근 방식으로 좋은 결과 (좁은 신뢰 구간)를 얻을 수 있습니다. 개별 데이터 포인트가 결과 간격에 있지 않다고해서 간격이 잘못되었다는 의미는 아닙니다.
soakley

1
글쎄, 이것에 대해 생각하십시오. 당신은 10 개의 아이템을 샘플링하고 9 개의 성공을 얻습니다. 나는 1000을 샘플링하고 900의 성공을 얻습니다. 평균의 더 정확한 추정치는 누구입니까? 직관이 아직 없다면 Tim이 참조한 공식을 사용해보십시오. 따라서 귀하의 질문의 마지막 예에서 표본 크기는 5가 아니며 5000입니다!
soakley

답변:


6

우선, 당신이 다루고있는 것은 귀하의 질문에서 알 수 있듯이 이항 분포가 아닙니다 (Beroulli 실험이라고 함). 이항 분포는 불 연속적입니다. 결과는 성공 또는 실패입니다. 결과는 실험을 실행할 때마다 비율 이며, 성공 및 실패 집합이 아니라 하나의 요약 비율을 계산합니다. 따라서 이항 비례 신뢰 구간을 계산하는 방법은 많은 정보를 버리게됩니다. 그러나 변수의 가능한 범위를 넘어 확장되는 CI를 얻을 수 있기 때문에 이것을 정규 분포로 취급하는 것이 문제가된다는 것이 맞습니다.

로지스틱 회귀 분석의 관점에서 이것에 대해 생각하는 것이 좋습니다. 비율 변수를 결과로 예측 변수없이 로지스틱 회귀 모델을 실행하십시오. 절편과 CI는 로그에 필요한 것을 제공 한 다음 비율로 다시 변환 할 수 있습니다. 로지스틱 변환을 직접 수행하고 CI를 계산 한 다음 원래 스케일로 다시 변환 할 수도 있습니다. 내 파이썬은 끔찍하지만 R에서 어떻게 할 수 있습니까?

set.seed(24601)
data <- rbeta(100, 10, 3)
hist(data)

원시 데이터 히스토그램

data_logits <- log(data/(1-data)) 
hist(data_logits)

로짓 변환 된 데이터의 히스토그램

# calculate CI for the transformed data
mean_logits <- mean(data_logits)
sd <- sd(data_logits)
n <- length(data_logits)
crit_t99 <- qt(.995, df = n-1) # for a CI99
ci_lo_logits <- mean_logits - crit_t * sd/sqrt(n)
ci_hi_logits <- mean_logits + crit_t * sd/sqrt(n)

# convert back to ratio
mean <- exp(mean_logits)/(1 + exp(mean_logits))
ci_lo <- exp(ci_lo_logits)/(1 + exp(ci_lo_logits))
ci_hi <- exp(ci_hi_logits)/(1 + exp(ci_hi_logits))

이러한 데이터에 대한 99 % CI의 하한과 상한은 다음과 같습니다.

> ci_lo
[1] 0.7738327
> ci_hi
[1] 0.8207924

좋은 접근법처럼 들리지만 결과는 직관적으로 기대하지 않습니다. 0.99,0.94,0.94의 data_logits는 4.59,2.75,2,75이며, 신뢰 구간은 [-2.73,9.47]입니다. 이것을 다시 변환하면 [0.061,0.999]가 나옵니다. 예상보다 훨씬 큽니다.
koalo

1
단 세 번의 관측치에는 매우 큰 신뢰 구간이 필요합니다. 히스토그램에서 세 개 이상의 관측치가있는 것처럼 보입니다.-0.99,0.94,0.94를 사용한 예제는 단지 설명하는 것으로 가정했습니다. 실제 표본 크기가 3이면 신뢰 구간을 계산하지 않는 것이 좋습니다 (또는 그 문제에 대한 수단).
Rose Hartman

위의 히스토그램은 파이썬 스크립트에서 내 문제를 설명하기 위해 제공됩니다. 실제 실험에서 많은 측정 값을 얻을 수 없습니다. 적어도 모든 매개 변수 조합에는 해당되지 않습니다. 나는 3이 너무 작아서 최종 평가에서 약 10 개가 가능할 것이라는 데 동의하지만, 그다지 많지는 않습니다. 따라서 단일 측정을하는 것이 운이 좋을뿐 아니라 실험을 반복해도 완전히 다른 결과가 나오지 않음을 증명하기 위해 어떻게해야합니까?
koalo

@RoseHartman 그것은 분명한 좋은 설명이지만 질문의 데이터 샘플 (n = 5)에 적용 된 방법을 보는 것도 좋습니다.
오후.

@scitamehtam 나는 koalo가 예제 데이터를 제공하기 전에 내 대답을 썼고 표본 크기가 10 이하의 관측치라는 것을 분명히했습니다. koalo는 n = 5 데이터를 사용하여 각 답변 방법의 예제를 포함하도록 원래 질문을 업데이트했습니다.
Rose Hartman

3

리샘플링 / 부트 스트랩을 시도 할 수 있습니다. 언급 한 간단한 사례를 살펴 보겠습니다.

0.99, 0.94 및 0.94의 3 개 데이터 포인트를 사용하면 27 개의 가능한 순열을 모두 나열하고 각 경우의 평균을 찾은 다음 평균을 정렬 할 수 있으므로 리샘플링을 수행하지도 않습니다.

리스트를 생성하고 중간 25 개의 관측치를 취하면 92.6 % 신뢰 구간이 [0.9400, 0.9733]입니다. 신뢰도를 96.3 % 로 높이려면 두 가지 일방적 인 간격 선택이 있습니다. [0.9400, 0.9733] 또는 [0.94, 0.99]입니다.26 / 27 =25/27=26/27=

귀하의 이 3보다 훨씬 클 것으로 가정 하므로 교체로 다시 샘플링 할 것입니다. 이걸 1000 번한다고 해 그런 다음 각 경우에 평균을 찾으십시오. 1000 평균 집합에서 중간 950 값을 가져옵니다. 이 부분 집합의 최저값과 최고 값은 95 % 신뢰 구간을 형성합니다.n

여기서 질문 : 순열 테스트의 매개 변수에 대한 신뢰 구간을 어떻게 생성합니까? 일부 R 코드를 포함하여 더 자세한 정보를 제공합니다.


다른 의견에서 쓰인 것처럼, n은 "3보다 훨씬 크지"않지만 필요한 경우 n = 10 일 수 있습니다. 이 접근법은 내 신뢰 구간이 1.0을 초과하지 않도록 보장하지만 다른 방법으로 주어진 신뢰 구간을 상당히 과소 평가하는 것으로 보입니다. 실제로 [min, max] 간격보다 크지 않습니다.
koalo

평균이 [min, max] 외부에 얼마나 자주 있다고 생각하십니까?
soakley

아마 드물기는하지만 [min, max] 간격이 내 주장을 뒷받침하기에 충분히 작을 경우 신뢰 구간을 잊어 버리고 [min, max] 만 제공 할 수 있습니까? 내 경험상 작은 표본 크기의 경우 신뢰 구간이 [min, max]에 비해 다소 큽니다.
koalo 2012

2

이항 신뢰 구간은 오랫동안 통계 토론의 주제였습니다. 귀하의 문제는 100 % 미만의 비율로 간주되지만 100 %를 사용하면 더욱 문제가됩니다. 질문하는 통찰력있는 방법 중 하나는 다음과 같습니다.

지난 2,000 년 동안 매일 태양이 끊임없이 떠올랐다는 점을 감안할 때 내일 해가 올 확률은 얼마입니까?

성공률이 높을수록 가능성은 높다고 생각하지만 100 % 확신 할 수는 없습니다 (우주가 먼저 폭발 할 수도 있습니다). 따라서 100 % 비율을 가지더라도 에서 신뢰 구간이 축소되지 않습니다 .p=1

이 꼬리를 계산하는 방법에는 여러 가지가 있습니다. 나는 체크 아웃 권하고 싶습니다 위키 백과 수학을 위해, 아니면 그냥 대답을 원하는 경우, 같은 이항 간격 계산기 검색 이 하나 (또한 뒤에 수학을 좀 더 설명을해야하는 일).


그것은 내가 찾고있는 것에 매우 가깝지만 수식은 실험의 단일 실행 결과에 대한 신뢰 구간 만 계산하고 여러 실험의 평균에 대한 신뢰 구간은 계산하지 않는 것 같습니다.
koalo

분모 (예 : 100 개의 패킷)가 모든 실행에서 동일하게 유지되는 한 실행 또는 여러 실행이 중요하지 않습니다. 각각 100 개의 실험을 3 회 실행하는 것은 수학적으로 300 개의 패킷으로 실험을 실행하는 것과 동일하며 이항 수식을 사용할 수 있지만 n = 100이 아닌 n = 300입니다. 분모가 같지 않으면 가중 평균 (n에 의해 가중 됨)을 찾아야하며 새 n은 n의 합이됩니다.
Zahava Kor

@ZahavaKor 댓글이 너무 길어서 질문에 수정 사항을 추가했습니다. 나는 그것이 틀렸다고 말하지는 않지만 현재의 이해와 일치하지 않습니다.
koalo

2

베이지안 접근 방식 :

BB


p=n/mp
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.