최근에 나는 Klammer 등 의 논문 에서 발견했다 . p- 값이 균일하게 분포되어야한다는 진술. 저자들을 믿지만 왜 그런지 이해할 수 없습니다.

Klammer, AA, Park, CY 및 Stafford Noble, W. (2009) SEQUEST XCorr 함수의 통계 보정 . 프로테옴 연구 저널 . 8 (4) : 2106-2113.

조금 명확히하기 위해. 귀무 가설이 참이고 다른 모든 가정이 충족되면 p- 값이 균일하게 분포됩니다. 그 이유는 실제로 유형 I 오류의 확률로 알파를 정의하기 때문입니다. 우리는 참 귀무 가설을 기각 할 확률이 알파가되기를 원합니다. 관측 된 일 때는 기각합니다. 알파의 모든 값에 대해 이것이 일어나는 유일한 방법은 p- 값이 유니폼에서 나올 때입니다 분포. 올바른 분포 (정규, t, f, chisq 등)를 사용하는 요점은 검정 통계량에서 균일 한 p- 값으로 변환하는 것입니다. 귀무 가설이 거짓이면 p- 값의 분포는 0에 더 가중 될 것입니다.$\text{p-value} < \alpha$

R 용 TeachingDemos 패키지 의 Pvalue.norm.sim및 Pvalue.binom.sim함수는 여러 데이터 세트를 시뮬레이션하고 p- 값을 계산 한 후이 아이디어를 보여주기 위해 플롯합니다.

참조 :

Murdoch, D, Tsai, Y 및 Adcock, J (2008). P- 값은 랜덤 변수입니다. 미국 통계 학자 , 62 , 242-245.

자세한 내용은.

편집하다:

사람들은 여전히이 답변을 읽고 논평하기 때문에 @whuber의 의견을 해결할 것이라고 생각했습니다.

와 같은 복합 귀무 가설을 사용할 때 p- 값은 두 평균이 정확히 같을 때만 균일하게 분포되며 이 작은 값 이면 균일하지 않습니다. . 이것은 함수를 사용하여 일방적 인 테스트를 수행하도록 설정하고 시뮬레이션 및 가설 화 된 수단을 사용하여 시뮬레이션하는 것과는 다른 방식으로 쉽게 볼 수 있습니다 (그러나 null을 만드는 방향으로).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

통계 이론이 진행되는 한 이것은 중요하지 않습니다. 내가 가족의 모든 구성원보다 키가 크다고 주장한 경우이 주장을 테스트하는 한 가지 방법은 내 키를 가족의 각 구성원의 키와 한 번에 하나씩 비교하는 것입니다. 또 다른 방법은 가장 큰 가족 구성원을 찾아서 키를 내 몸과 비교하는 것입니다. 내가 한 사람보다 키가 크면 나머지 사람보다 키가 크고 내 주장이 사실이며, 한 사람보다 키가 크지 않으면 나의 주장이 거짓입니다. 복합 널 (null)을 테스트하는 것은 모든 가능한 조합을 테스트하기보다는, 유사한 과정으로 볼 수있는 우리가 거부 할 경우 때문에 우리가 평등 부분을 테스트 할 수 있습니다 찬성μ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$그러면 의 모든 가능성을 거부 할 수도 있습니다 . 경우 p- 값 의 분포를 분포가 완벽하게 균일하지는 않지만 0보다 1에 더 많은 값을 가지므로 제 1 종 오류 확률이 선택된 값을 보수 테스트로 만듭니다. 로 균일은 제한 분포가된다 가까워지고$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(통계 이론 용어에 더 최신 인 사람들은 아마도 분포 최고 또는 이와 유사한 측면에서 이것을 더 잘 나타낼 수 있습니다). 따라서 null이 복합 인 경우에도 null의 동일한 부분을 가정하여 테스트를 구성 하여 null이 true 인 모든 조건에 대해 최대 유형 I 오류 확률을 갖도록 테스트를 설계 합니다.$\alpha$

귀무 가설 하에서 검정 통계량 는 분포 갖습니다 (예 : 표준 법선). p- 값 는 확률 분포 다시 말해, , 는 균일하게 분포된다. 이것은 가 뒤집을 수없는 한 유지되며, 필요한 조건은 가 이산 랜덤 변수가 아니라는 것입니다.$T$$F(t)$$P=F(T)$

이 결과는 일반적입니다. 랜덤 변수의 가역 CDF 분포는 에서 균일합니다 .$[0,1]$

하자 누적 분포 함수와 확률 변수 나타낸다 모두 . 가 불가역 이라고 가정하면 다음과 같이 랜덤 p- 값 분포를 도출 할 수 있습니다 .$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

여기서 우리는 의 분포가 에서 균일 하다는 결론을 내릴 수 있습니다 .$P$$[0,1]$

이 답변은 Charlie와 비슷하지만 를 정의하지 않아도됩니다 .$t = F^{-1}(p)$

두 개의 독립 변수 간 선형 회귀 분석의 경우 p- 값 분포의 간단한 시뮬레이션 :

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

나는이 답변의 대부분이 실제로 일반적인 질문에 대답하지 않는다고 생각합니다. 이는 단순한 귀무 가설이 있고 검정 통계량에 CDF가 엄격하게 증가하는 경우 (CDF가 엄격하게 증가하는 연속 랜덤 변수)와 같이 제한됩니다. 이러한 경우는 대부분의 사람들이 z- 검정 및 t- 검정에 관심을 가지지 만 이항 평균 (예를 들어)에 대한 CDF가없는 경우를 테스트합니다. 위에 제공된 내용은 이러한 제한된 경우에 대한 내 눈에 맞습니다.

귀무 가설이 복합적이면 상황이 조금 더 복잡합니다. 거부 영역에 대한 몇 가지 가정을 사용하여 복합 사례에서 본 사실에 대한 가장 일반적인 증거는 Lehmann과 Romano의 "통계 가설 테스트,"63-64 페이지에 나와 있습니다. 아래의 주장을 재현하려고 노력할 것입니다 ...

검정 통계량에 기초하여 귀무 가설 대 대립 가설 검정합니다.이를 랜덤 변수 합니다. 검정 통계량은 일부 모수 적 클래스, 즉 에서 가져온 것으로 가정합니다 . 여기서 는 확률 분포 계열의 요소입니다. 및 는 매개 변수 공간입니다. 귀무 가설 및 대립 가설 은 에서 의 파티션을 형성합니다.$H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

테스트 결과는 로 표시 될 수 있습니다. 여기서 모든 집합 대해 여기서 는 우리의 유의 수준이며 는 유의 수준 에 대한 검정 의 기각 영역 을 나타냅니다 .

경우 거부 영역이 충족한다고 가정합니다 . 중첩 된 기각 영역의 경우 주어진 유의 수준 에서 귀무 가설이 기각되는지 여부를 결정하는 것뿐만 아니라 귀무 가설이 기각 될 최소의 유의 수준을 결정하는 것이 유용합니다. 이 수준은 p-value , 이 숫자는 (테스트 통계량 의해 묘사 된) 데이터 가 귀무 가설 모순되는 정도 .

그 가정 일부 그 . 또한 거부 영역 위에서 언급 한 중첩 속성을 준수 한다고 가정 합니다. 그런 다음 다음을 유지합니다.$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. 만약 모든 다음 용 , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. 경우 대해 가 있고 대해 $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

이 첫 번째 속성 은 p- 값이 보다 작은 경우를 거부 하여 오 탐지율이 로 제어 된다는 것을 알려주고 두 번째 속성은 p- 값이 null 아래에 균일하게 분포되어 있음을 추가로 가정합니다. 가설.$u$$u$

증거는 다음과 같습니다.

1. 하자 하고 가정 모든 . 다음의 정의에 의해 우리는 한 모두를위한 . 단조 로움과 가정에 따르면, 모든 대해 입니다 . 시키는 , 팔로우 그 .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. 하자 하고 있다고 가정 모두 . 그런 다음 이며, 단조로 . (1)을 고려하면 입니다. $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

귀무 가설이 복합적인 것이 아니라 단순하더라도 검정 통계량이 불연속 인 경우 (2)의 가정은 유지되지 않습니다. 예를 들어 및 사용하십시오 . 즉, 동전을 10 번 뒤집고 그것이 머리에 편향인지 편향되는지 테스트합니다 (1로 인코딩 됨). 10 개의 페어 코인 플립에서 10 개의 헤드를 볼 확률은 (1/2) ^ 10 = 1/1024입니다. 10 개의 페어 코인 플립에서 9 개 또는 10 개의 헤드를 볼 확률은 11/1024입니다. 어떤을 위해 경우 엄격하게 1,024분의 1과 1천24분의 11 사이, 당신은 널을 거부 것 ,하지만 우리가하지 않아도 의 그 값에 대한 때$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ 입니다. 대신 와 같은 . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

p 값이 H0 하에서 균일하게 분포되면 p- 값이 .80으로 p..05를 볼 가능성이 있지만 p- 값을 관찰 할 가능성이 적으므로 사실이 아닙니다. p- 값을 얻는 정규 분포의 정의이기 때문에 p- 값이 .80 인 .05보다 .05입니다. 정의에 따라 외부 범위보다 정규 범위 내에 속하는 샘플이 더 많습니다. 따라서 작은 것보다 큰 p- 값을 찾을 가능성이 높습니다.