다른 샘플 크기에서 p 값의 상대적 크기

p 값의 상대적 크기는 다른 샘플 크기에서 어떻게 변합니까? 상관 관계에 대해 에서 을 얻은 다음 에서 동일한 p 값 0.20을 얻은 경우, 원래 p 값과 비교하여 두 번째 테스트의 p 값의 상대 크기는 얼마입니까? 때 ?$p=0.20$$n=45$$n=120$$n=45$

너무 자주 머리가 나올 것으로 의심되는 동전을 던지는 것을 고려하십시오.

실험을 수행 한 후 단일 꼬리 가설 검정을 수행합니다. 10 번의 토스에서 7 개의 헤드를 얻습니다. 공정한 동전으로 50 % 이상 떨어진 곳에서 쉽게 일어날 수 있습니다 . 특이한 점은 없습니다.

대신 1000 회 던지기로 700 마리의 헤드를 얻었습니다.

따라서 70 % 헤드는 첫 번째 경우 공정한 동전에 대해 전혀 이상하지 않으며 두 번째 경우에는 공정한 동전에 대해 매우 이상하지 않습니다. 차이점은 샘플 크기입니다.

표본 크기가 증가함에 따라 모집단 평균이 어디에 있는지에 대한 불확실성이 감소합니다 (이 예에서는 헤드 비율). 따라서 더 큰 표본은 더 작은 범위의 가능한 모집단 값과 일치합니다. 표본이 클수록 더 많은 값이 "배제"되는 경향이 있습니다.

데이터가 많을수록 모집단 평균이있는 위치를 더 정확하게 찾아 낼 수 있습니다. 따라서 표본 평균이 커짐에 따라 잘못된 평균의 고정 된 값은 그럴듯 해 보이지 않습니다. 즉, 이 참이 아니면$H_0$ 샘플 크기가 증가함에 따라 p- 값이 더 작아지는 경향 이 있습니다 .

@Glen_b에 동의합니다. 다른 관점에서 설명하고 싶습니다.

두 모집단의 평균 차이의 예를 들어 봅시다. 거부 하는 것은 평균의 차이에 대해 0이 신뢰 구간에 속하지 않는 것과 같습니다. 이 간격은 n (정의상)에 따라 작아 지므로 n이 커짐에 따라 임의의 점 (이 경우 0)이 간격에 들어가는 것이 점점 더 어려워집니다. 신뢰 구간에 의한 기각은 수학적으로 p- 값에 의한 기각과 동일하므로 p- 값은 n에 따라 작아집니다.$H_{0}$

과 같은 구간이 생겨 첫 번째 모집단이 실제로 두 번째 모집단보다 평균이 더 크다는 것을 나타내는 순간이 올 것입니다. 그러나이 차이는 너무 작아서 마음에 들지 않을 것입니다. 당신은 을 거부 할 것이지만,이 거부는 실제 생활에서 아무 의미도 없습니다. 이것이 p- 값이 결과를 설명하기에 충분하지 않은 이유입니다. 항상 관찰 된 차이의 크기를 측정해야합니다.$[0.0001, 0.0010]$$H_0$

A에 대한 값이 유의 검사 (A)의 널 가설은 소정의 0이 아닌 것이 효과 크기는 실제로 제로 샘플 크기가 증가함에 따라 감소 집단이다. 이는 0이 아닌 효과에 대한 일관된 증거를 제공하는 더 큰 표본이 ​​작은 표본보다 널에 대해 더 많은 증거를 제공하기 때문입니다. 표본이 작을수록 @Glen_b의 답변에서 알 수 있듯이 무작위 표본 추출 오차가 효과 크기 추정값을 바이어스 할 수있는 더 많은 기회를 제공합니다. 평균으로의 회귀 는 샘플 크기가 증가함에 따라 샘플링 오류를 줄입니다. 샘플의 중심 경향에 따른 효과 크기 추정값은 샘플의 크기가 중앙 한계 정리에 따라 개선됩니다 . 따라서$p$$p$– 같은 모집단에서 무작위로 추출 할 경우 동일한 모집단의 효과 크기가 실제로 0이라고 가정 할 때 동일한 크기와 효과 크기를 가진 표본보다 더 많은 표본을 얻을 확률은 표본의 크기보다 적을 확률 – 표본 크기가 감소 함 증가하고 샘플의 효과 크기는 변경되지 않습니다. 표본 크기가 증가함에 따라 효과 크기가 줄어들거나 오류 변동이 증가하면 유의성은 동일하게 유지 될 수 있습니다.

또 다른 간단한 예가 있습니다 : 와 의 상관 관계 . 여기서 Pearson의 입니다. 데이터를 복제하고 와 의 상관 관계를 테스트하면 , 이지만 여전히 입니다. 다음과 같이 에 접근하는 데 많은 사본 ( ) 이 필요하지 않습니다 .$x=\{1,2,3,4,5\}$$y=\{2,1,2,1,3\}$$r=.378,t_{(3)}=.71,p=.53$$x=\{1,2,3,4,5,1,2,3,4,5\}$$y=\{2,1,2,1,3,2,1,2,1,3\}$$r=.378$$t_{(3)}=1.15,p=.28$$n$$\lim_{n\to\infty} p(n)=0$