샘플 크기가 충분히 크면 실제 효과 크기가 정확히 0이 아닌 한 테스트는 항상 중요한 결과를 보여줍니다. 왜?

효과 크기 에 관한 Wikipedia의 기사에서 제기 된 주장이 궁금 합니다 . 구체적으로 :

[...] 널이 아닌 통계 비교는 모집단 효과 크기가 정확히 0이 아닌 한 항상 통계적으로 유의미한 결과를 표시합니다.

나는 이것이 그것을 의미하는 것이 무엇인지, 확실하지 않다. 결국 효과는 통계, 즉 자체 분포를 가진 표본에서 계산 된 값이라고 생각합니다. 이것은 효과가 무작위 변이에 의한 것이 아님을 의미합니까 (이것이 중요하지 않다는 것을 이해하는 것입니까)? 그런 다음 효과가 충분히 강한 지, 절대 값이 높은지 여부 만 고려합니까?

내가 가장 친숙한 효과를 고려하고 있습니다. 피어슨 상관 계수 r이 이것과 모순되는 것 같습니다. 이 통계적으로 중요한 이유는 무엇 입니까? 경우 회귀 라인 작은 r y = a x + b = r ( s $r$$r$

$$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$$

를 들어 작은, 가까운 공하기 위해, F-테스트 가능성이 기울기 0을 포함 간격 신뢰를 포함 할 것이다. 이것은 반대의 예가 아닙니까?$\epsilon$

간단한 예로, 통계적 점보 점보를 사용하여 키를 추정한다고 가정하십시오.

당신은 항상 다른 사람들에게 당신이 177cm (약 5 피트 10 인치)라고 말했습니다.

이 가설 (높이가 177 cm, ) 임을 테스트 하고 측정 오류를 충분히 줄일 수 있다면 실제로 177 cm 가 아니라는 것을 증명할 수 있습니다 . 결국, 키를 충분한 소수점 이하 자릿수로 추정하면 표시된 높이 177.00000000 cm에서 거의 벗어날 수 있습니다. 아마도 당신은 177.02 cm입니다; 177cm가 아닌 것을 알기 위해 오류를 .02 미만으로 줄여야합니다.$h = 177$

통계 오류를 어떻게 줄이나요? 더 큰 샘플을 얻으십시오. 표본이 충분히 크면 오차가 너무 작아 귀무 가설에서 가장 작은 편차를 탐지 할 수 있습니다.

@Kodiologist가 지적했듯이 이것은 실제로 큰 샘플 크기에 대해 발생합니다. 작은 표본 크기의 경우 오 탐지 나 오 탐지를 가질 수없는 이유가 없습니다.

-test는 점근선이 가장 분명 하다고 생각합니다 . X 1 , … , X n iid ∼ N ( μ , 1 )이 있고 H 0 : μ = 0 대 H A : μ ≠ 0 을 테스트하고 싶다고 가정 해 봅시다 . 우리의 검정 통계량은 Z n = ˉ X n − $z$$X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$$H_0: \mu = 0$$H_A: \mu \neq 0$

$$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$$

따라서Zn=$\bar X_n \sim \mathcal N(\mu, \frac 1n)$. 우리는에 관심이P(|ZN|≥α). P(|Zn|≥α)=P(Zn≤−α)+P(Zn≥α)=1+Φ(−α−μ$Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$$P(|Z_n| \geq \alpha)$

$$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$$ 하자Y~N(0,1)우리 기준 가변적. 에서H0μ=0우리는 그래서P를(|ZN|≥α)=1-P(-α≤Y≤α)우리가 선택할 수 있도록α원하는대로 우리 형 I 오류 속도를 제어 할 수 있습니다. 그러나HAμ $$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$$ $Y \sim \mathcal N(0,1)$$H_0$ $\mu = 0$$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$$\alpha$$H_A$ 이므로 P(|Zn|≥α)→1+Φ(±∞)−Φ(±∞)=1 이므로 확률 1을 사용하면μ≠0 인경우H0을 기각합니다 (±는μ의경우<0이지만 무한대는 같은 부호를 갖습니다).$\mu \sqrt n \neq 0$ $$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$$ $H_0$$\mu \neq 0$$\pm$$\mu < 0$

$\mu$ $0$$\mu$$0$$1$$n$$H_A$$1$$n \to \infty$

$H_0 : \rho = \rho_0$$H_A: \rho \neq \rho_0$$1$

"이것은 항상 일어난다" 라는 다른 이유가 없다면 그들이 말한 것은 틀린 것 입니다.

이것이 이것이 당신 의 혼란의 핵심인지 모르겠지만 , 많은 사람들이 이것에 의해 혼란스러워 할 것이라고 생각하기 때문에 게시 할 것입니다.

$X$$n$$n > n_0$$X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

그들이 말한 것은 다음과 같이 해석됩니다.

$n$$n_0$

그들이 한 무엇을 하려고 말을하지만, 다음과 같습니다

유의 수준에서 표본 크기가 증가함에 따라 실제 효과 크기가 정확히 0이 아닌 경우 null이 아닌 테스트에서 유의미한 결과를 얻을 확률은 1에 가까워집니다.

여기에는 중요한 차이점이 있습니다.

• 보장 할 수 없습니다. 당신은 더있는 가능성이 더 큰 샘플 상당한 결과를 얻을. 이제 그들은 용어의 문제 일 뿐이므로 여기에서 책임의 일부를 피할 수 있습니다. 확률 론적 맥락에서, "n이 충분히 크면 X" 는 "n이 커짐에 따라 X가 점점 더 사실이된다" 는 의미로 해석 될 수 있다는 것이 이해 된다 . 그러나이 해석은 "항상"이라고 말하자마자 내 창 밖으로 나옵니다. 여기에 적절한 용어는이 "어떻게 말을했을 것이다 높은 확률로 " ¹ .
  

• 
  $n > n_0$

그러나 일단 문학을 이해하면, 그들이 말하려는 것을 얻게됩니다.

(측면 참고 : 우연히, 이것은 많은 사람들이 Wikipedia에서 지속적으로 겪고있는 문제 중 하나입니다. 종종 자료를 이미 알고 있다면 그들이 말하는 내용을 이해하는 것만 가능하기 때문에 참조 용 또는 알림 용으로 만 유용합니다. 자체 교육 자료가 아닙니다.)

_{¹ 동료들 (hi!)에게,이 용어는 내가 연결 한 것보다 더 구체적인 의미를 가지고 있습니다. 우리가 여기서 원하는 가장 느슨한 기술 용어는 "무조건 거의 확실하게" 입니다. 여기를 참조하십시오 .}

내가 가장 좋아하는 예는 성별에 따른 손가락 수입니다. 대다수의 사람들은 10 개의 손가락을 가지고 있습니다. 일부는 사고로 인해 손가락을 잃어 버렸습니다. 일부는 여분의 손가락이 있습니다.

남자가 여자보다 손가락이 더 많은지 (평균) 모르겠습니다. 쉽게 구할 수있는 모든 증거는 남녀 모두 10 개의 손가락을 가지고 있음을 시사합니다.

그러나 모든 남성과 여성에 대한 인구 조사를한다면 한 성별이 다른 평균보다 손가락이 더 많다는 것을 알게 될 것입니다.