평균 차이가 거의 0 인 경우 t- 검정은 어떻게 통계적으로 유의할 수 있습니까?

치료 간의 차이가 통계적으로 유의한지 확인하기 위해 두 인구의 데이터를 비교하려고합니다. 데이터 세트는 두 세트 간의 차이가 거의없는 정규 분포로 나타납니다. 평균 차이는 0.00017입니다. 쌍의 t- 검정을 수행하여 평균 간의 차이가 없다는 귀무 가설을 기각하지 않을 것으로 예상했지만 계산 된 t- 값이 내 임계 t- 값보다 훨씬 높습니다.

평균 차이가 매우 작더라도 테스트가 중요했기 때문에 당신이 뭔가 잘못했다고 믿을 이유가 없습니다. 쌍을 이루는 t- 검정에서 중요성은 다음 세 가지 요인에 의해 결정됩니다.

1. 평균 차이의 크기
2. 가지고있는 데이터의 양
3. 차이의 표준 편차

물론 평균 차이는 매우 작습니다. 반면에 상당한 양의 데이터가 있습니다 (N = 335). 마지막 요소는 차이의 표준 편차입니다. 나는 그것이 무엇인지 알지 못하지만 중요한 결과를 얻었으므로 가지고있는 데이터 양의 작은 평균 차이를 극복하기에 충분히 작다고 가정하는 것이 안전합니다. 직관을 구축하기 위해 연구에서 모든 관측치 의 쌍 차이 가 0.00017이고 그 차이의 표준 편차가 0이라고 가정합니다. 확실히, 치료가 감소를 가져 왔다고 결론 짓는 것이 합리적입니다. 작은 것).

@whuber가 아래 주석에서 언급했듯이 0.00017은 매우 작은 수의 숫자처럼 보이지만 의미있는 용어로는 반드시 작지는 않습니다. 이를 알기 위해서는 먼저 단위가 무엇인지 몇 가지를 알아야합니다. 단위가 매우 큰 경우 (예를 들어, 년, 킬로미터 등) 작은 것으로 보이는 것이 의미있게 클 수있는 반면, 단위가 작은 경우 (예 : 초, 센티미터 등)이 차이는 훨씬 더 작아 보입니다. 둘째, 작은 변화조차도 중요 할 수 있습니다. 매우 저렴하고 전체 대중에게 투여하기 쉽고 부작용이없는 어떤 종류의 치료 (예 : 백신)를 상상해보십시오. 생명을 거의 구하지 못하더라도 그렇게 할 가치가 있습니다.

차이가 실제로 크거나 작은 지 알기 위해서는 어느 정도의 척도 측정이 필요합니다. 표준 편차는 한 척도의 척도이며 해당 척도를 부분적으로 설명하는 t- 검정 공식의 일부입니다.

5 살의 키와 20 살의 키 (사람, 같은 지리적 영역 등)의 높이를 비교하고 있는지 고려하십시오. 직감에 따라 실제 차이가 있으며 높이를 인치 또는 센티미터로 측정하면 차이가 의미가 있습니다. 그러나 높이를 킬로미터로 변환하면 어떻게 될까요? 아니면 가벼운 년? 그 차이는 매우 작은 숫자이지만 (아직도 다름) t- 검정은 높이가 인치, 센티미터 또는 킬로미터 단위로 측정되는지에 관계없이 동일한 결과를 제공합니다.

따라서 측정 규모에 따라 0.00017의 차이가 클 수 있습니다.

$t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

이러한 표본은 매우 일관되게 다르기 때문에 많은 사람들이 일상적인 숫자로 보는 데 사용되는 것보다 규모가 작더라도 차이는 통계적 유의성을 달성합니다. 실제로, .00001첫 번째 R 코드 행에서 계산이 처리 할 수있는만큼 0을 표시하여 원하는만큼 데이터를 축소 할 수 있습니다 . 차이의 표준 편차도 축소됩니다. 즉, 당신의 차이는 당신의 와 똑같이 유지 될 것입니다.$t$ 는 정확히 동일하게 유지 될 것이며, 그것의 중요성도 마찬가지입니다.

아마도 귀무 가설 유의성 테스트의 문자 그대로의 의미보다 실제적인 중요성에 더 관심이있을 것입니다. 실제적 중요성은 통계적 중요성보다는 맥락에서 데이터의 의미에 훨씬 더 의존 할 것입니다. 순전히 통계적인 문제가 아닙니다. 나는 여기에 대중적인 질문 에 대한 답 으로이 원리의 유용한 예를 인용했다. p- 값에 대한 견해를 수용 .

결론 내릴 수는 없습니다.$r=.03$ ^{[(Rosenthal, Rubin, & Rosnow, 2000)]} .

이 "생명의 문제"는 기본적으로 심장 마비에 대한 아스피린의 효과 크기였으며, 이는 실질적으로 중요한 의미와 수치 적으로 작고 훨씬 덜 일관된 차이의 강력한 예입니다. 다음과 같은 링크가 필요합니다.

• "통계적으로 유의미한"이유가 충분하지 않은 이유는 무엇입니까?
• 실제 대 통계적 유의성
• 실제 백분율, 특히 퍼센트 : "표준"측정 및 임계 값

참고

Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). 행동 연구에서의 대조와 효과의 크기 : 상관 관계 접근 . 케임브리지 대학 출판부.

다음은 R의 이론적 개념을 보여주는 예입니다. 10,000 번의 확률로 동전을 10,000 번 뒤집는 10,000 번의 시도와 0.011 번의 확률로 동전을 10,000 번 던지는 10,000 번의 시험

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8.0299, df = 19886.35, p- 값 = 1.03e-15 대립 가설 : 평균의 실제 차이가 0 95 % 신뢰 구간과 같지 않음 : -0.14493747 -0.08806253 표본 추정치 : y의 평균 x의 평균 0.9898 1.1063

평균의 차이는 인간의 인식 측면에서 0에 상대적으로 가깝지만 0과 통계적으로 매우 다릅니다.