결과가 "매우 중요"하다고 말하는 것이 잘못입니까?

p- 값이 기존 α- 수준 0.05 보다 훨씬 낮을 때 통계 학자들이 왜 결과를 " 매우 유의미한" 것으로 언급하지 못하게 하는가?$p$$\alpha$$0.05$

99 % ( p = 0.01 )의 확률 만 제공하는 결과보다 99.9 %의 확률로 Type I 오류 ( ) 가 아닌 결과를 신뢰하는 것이 실제로 잘못 입니까?$p=0.001$$p=0.01$

나는 결과가 "매우 중요하다"고 말하는 데에는 많은 잘못이 없다고 생각한다 (그렇지만, 조금 부주의하다).

이는 유의 수준 더 작게 설정 한 경우 에도 결과가 유의 한 것으로 판단 되었음을 의미합니다 . 또는 일부 독자가 α 를 훨씬 더 작게 생각 하더라도 결과가 유의미하다고 판단 할 수 있습니다.$\alpha$$\alpha$

p- 값은 (일부 경고와 함께) 데이터의 속성 인 반면 , 유의 수준 는 보는 사람의 눈에 있습니다.$\alpha$$p$

관찰 단지 관찰과 동일하지 않습니다 P = 0.04를 모두 자신의 분야 (이 표준 규칙에 의해 "의미"라고 할지라도, α = 0.05 ). 작은 p- 값은 귀무에 대한 강력한 증거를 의미합니다 (Fisher의 가설 검정 프레임 워크를 좋아하는 사람들에게). 이는 효과 크기 주변의 신뢰 구간이 더 큰 마진을 가진 널값을 제외 함을 의미합니다 (CI를 p- 값보다 선호하는 사용자의 경우 ). 그것은 널의 사후 확률이 더 작다는 것을 의미합니다 (이전의 일부를 가진 베이지안의 경우); 이것은 모두 동등하며 단순히 결과가 더 설득력 이 있음을 의미합니다.$p=10^{-10}$$p=0.04$$\alpha=0.05$$p$$p$. p- 값이 작을수록 더 설득력이 있습니까?를 참조하십시오 . 더 많은 토론을 위해.

"매우 중요한"이라는 용어는 정확하지 않으며 반드시 그럴 필요는 없습니다. 이것은 놀랍게도 큰 효과 크기를 관찰하고 "거대한"(또는 단순히 "매우 큰")이라고 부르는 것과 유사한 주관적인 전문가 판단입니다. 과학적 글쓰기에서도 데이터에 대한 질적이며 주관적인 설명을 사용하는 데 아무런 문제가 없습니다. 물론 객관적인 정량 분석도 제공됩니다.

위의 훌륭한 주석, +1 ~ @whuber, @Glen_b 및 @COOLSerdash를 참조하십시오.

이것은 일반적인 질문입니다.

비슷한 질문은 "p <= 0.05가 중요한 이유는 무엇입니까?" ( http://www.jerrydallal.com/LHSP/p05.htm )

@ Michael-Mayer는 답의 한 부분을 주었다 : 중요성은 답의 한 부분 일 뿐이다. 데이터가 충분하면 일반적으로 일부 매개 변수가 "유의 한"것으로 표시됩니다 (Bonferroni 수정 참조). 다중 시험은 유의성을 찾는 대규모 연구가 일반적이고 p- 값 < ^10-8 이 필요한 유전학에서 특정한 문제입니다 ( http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2621212/ ).

또한 많은 분석에서 한 가지 문제는 기회 주의적이며 사전에 계획되지 않았다는 것입니다 (예 : "데이터를 충분히 고문하면 자연은 항상 고백합니다"-Ronald Coase).

일반적으로 분석이 사전 계획된 경우 (통계 검정력에 대한 반복 분석 수정) 중요한 것으로 간주 될 수 있습니다. 종종 여러 개인 또는 그룹의 반복 테스트가 무언가 효과가 있는지 확인하는 가장 좋은 방법입니다. 그리고 결과의 반복은 가장 중요한 의미에 대한 테스트입니다.

테스트는 흑백 결정을위한 도구입니다. 즉, '진정한 치료 효과가 있습니까?'와 같은 예 / 아니오 질문에 대답하려고합니다. 특히 데이터 세트가 큰 경우 이러한 질문은 많은 리소스를 낭비합니다. '진정한 치료 효과가 얼마나 큰가?'와 같은 정량적 질문에 대한 답을 얻을 수 있다면 왜 이진 질문을 하는가? 암묵적으로 예 / 아니오 질문에도 대답합니까? 따라서 확실성이 높은 정보에 대한 예 / 아니오 질문에 대답하는 대신 훨씬 더 많은 정보가 포함 된 신뢰 구간을 사용하는 것이 좋습니다.