p <0.001, p <0.0001 또는 심지어 더 낮은 p- 값을 사용한 연구의 예?

나는 p <0.05가 거의 표준 인 사회 과학에서 왔으며 p <0.1 및 p <0.01도 나타나고 있지만 궁금한 점은 무엇입니까? 표준?

제 의견은 그것이 연구 분야에 의존하지 않아야한다는 것입니다. 예를 들어, 잘보다 낮은 유의 수준에서 작동 할 수 , 당신은 역사적 잘 확립 된 결과 연구를 복제하기 위해 노력하고있다 (예를 들어, 나는에 여러 연구 생각할 수있는 경우 스트 루프 효과 주도했다, 지난 몇 년 동안 일부 논쟁에). 이는 가설 검정을위한 고전적인 Neyman-Pearson 프레임 워크 내에서 더 낮은 "임계 값"을 고려해야합니다. 그러나 통계적이고 실질적인 (또는 실질적인) 의의는 또 다른 문제입니다.$p<0.001$

(!) 참고 . "스타 시스템"은 70 년대 초 과학적 문의를 지배 한 것으로 보이지만 J. Cohen ( 미국 심리학자 , 1994, 49 (12), 997-1003)의 '지구가 둥글다' (p <.05)를 참조하십시오. 우리가 종종 알고 싶어하는 데이터에 내가 관찰 한 데이터가 주어진다는 사실에도 불구하고, 이 사실 일 확률 은 얼마입니까? 어쨌든 Jerry Dallal의 " Why P = 0.05? " 에 대한 좋은 토론도 있습니다 .$H_0$

사람이 0.01보다 낮은 사전 지정된 알파 레벨을 사용하는 것은 드물지만, 사람들이 관찰 된 P 값보다 작은 P 값이 다음과 같은 잘못된 믿음으로 암시 된 알파를 0.01 미만으로 주장하는 것은 드물지 않습니다. 0.01은 0.01 미만의 Neyman-Pearson 알파와 동일합니다.

Fisher의 P 값은 Neyman-Pearson 오류율과 같거나 상호 교환 할 수 없습니다. 은 실험을 설계 할 때 0.0023 을 중요도 수준으로 사용하기로 결정하지 않는 한 α = 0.0023을 의미하지 않습니다 . 촬영 한 것입니다 경우 P = 0.05 중요한 다음으로 P = 0.0023 수단을이 생길 것을 0.05 거짓 긍정적 인 주장의 확률.$P = 0.0023$$\alpha = 0.0023$$0.0023$$P = 0.05$$P = 0.0023$$0.05$

한 번 봐 가지고 허바드 등등의 알. 고전 통계 테스트에서 증거 측정 (p 's)과 오류 (α)에 대한 혼란. 미국 통계 학자 (2003) vol. 57 (3)

나는이 문헌에 익숙하지는 않지만 일부 물리학 자들은 통계 테스트에서 훨씬 낮은 임계 값을 사용한다고 생각하지만 조금 다르게 이야기합니다. 예를 들어, 측정 값이 이론적 예측과 3 개의 표준 편차 인 경우 "3 시그마"편차라고합니다. 기본적으로 이것은 관심있는 매개 변수가 α = .01 인 az 테스트의 예측 값과 통계적으로 다르다는 것을 의미합니다. 두 시그마는 α = .05와 거의 같습니다 (실제로 1.96σ). 내가 실수하지 않으면 물리학의 표준 오류 수준은 5 시그마이며 이는 α = 5 * 10 ^ -7입니다.

또한, 신경 과학 또는 역학에서, 일상적으로 다중 비교를 위해 약간의 수정을 수행하는 것이 점점 일반화되고 있습니다. 따라서 각 개별 테스트의 오류 수준은 p <.01보다 낮을 수

Gaël Laurans가 언급 한 것처럼 다중 비교 문제에 부딪 치는 통계 분석은 더 보수적 인 임계 값을 사용하는 경향이 있습니다. 그러나 본질적으로 그들은 0.05를 사용하지만 테스트 수를 곱합니다. 이 절차 (Bonferroni 보정)는 매우 작은 p- 값으로 빠르게 이어질 수 있습니다. 그렇기 때문에 과거의 사람들 (신경 과학)은 p <0.001에서 멈췄습니다. 요즘에는 다중 비교 보정의 다른 방법이 사용됩니다 (Markov random field theory 참조).