p- 값에 대한 견해를 수용

때로는 보고서에 p- 값과 내가 제공 한 기타 추론 통계에 대한 면책 ​​조항이 포함되어 있습니다. 샘플이 무작위가 아니기 때문에 그러한 통계는 엄격하게 적용되지 않을 것이라고 말합니다. 내 특정 문구는 일반적으로 각주로 제공됩니다.

"엄격히 말해서, 추론 통계는 무작위 표본 추출의 상황에서만 적용 할 수 있지만, 우리는 중요하지 않은 표본에 대해서도 편리한 척도로 중요도 수준 및 / 또는 신뢰 구간을보고하는 규칙을 따릅니다. Michael Oakes의 통계적 추론 : 사회적 및 행동 과학 (NY : Wiley, 1986).

비 학술적 환경에서 한 번 또는 두 번의 동료 검토 논문의 경우, 편집자 또는 검토자는이 면책 조항에 반대하여 혼동을 불러 일으켰으며, 추론 적 발견은 단순히 서면으로 서 있어야한다고 느꼈습니다. (그리고 권위의 맨틀이 주어짐). 다른 사람 이이 문제에 직면하여 좋은 해결책을 찾았습니까? 한편으로 p- 값에 대한 사람들의 이해는 무작위 샘플링의 맥락 에서조차 일반적으로 어둡기 때문에 아마도 우리가 말하는 것은 중요하지 않을 것입니다. 다른 한편으로, 오해에 더 기여하는 것은 문제의 한 부분을 만드는 것처럼 보입니다. 무작위 할당이 적용되지 않고 Monte Carlo 시뮬레이션이 대표성 문제를 다루지 못하는 설문 조사를 자주 다루어야한다고 덧붙여 야합니다.

고지 사항을 포함하지 않아야한다는 주장이 실제로 있습니다. 솔직히, 나는 저널 기사에서 p- 값의 본질에 대한 간단한 논문을 약간의 소문이 있음을 발견했으며 잠시 동안 잠시 멈추고 무언가를했는지 알아 내야했습니다. .esoteric ... 정의적인 지점에 그 공간을 바치는 것을 보증합니다.

기본적으로 리뷰어로서 독자는 p- 값이 무엇이며 무엇을해야하는지 알고 있어야하므로 불필요하다고 부릅니다. 그러한 메모를한다고해서 p- 값에 수반되는 많은 분석 및 해석 범죄를 실제로 방지 할 수는 없기 때문에, 단지 "내가 무엇을하는지 믿어 라"라는 망토를 씌 웁니다. "나는 p- 값에 대해 대담한 입장을 취하 겠지만 너무 대담하지는 않지만보고하지는 않는다"고 조금 이상합니다.

"p- 값에 대한 확고한 견해"를 고려할 때, 나는 당신이 위에 게시 한 것과 같은 것에 대해 훨씬 덜 염려하고, 출판되기 위해 통계적 중요성에 대한 검토 자의 주장이나 논문의 초점에 대해 훨씬 더 염려합니다. 결과에 의한 별, 갑자기 큰 거래) 또는 통계적 의미와 결과의 중요성을 혼합 한 것입니다.

추론 통계의 사용은 모집단 모델뿐만 아니라 무작위 화 모델을 기반으로 정당화 될 수 있습니다. 후자는 샘플을 얻는 방법에 대해 어떤 가정도하지 않습니다. 실제로 Fisher는 무작위 배정 모델이 통계적 추론의 기초가되어야한다고 제안한 것입니다 (Nyman과 Pearson이 아닌). 예를 들어 :

Ernst, MD (2004). 순열 방법 : 정확한 추론의 기초. 통계 과학, 19, 676-685. [링크 (오픈 액세스)]

Ludbrook, J. & Dudley, H. (1998). 왜 생체 의학 연구에서 순열 테스트가 t 및 F 테스트보다 우수합니까? 미국 통계 학자, 52, 127-132. [링크 (JSTOR 액세스 권한이있는 경우)]

문제의 편집자 또는 검토자가이를 면책 조항을 "혼란"이라고 부르는 이유로이 방법을 사용하고 있었음에 틀림 없습니다.

나는 아직 나쁜 리뷰어들과 싸울 필요가 없었으므로 이미 시작된 전투에서 벗어나는 방법에 대한 지식을 주장하지는 않을 것입니다. 그러나 그들의 반대 의견이 단순한 무지의 문제라면 약간의 선제 적 전환이 그 트릭을 할 수 있습니다. 만약에r = .03 p p $p$문제가있는 연구 (출판 된 기사가 너무 많이 포함 된 클래스)에서 무시할 수없는 무효에도 불구하고 실제로 가치를보고하려면 값이 암시 적으로 저하 될 수 있습니다. 효과 크기에 대해 내러티브를 집중하는 것이 좋습니다. 귀하의 연구가 유용한 정보를 제공하기에 충분히 대표적이라면 (이것은 완벽하게 무작위 추출이 필요하지 않아야하며, 해석의 일반성에 만주의해야 함), 효과 크기는 단순히 관계 또는 차이점의 존재와 방향을 나타내는 것보다 더 넓은 의미를 가져야합니다. 효과 크기에 대한 토론에 초점을 맞추면 관계 또는 차이가 실제 의미에서 얼마나 중요한지 더 깊이 이해하는 데 도움이 될 수 있지만 여전히 연구 주제의 맥락에서 고려되어야합니다 (예 :$r = .03$ 은 삶과 죽음의 문제와 관련이있을 경우 반드시 중요하지 않습니다. ^{Rosenthal, Rubin, & Rosnow, 2000)} . "중요한"및 "중요하지 않은"것으로 언급하는 대신 "약한", "보통"또는 "강한"관계 또는 "작은"또는 "큰"차이로 결과를 논의하여이를 수행 할 수 있습니다. 후자의 두 단어는 연구자가 원하는 대부분의 포인트를 만들기 위해 반드시 필요한 것은 아닙니다. 값이 필요한 경우 스스로 말하게하십시오. 메타 분석가에게 호의를 베풀고 효과 통계, 신뢰 구간 및 테스트 통계와 같은 귀중한 통계에 대한보다 포괄적 인 보고서에 끼워 넣습니다.$p$$p$가치와 수요 신뢰 구간, 그렇게하는 것이 값이 완전히 도랑을 할 수 있습니다. (아니면 아닐 수도 있습니다! 포스트 스크립트 후 참조)$p$

잠재적으로 보완적인 또 다른 옵션은 각주를 확장하는 것입니다. 검토자가 경험 한 문제에 대한 귀하의 설명과이 페이지에서 현재 받아 들여진 답변은 각주를 포함하는 동기를 설명하기 위해 충분한 정보가 전달되지 않았으며 독자가 귀하의 인용을 인용하여 인용하도록 동기를 부여 할만큼 충분하지 않다고 제안합니다. 그렇게 간결하게 설명하는 데 사용합니다. 하나의 추가 문장, 참고 문헌의 짧은 인용문조차 각주의 가치를 설명하고 독자가 더 깊이 읽도록 동기를 부여하는 데 먼 길을 갈 수 있습니다. 분명히, 당신의 각주가 더 빠르다는 것은 부당한 가정에 대한 그들의 만족을 방해하려는 절제된 시도에 대한 단순하고 부정적인, 무시한 반응에 동기를 부여합니다. 독자가 일상적으로 간과 할 수있는 문제에 대해 한 두 가지 주요 요점을 먹이면 독자들은 지적 게으르지 않을 수 있습니다. 또한, 많은 특정 문제에 대한$p$ 값은 그 책뿐만 아니라 현재 온라인에서 자유롭게 구할 수있는 상당히 간결한 저널 기사를 인용하는 것을 고려하십시오 ^{(예 : Goodman, 2008 , Wagenmakers, 2007 )} . 책을 구하기가 어렵고 관련 정보를 찾기가 어렵 기 때문에 저항을 줄이는 데 도움이 될 수 있습니다.

추신 : Wagenmakers ^(2007)의 @rpierce 와 제 답변의 많은 논리와 @ Goodman ^(2008)의 @FranciscoArceo에게 감사드립니다 ! 값을 올바르게 해석하는 것에 대한 Cross Validated의 다른 인기 게시물뿐만 아니라 Francisco의 느슨하게 관련된 답변을 참조하십시오 .$p$

• 통계 테스트에서 p 값과 t 값의 의미는 무엇입니까?
• p- 값 이해

PPS @MichaelLew의 대응책은 값을 완전히 던져 버리기 전에 고려해야 할 가치가 있습니다! 희귀하고 귀중한 (그러나 부분적인) 방어에 대해서는 Senn ⁽²⁰⁰¹⁾ 및 Lew ⁽²⁰¹³⁾ 를 . [편집] : "또한, 나는, 새로운 질문이 질문을 제기 ? P <0.05 <0.95 결과는 오탐 (false positive)이라고하는 이유 "내 대답을 논의에서는, 영업 이익은 제기 Hurlbert와 롬바르디 ⁽²⁰⁰⁹⁾ 내가 제기, 내 동료들과 함께 그 중 한 명이 더 많은 참고 문헌을 이끌어 낸 새로운 Nature News 기사 Nuzzo ⁽²⁰¹⁴⁾ 를 가져 왔습니다 ^{( Goodman, 2001}p $p$$p$^{1992; Gorroochurn는 호지, Heiman는 Durner, 그린버그, 2007 )} ... 나는 분명히이 시점에서 유지 만하고 있지 않다 마이클 정확한에서 유용한 정보를 추출 가능성 방어에 혼자 단지 명확하지 않다 값을 (그들이 때 할 "엄격히 적용").$p$

참고 문헌

^{-Goodman, SN (1992). 복제, P- 값 및 증거 에 대한 의견 . 의학 통계, 11 (7), 875-879.
-Goodman, SN (2001). 의 P의 겸손한 제안 : -values와 베이 즈. 역학, 12 (3), 295–297. http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf 에서 검색했습니다 .
-Goodman, S. (2008). 더러운 12 가지 : 12 가지 P- 값 오해. 혈액학 세미나, 45 (3), 135–140. http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf 에서 검색했습니다 .
-Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M., & Greenberg, DA (2007). 연관 연구의 비 복제 : 복제하는 "의사-실패"? 의학 유전학, 9 (6), 325–331. http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html 에서 검색했습니다 .
-Hurlbert, SH, & Lombardi, CM (2009). Neyman-Pearson 의사 결정 이론 프레임 워크의 최종 붕괴와 신 피셔 인의 등장. Annales Zoologici Fennici, 46 (5), 311–349. http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf 에서 검색했습니다 .
-Lew, MJ (2013). P로 또는 P로 : P- 값의 증거 적 성격과 과학적 추론에서의 위치. arXiv : 1311.0081 [stat.ME]. 에서 검색http://arxiv.org/abs/1311.0081 .
-R. Nuzzo (2014 년 2 월 12 일). 과학적 방법 : 통계 오류. Nature News, 506 (7487). http://www.nature.com/news/scientific-method-statistical-errors-1.14700 에서 검색했습니다 .
-Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). 행동 연구에서의 대조와 효과의 크기 : 상관 관계 접근. 케임브리지 대학 출판부.
-Senn, S. (2001). P- 값에 대한 두 건배? 역학 및 생물 통계학 저널, 6 (2), 193–204. http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf 에서 검색했습니다 .
-EJ Wagenmakers (2007). 만연한 문제에 대한 실질적인 해결책p 값. 심리학 적 게시판 및 검토, 14 (5), 779–804. http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf 에서 검색했습니다 .}