가설이 없을 때의 P 값의 풍부

나는 역학에 빠졌다. 나는 통계학자는 아니지만 종종 어려움을 겪지 만 직접 분석을 시도합니다. 나는 2 년 전에 나의 첫 분석을했다. 설명 테이블에서 회귀 분석에 이르기까지 P 값은 분석의 모든 곳에 포함되었습니다. 조금씩, 내 아파트에서 일하는 통계 학자들은 내가 실제로 가설을 가지고있는 곳을 제외하고 p 값을 모두 (!) 건너 뛰도록 설득했습니다.

문제는 의료 연구 출판물에 p 값이 풍부하다는 것입니다. 너무 많은 행에 p 값을 포함하는 것이 일반적입니다. 평균, 중간 값 또는 일반적으로 p 값 (학생 t- 테스트, 카이-제곱 등)과 관련된 모든 설명 데이터.

나는 최근에 저널에 논문을 제출했으며, "기준선"설명 표에 p 값을 추가하는 것을 거부했다. 그 신문은 결국 거부 당했다.

예를 들어 아래 그림을 참조하십시오. 그것은 내과의 저명한 저널에 발표 된 최신 기사의 설명 표입니다.

통계 학자들은 이러한 원고의 검토에 대부분 (항상 그런 것은 아니지만) 관여합니다. 따라서 나 자신과 같은 평신도는 가설이없는 곳에서 p 값을 찾지 못할 것으로 기대합니다. 그러나 그들은 풍부하지만 이것에 대한 이유는 나에게 애매하게 남아 있습니다. 나는 그것이 무지라고 믿기가 어렵다는 것을 안다.

나는 이것이 경계선 통계 문제라는 것을 알고 있습니다. 그러나 나는이 현상의 근거를 찾고 있습니다.

분명히 나는 ​​p- 값이 무엇인지 또는 왜 그들에 대한 과도한 의존이 문제인지 말할 필요가 없습니다. 당신은 분명히 그 것들을 이미 충분히 잘 이해하고 있습니다.

출판을 통해 두 가지 경쟁 압력이 있습니다.

합리적인 기회마다 가장 먼저 추진해야 할 것은 합리적인 일을하는 것입니다.

두 번째는 궁극적으로 실제로 게시해야한다는 것입니다. 끔찍한 연습을 개혁하려는 당신의 훌륭한 노력을 아무도 보지 못하면 아무런 이득이 없습니다.

따라서 그것을 피하는 대신 :

• 당신이 도망 칠 수있는 그런 무의미한 활동을하지 마십시오.

• 도움이 될 것이라고 생각되면 이 최근의 자연 분석법 기사 [1]에 대한 언급을 포함 시키거나 다른 참고 문헌 중 하나 이상을 개선하는 것이 좋습니다. 적어도 p- 값의 우선 순위에 반대가 있음을 확인하는 데 도움이되어야합니다.

• 다른 저널이 적합 할 경우 다른 저널을 고려하십시오.

다른 분야에서도 마찬가지입니까?

p- 값을 과도하게 사용하는 문제는 여러 분야에서 발생 하지만 (가설 이 있을 때 문제가 될 수도 있음 ), 다른 것보다 훨씬 덜 일반적입니다. 어떤 분야에는 p- 값-염에 문제가 있으며, 그로 인해 야기되는 문제는 결국 과도하게 반응 을 유발할 수 있습니다. 게다가).

나는 여러 가지 이유가 있다고 생각하지만, p- 값의 과도한 의존은 그 자체의 모멘텀을 얻는 것처럼 보입니다. "유의 한"이라고 말하고 사람들이 매우 매력적으로 생각하는 null을 거부하는 것에 관한 것이 있습니다. 다양한 학문 (예 : [3] [4] [5] [6] [7] [8] [9] [10] [11] 참조)은 (다양한 성공률로) p-values ​​(특히 = 0.05)는 수년 동안 여러 가지 종류의 제안을 해왔습니다. 모두 동의하지는 않지만 사람들이해야했던 다양한 것을 이해하기 위해 다양한 견해를 포함합니다. 말하다.$\alpha$

그들 중 일부는 신뢰 구간에 초점을 맞추고, 일부는 효과 크기를보고, 일부 베이지안 방법, 일부 p- 값, 특정 방식으로 p- 값 사용을 피하는 등을 주창합니다. 대신해야 할 일에 대한 여러 가지 견해가 있지만, 그 사이에는 적어도 일반적으로 수행되는 방식으로 p- 값에 의존하는 문제에 대한 많은 자료가 있습니다.

더 많은 참고 문헌은 차례로 참조하십시오. 이것은 단지 샘플링 일뿐입니다. 수십 개의 참조가 더 있습니다. 몇몇 저자들은 왜 p- 값이 널리 퍼져 있다고 생각하는지에 대한 이유를 제시합니다.

이러한 참조 중 일부는 편집자와 포인트를 논의하려는 경우 유용 할 수 있습니다.

[1] Halsey LG, Curran-Everett D., Vowler SL & Drummond GB (2015),
" 주근깨 P 값은 재현 할 수없는 결과를 낳습니다."
Nature Methods 12 , 179–185 doi : 10.1038 / nmeth.3288
http : // www .nature.com / nmeth / journal / v12 / n3 / abs / nmeth.3288.html

[2] David Trafimow, D. and Marks, M. (2015),
편집,
기본 및 응용 사회 심리학 , 37 : 1-1
http://www.tandfonline.com/loi/hbas20
DOI : 10.1080 / 01973533.2015.1012991

[3] Cohen, J. (1990),
내가 지금까지 배운 것들,
American Psychologist , 45 (12), 1304–1312.

[4] Cohen, J. (1994),
지구는 둥글다 (p <.05),
American Psychologist , 49 (12), 997–1003.

[5] Valen E. Johnson (2013),
통계적 증거에 대한 개정 표준 PNAS , vol. 110 호 48, 19313–19317 http://www.pnas.org/content/110/48/19313.full.pdf

[6] Kruschke JK (2010),
믿을만한 것 : 데이터 분석을위한 베이지안 방법,
인지 과학의 동향 14 (7), 293-300

[7] Ioannidis, J. (2005)
가장 많이 발표 된 연구 결과가 거짓 인 이유,
PLoS Med. 8 월; 2 (8) : e124.
도 : 10.1371 / journal.pmed.0020124

[8] Gelman, A. (2013), P Values ​​and Statistical Practice,
Epidemiology Vol. 24 , No. 1, 1 월, 69-72

[9] Gelman, A. (2013),
"p- 값의 문제점은 어떻게 사용되는지에 대한 것",
(Paul Murtaugh의 "P- 값의 방어", 생태학 에 대한 논의 ) 미공개
http : // citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.300.9053
http://www.stat.columbia.edu/~gelman/research/unpublished/murtaugh2.pdf

Nuzzo R. (2014),
통계적 오류 : 통계 학적 유효성의 '골드 표준'인 P 값은 많은 과학자들이 생각하는 것만 큼 신뢰할 수 없다 (
News and Comment,
Nature , Vol. 506 (13), 150-152

[11] Wagenmakers E, (2007)
p 값의 광범위한 문제에 대한 실질적인 해결책,
Psychonomic Bulletin & Review 14 (5), 779-804

p- 값 또는보다 일반적으로 귀무 가설 유의성 검정 (NHST)은 점점 더 적은 값을 유지합니다. 그래서 그것은 저널에서 금지 되기 시작했습니다 .

대부분의 사람들은 p- 값이 실제로 우리에게 무엇을 알려주고 왜 그것이 우리에게 그것을 말하는지 이해하지 못합니다.

문제는 p- 값 이 더 유익한 아니라 알려준다는 것 입니다. 후자는 베이지안 추론의 사용과 관련되며 모델 검사의 결론에 대한 더 강력한 기초를 제공합니다.$P(\text{Data}\,\vert\, H_0)$$P(H_0\,\vert\,\text{Data})$

우리가 관찰 한 데이터를 고려할 때 모델이 참 / 중요 할 확률은 데이터가 모델에 적합 할 확률보다 더 강한 의미를 갖습니다 .$H_0$$H_0$

다른 분야에서도 마찬가지입니까? p 값에 대한 집착의 이유는 무엇입니까?

Greenwald et al. (1996)은 심리학에 관한이 질문을 다루려고 시도합니다. NHST를 기준 차이에 적용하는 것과 관련하여, 편집자들은 아마도 "중요하지 않은"기준 차이가 결과를 설명 할 수없는 반면, "중요한"기준 결과는 결과를 설명 할 수 있다고 (올바르거나 잘못) 결정할 것입니다. 이는 Greenwald et al.에서 제공하는 "이유 1"과 유사합니다. :

왜 NHT가 인기를 유지합니까?

"왜 NHT는 비판에 굴복하지 않습니까? 더 나은 대답이 없으면 행동 과학자의 품성이 부족한 것에 대해 NHT의 지속성을 인정하고 싶은 유혹이 있습니다. "저녁 식사 전 칵테일의 습관을 포기하지 않으려는 술꾼의 마음이 ..."

이유 I : HT는 이분법적인 결과를 제공합니다

"p <.05가"통계적으로 유의미한 "관습을 널리 채택했기 때문에 NHT를 사용하여 귀무 가설에 대한 질문에 대한 이분법적인 답변 (거부 또는 거부하지 않음)을 얻을 수 있습니다. 매개 변수의 예상 값이 아니라 예측 방향으로 언급 된 이론적 질문에 대한 유용한 답변으로서 ... "

이유 2 : p 통계학을위한 의미있는 공용어 번역으로서의 가치

"t, F 또는 r 값 (연관된 df 포함)에서 직접 인식 할 수있는 것과는 달리 ap 값의 놀라움 측정 값은 소수점 오른쪽의 연속적인 0의 숫자로 간단히 캡처됩니다."

이유 3 : p 값이 귀무 가설 기각의 복제성에 대한 신뢰도를 제공합니다.

"[U] 효과 크기 (또는 신뢰 구간)와 마찬가지로 NHT로 인한 ap 값은 Null이 아닌 결과의 복제 성 추정치와 단조롭게 관련됩니다. "거부-거부 거부 결론을 반복한다는 NHT의 의미에서만, 그리고 포인트 또는 구간 추정 사이의 근접성에 대한 추정의 의미에서는 그렇지 않습니다."

효과 크기 및 p 값 : 무엇을보고하고 무엇을 복제해야합니까? 앤토니 G. 그린 왈드, 리차드 곤잘레스, 리차드 제이 해리스 및 도널드 구티 심리 생리학, 33 (1996). 175-183. 케임브리지 대학 출판부. 미국에서 인쇄되었습니다. 저작권 O 1996 정신 생리 학적 연구 협회

P- 값은 두 모집단에서 샘플링 한 두 그룹의 결과 ( "치료"대 "대조군", "A"대 "B"등) 간의 차이에 대한 정보를 제공합니다. 차이의 본질은 가설의 진술에서 공식화된다-예를 들어 "A의 평균은 B의 평균보다 크다". p- 값이 낮 으면 차이가 랜덤 변이에 의한 것이 아니라고, p- 값이 높으면 두 샘플의 차이가 랜덤 변이에서 발생할 수있는 차이와 구별 될 수 없음을 나타냅니다. p- 값에 대해 "낮음"또는 "높음"은 역사적으로 엄격한 논리 나 증거 분석에 의해 확립되기보다는 관습과 취향의 문제였습니다.

p- 값을 사용하기위한 전제 조건은 두 그룹의 결과가 실제로 비교할 수 있어야한다는 것입니다. 즉, 그 결과의 유일한 차이는 평가하는 변수와 관련이 있습니다. 과장된 예로서, 두 가지 기간에 대한 두 가지 질병에 대한 통계가 있다고 상상해보십시오. 이 두 데이터 세트에서 p- 값을 계산하는 것은 다소 어리석은 일입니다. 이제 A : 치료를받지 않은 영국 교도소 남성의 콜레라 사망률 대 B : 재수 화 치료를받은 영국 교도소 남성의 콜레라 사망률이 확실한 통계적 가설의 근거가됩니다.

대부분의 경우 이것은 신중한 실험 설계, 신중한 조사 설계 또는 신중한 과거 데이터 수집 등을 통해 수행됩니다. 또한 두 결과 간의 차이는 표본 통계를 포함하는 가설 진술로 표현해야합니다. 표본 분산 또는 다른 표본 통계 일 수 있습니다. 확률 적 지배를 사용하여 두 표본 분포를 전체적으로 비교하는 가설 진술을 작성할 수도 있습니다. 이것들은 드물다.

p- 값에 대한 논란은 연구에서 "정말 중요한 것"에 초점을 맞추고 있습니까? 효과 크기가 나오는 곳입니다. 기본적으로 효과 크기는 두 그룹의 차이의 크기입니다. 통계적 유의성이 높고 (p- 값이 낮을수록-임의의 변동이 아니기 때문에) 효과 크기가 작습니다 (매우 작은 크기 차이). 효과 크기가 매우 큰 경우 다소 높은 p- 값을 허용해도됩니다.

대부분의 학문은 이제 효과 크기보고와 p- 값의 역할을 줄이거 나 최소화하는 방향으로 매우 강하게 움직이고 있습니다. 또한 표본 분포에 대한보다 자세한 통계를 권장합니다. 베이지안 통계를 포함한 일부 접근법은 p- 값을 모두 제거합니다.

내 대답은 요약되고 단순화되었습니다. 이 주제에 대해 다음을 포함하여 자세한 내용, 정당성 및 특정 사항에 대해 상담 할 수있는 많은 기사가 있습니다.

• 효과 크기 사용 또는 P 값이 충분하지 않은 이유
• 효과 크기 및 p- 값 : 복제 할 내용과보고 할 내용
• 효과 크기, 바보

"나 자신과 같은 평신도는 가설이없는 곳에서 p 값을 찾지 못할 것으로 기대한다."

암시 적으로 OP는 그가 제시 한 특정 표에보고 된 p- 값에 수반되는 가설이 없다고 말합니다. 이 작은 혼란을 없애기 위해 분명히 귀무 가설이 있지만 오히려 간접적으로 언급됩니다 (공간 경제를 위해, 나는 가정합니다).

"p- 값"은 "오른쪽 꼬리"테스트의 조건부 확률입니다.

여기서 는 사용 된 통계량이며, 은 대해 조건부 와 관련된 확률 이 참 임을 나타내는 누적 분포 함수 이고, 는 의해 얻어진 의 값입니다 . 샘플 사용. 테스트가 의미가있을 때까지 분명히, 그것은 통계하는 경우이어야 등이며, 귀무 가설의 의 분포하도록이다 조건으로 진실되고, 다른 (또는 다른 때 모두에 속해 매개 변수화 조건부 분포에서 동일한 제품군)F T | H 0 ( t ∣ H 0 ) T H 0 t ( S ) T T H 0 T H 0 H $T$$F_{T|H_0}(t \mid H_0)$$T$$H_0$$t(S)$$T$$T$$H_0$$T$$H_0$$H_0$ 사실이 아닙니다.

따라서 귀무 가설이 없으면 p- 값을 계산할 수 없으며 , 귀무 가설이 어딘가에 p- 값이보고 될 때마다 어딘가에 숨어 있습니다.

질문에 제시된 표에서 우리는 읽습니다.

"WHR tertiles 간의 차이점에 대한 모든 테스트 ..."

이 문구에서 귀무 가설은 "숨겨져"있습니다. "WHR tertiles간에 차이가 없습니다"( "WΗR tertile"가 무엇이든)는 수학 형식으로 표현되며 여기에서 두 크기의 차이는 제로.

나는 호기심을 가지고 OP가 예를 들어 제공 한 논문을 읽었습니다. 복부 비만은 고관절 골절의 위험을 증가시킵니다 . 나는 의료 연구원이 아니며 일반적으로 약지를 읽지 않습니다.

이 백서에서 사용하는 유일한 곳 은 질문 본문에 OP가 재현 한 표 1의 캡션 이라는 사실에 놀랐습니다 .$p$

나에게 그것은 의 "풍부함"처럼 보이지 않습니다 ! 나는 다른 그룹의 피험자 (인간, 생쥐, 파리, 뉴런, 조직 샘플 등)가 다른 조건에서 다르게 처리되거나 측정되는 신경 과학 논문에 익숙하며, 논문은 일반적으로 그룹 간의 차이를 중심으로 진행됩니다. 이러한 차이는 항상 평가 되므로 한 논문에 수십 및 수십 개의 논문이 본문에보고 될 수 있습니다. 때때로 이것은 실제로 "풍부함"처럼 보입니다. 이 접근법은 여러 가지 이유로 종종 (때로는 옳고 때로는 틀리게) 비난을 받고 있습니다. @ Glen_b (+1)의 답변과 추가 링크를 참조하십시오.$p$$p$

그러나이 논문은 그와 같은 행동을하지 않으며 코호트의 다른 특성이보고 될 때 기본적으로 값만 보고합니다. 나는 이 무엇을하고 있는지 이해하지 못 하므로 그렇습니다. 그러나 나는이 전체 테이블이 무엇을하고 있는지 이해하지 못합니다! 나는이 표가 다소 혼란 스럽습니다 (왜냐면? 왜 WHR의 tertiles입니까? 실제 관심 변수, 고관절 골절 률은 어디에 있습니까?). 이것은 실제 분석에 더 이상 사용되지 않는 것 같습니다. 이 전체 테이블은 과 함께 많은 손실없이 텍스트에서 쫓겨날 수 있습니다 .p $p$$p$$p$

이 백서에서 이 풍부하지 않기 때문에 질문에 다소 혼란 스럽습니다.$p$

질문이 구체적으로 그러한 설명 표를 언급하는 것처럼 들립니다. 그렇다면 전통적으로 인해 생존하는 의학 저널에서 이상한 (그러나 대부분 무해한) 연습입니다.

추신 :이 백서의 주요 분석 ( 포함 되지 않음 )은 나에게 이상하게 보입니다. 이 연구의 목표는 다양한 가능한 공변량을 제어하면서 허리 둘레 (WC), 엉덩이 둘레 (HC), 허리 / 엉덩이 비율 (WHR) 및 BMI와 사건 고관절 골절의 관계 를 조사하는 것입니다. . 표본 크기가 ( ). 내가 할 일은 모든 예측 변수를 탄성 순 페널티로 하나의 회귀 모델에 넣고 교차 검증을 통해 정규화 매개 변수를 선택한 다음 0이 아닌 계수가있는 예측 변수를 보는 것입니다. 또는 비슷한 것. 대신에 저자는 임시 모델링을 수행합니다.n = $p$$n=43000$

통계적 동료 평가 수준은 내 경험에서 생각하는 것만 큼 높지 않습니다. 내가 작업 한 모든 응용 논문에 대해 모든 통계 의견은 통계 전문가가 아닌 응용 분야의 전문가가 제공 한 것입니다. "최상의"저널의 경우 더 정밀한 조사가 있지만 심각한 결함이있는 결과를 보는 것은 드문 일이 아닙니다. 나는 통계 분야가 어려울 수 있기 때문에 이것이 부분적이라고 생각합니다 (많은 위대한 마음 사이의 불일치로 볼 수 있음).

둘째, 한 분야의 독자들은 특정 방식으로 사물을 볼 것으로 기대합니다. 최근 한 경험에서, 모델의 확률을 도표로 만들었지 만, 공동 작업자가이를 독자가 원시 데이터의 막대 그래프에 더 적합 할 것이라고 정확하게 추측했기 때문에이 문제는 해결되었습니다. 요약하면, 많은 독자들은 기준 특성 표와 함께 p- 값을 기대합니다.

직접적인 질문과는 관련이 없지만 관련성이 높을 수 있습니다. p- 값은 거의 모든 텍스트에 빈번하거나 가능성있는 방법을 사용합니다. 저자는 종종 엄청난 기여를했으며 통계에 대해 깊이 생각했습니다. 실험 론자들은 학대를 당했지만 분명히 통계에 자리를 잡았습니다.

나는 의학 기사를 자주 읽어야하는데, 진자는 중앙 균형 구역에 머무르기보다는 한 극단에서 다른 극단으로 스윙하는 것 같습니다.

다음 접근법이 잘 작동하는 것 같습니다. P 값이 작 으면 우연히 관찰 된 차이가 거의 없을 것입니다. 그러므로 우리는 차이의 크기를보고 그것이 실제적으로 중요한지 결정해야합니다. 매우 작은 P 값은 큰 차이가 있더라도 큰 표본 크기에서 발생하며 실제적으로 관련이 없을 수 있습니다.

기준 데이터 테이블에 P 값을 포함시키지 않으면 불리 할 수 ​​있습니다. 따라서 연구에서 평균 연령이 54 세와 59 세인 두 그룹이 있다면이 차이가 우연히 발생할 수 있는지 알고 싶습니다. 만약 P가 작다면, 나는 2 개의 그룹에서이 5 년 차이가 연구 결과에 영향을 미칠 수 있는지 생각합니다. P가 작지 않으면이 질문을 해결할 필요가 없습니다.

P 값에만 의존하고 차이의 크기를 확인하지 않으면 문제가 발생합니다 (예 : 단순한 백분율 변경). 어떤 사람들은 차이 만 남고 보이도록 P 값을 완전히 생략해야한다고 생각합니다. 균형 잡힌 해결책은이 두 가지를 평가하는 데 중점을 두는 것이지만 P 값을 버리는 것이 아니라 제한적이지만 '유의 한'의미를 갖습니다. 효과 크기는 (신뢰 구간과 마찬가지로) P 값과 밀접한 상관 관계가있을 수 있으며 통계적 환경에서 P 값을 완전히 대체 할 가능성도 없습니다. 다음 기사에서 언급했듯이 귀무 가설 검정에는 많은 장점이 있습니다.

앤토니 G. 그린 왈드, 리차드 곤잘레스, 리차드 제이 해리스 및 도널드 구티 효과 크기 및 p 값 :보고해야 할 내용과 복제해야 할 내용은 무엇입니까? 심리 생리학, 33 (1996). 175-183.