p <.05에서 공개 된 p- 값 분포의 불연속성을 유발하는 원인은 무엇입니까?

최근 논문 에서 Masicampo and Lalande (ML)는 여러 연구에서 발표 된 많은 p- 값을 수집했습니다. 그들은 표준 임계치 5 %에서 p- 값의 히스토그램에서 호기심 많은 점프를 관찰했습니다.

Wasserman 교수의 블로그에서이 ML 현상에 대한 좋은 토론이 있습니다.

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

그의 블로그에는 히스토그램이 있습니다.

5 % 수준은 자연의 법칙이 아니라 관례이기 때문에 출판 된 p- 값의 경험적 분포에 대한 이러한 행동의 원인은 무엇입니까?

선택 바이어스, 표준 임계 수준 바로 위의 p- 값의 체계적인 "조정"또는 무엇?

(1) @PeterFlom에서 이미 언급했듯이 한 가지 설명은 "파일 서랍"문제와 관련이있을 수 있습니다. (2) @Zen은 또한 저자 (들)가 데이터 또는 모델 (예 : 데이터 준설 )을 조작하는 경우를 언급했습니다 . (3) 그러나 우리는 순전히 무작위로 가설을 테스트하지 않습니다. 즉, 가설은 우연히 선택되지 않지만 이론적 가정은 다소 강합니다.

당신은 또한 소위 "캘리퍼스 테스트"를 적용한 그 분야에서 최근에 연구를 수행 한 Gerber와 Malhotra의 연구에 관심이있을 것입니다 :

• 통계보고 표준이 게시 된 내용에 영향을 줍니까? 두 개의 주요 정치학 저널에 게재 된 편견

• 실증적 사회학 연구의 출판 편견 : 임의의 유의 수준이 출판 된 결과를 왜곡 하는가?

Andreas Diekmann이 편집 한이 특별한 문제에 관심이있을 수도 있습니다.

• 경제 및 사회 과학의 방법 론적 인공물, 데이터 조작 및 사기

지금까지 누락 된 한 가지 주장은 연구자 자유 도로 알려진 데이터 분석의 유연성입니다. 모든 분석에는 여러 가지 결정, 특이점 기준을 설정하는 위치, 데이터 변환 방법 등이 있습니다.

이것은 최근 Simmons, Nelson 및 Simonsohn의 영향력있는 기사에서 제기되었습니다.

Simmons, JP, Nelson, LD, & Simonsohn, U. (2011). 틀린 긍정적 심리학 : 데이터 수집 및 분석에 공개되지 않은 유연성으로 인해 중요한 것을 제시 할 수 있습니다. 심리 과학 , 22 (11), 1359 –1366. 도 : 10.1177 / 0956797611417632

(이것은 소셜 심리학에서 최근에 탐지 된 일부 데이터 사기 사건 (예 : 인터뷰 , 블로그 게시물 )을 책임지는 Simonsohn과 동일합니다 )

나는 그것이 이미 말한 모든 것의 조합이라고 생각합니다. 이것은 매우 흥미로운 데이터이며 이전에 이와 같은 p- 값 분포를 고려한 적이 없습니다. 귀무 가설이 참이면 p- 값은 균일합니다. 그러나 물론 결과가 공개되면 여러 가지 이유로 균일 성이 보이지 않을 것입니다.

1. 우리는 귀무 가설이 거짓이라고 기대하기 때문에 연구를 수행합니다. 따라서 중요한 결과를 얻지 않아야합니다.

2. 귀무 가설이 절반의 시간 만 거짓이면 p- 값의 균일 한 분포를 얻지 못할 것입니다.

3. 파일 서랍 문제 : 언급 한 바와 같이 p- 값이 중요하지 않은 경우 (예 : 0.05 미만) 논문을 제출하는 것이 두렵습니다.

4. 논문 제출을 선택한 경우에도 발행인은 서명이 아닌 결과로 인해 논문을 거부합니다.

5. 결과가 경계선에있을 때 우리는 의미를 얻기 위해 일을 할 것입니다 (악의적 인 의도가 아닐 수도 있음). (a) p- 값이 0.053 일 때 0.05로 내림합니다. (b) 이상치라고 생각되는 관측치를 찾은 후 p- 값을 이동 한 후 p- 값이 0.05 아래로 떨어집니다.

나는 이것이 합리적으로 이해할 수있는 방식으로 말한 모든 것을 요약하기를 바랍니다.

내가 생각하는 것은 0.05에서 0.1 사이의 p- 값이 있다는 것입니다. 게시 규칙에 따라 p- 값이 0.05를 초과하는 항목을 거부하면 오른쪽 꼬리가 0.05에서 잘립니다. 실제로 0.10에서 차단 되었습니까? 그렇다면 일부 저자와 일부 저널은 0.10의 유의 수준을 수용하지만 그보다 더 높은 것은 없습니다.

많은 논문에 여러 p- 값이 포함되어 있기 때문에 (복수로 조정되거나 그렇지 않음) 주요 테스트가 중요하기 때문에 논문이 수락되므로 목록에 중요하지 않은 p- 값이 포함될 수 있습니다. 이것은 "히스토그램에 포함 된 논문에 모든 p- 값이보고 되었는가?"라는 질문을 제기합니다.

한 가지 추가 관찰은 p- 값이 0.05보다 훨씬 낮아지면 출판 된 논문의 빈도가 크게 증가한다는 것입니다. p-0.0001을 p-0.0001로 해석하는 저자가 출판에 훨씬 더 가치가 있다고 생각할 수도있다. 필자는 p- 값이 효과 크기의 크기와 마찬가지로 샘플 크기에 의존한다는 것을 무시하거나 깨닫지 못한다고 생각합니다.