가설 검정에서 p- 값 해석

나는 최근에 "널 가설 유의성 테스트의 무의미" 논문 인 Jeff Gill (1999)을 보았습니다 . 저자는 가설 검정과 p- 값에 대한 몇 가지 일반적인 오해를 제기했습니다.

1. p- 값은 기술적으로 이며, 논문에서 지적한 바와 같이 일반적으로 대해서는 아무 것도 알려주지 않습니다 . 우리가 한계 분포를 알지 않는 한 "매일"가설 검정에서는 거의 해당되지 않습니다. 작은 p- 값을 얻고 "널 가설을 기각"하면 대해 아무 것도 말할 수 없기 때문에 우리가 만들고있는 확률론은 정확히 무엇 입니까?$P({\rm observation}|H_{0})$$P(H_{0}|{\rm observation})$$P(H_{0}|{\rm observation})$
2. 두 번째 질문은 논문 6 페이지 (652)의 특정 진술과 관련이 있습니다.

별표로 표시되는 p- 값 또는 p- 값의 범위는 사전에 설정되지 않았으므로, 제 1 종 오류가 발생할 가능성은 크지 않지만 일반적으로 그렇게 취급됩니다.

이 진술의 의미를 설명하는 사람이 있습니까?

(기술적으로, P- 값은 귀무 가설을 고려할 때 적어도 실제로 관측 된 것 보다 극단적 인 데이터 를 관측 할 확률입니다 .)

Q1. 작은 P 값을 기준으로 귀무 가설을 기각하는 결정은 일반적으로 '피셔의 이탈'에 따라 다릅니다. 희귀 사건이 발생했거나 귀무 가설이 거짓입니다. 실제로 이벤트가 드물기 때문에 null 값이 false 일 가능성이 아니라 P- 값이 알려줍니다.

널이 거짓 일 확률은 베이 즈 정리를 통해서만 실험 데이터로부터 얻을 수 있으며, 이는 널 가정에 대한 '우선'확률 (아마도 길이 "마진 분포"라고 함)을 지정해야합니다.

Q2. 귀하의 질문 의이 부분은 생각보다 훨씬 어렵습니다. 아마도 Gill이 말하는 "P- 값과 오류율에 대해 많은 혼란이 있습니다. 그러나 일반적으로 그렇게 취급됩니다." Fisherian P- 값과 Neyman-Pearsonian 오류율의 조합을 불일치 한 오해라고하며 불행히도 매우 널리 퍼져 있습니다. 여기에 짧은 대답이 완전히 적합하지는 않지만 몇 가지 좋은 논문을 제시 할 수 있습니다 (예, 하나는 내 것입니다). 둘 다 길 종이를 이해하는 데 도움이됩니다.

Hurlbert, S., & Lombardi, C. (2009). Neyman-Pearson 의사 결정 이론 프레임 워크의 최종 붕괴와 신 피셔 인의 등장. Annales Zoologici Fennici, 46 (5), 311–349. (종이로 링크)

Lew, MJ (2012). 약리학 (및 다른 기본 생의학 분야)에서의 나쁜 통계 관행 : 아마도 P. British Journal of Pharmacology, 166 (5), 1559–1567를 모른다. doi : 10.1111 / j.1476-5381.2012.01931.x (용지에 링크)

@MichaelLew에게 +1하면 좋은 답변을 제공합니다. 아마도 나는 Q2에 대한 사고 방식을 제공함으로써 여전히 기여할 수 있습니다. 다음 상황을 고려하십시오.

• 귀무 가설은 사실입니다. 귀무 가설이 참 이 아니면 유형 I 오류가 발생하지 않으며 값의 의미가 무엇인지 명확하지 않습니다 . $p$
• $\alpha$ 는 일반적으로 로 설정되었습니다 . $0.05$
• 계산 된$p$$0.01$

$p$$p$$0.02$$p$$0.04\bar{9}$$p$$\approx$$\alpha$

$p$

"귀무 가설 유의성 검정의 무의미"와 관련하여 의견을 말하고 싶지만 OP의 질문에 대답하지 않습니다.

$p$$H_0$$H_0\colon\{\theta=0\}$$\theta=\epsilon$$\epsilon$$\epsilon$$0$$\epsilon$$0$