결과를 "거의"또는 "약간"중요하다고 말하는 것이 잘못입니까?

비슷한 질문에 대한 일반적인 합의 : 결과를 "매우 중요"하다고 말하는 것이 잘못 되었습니까? "매우 중요"는 비 특정 적이지만 p- 값이 사전 설정된 유의성 임계 값보다 훨씬 낮은 연관의 강도를 설명하는 유효한 방법입니다. 그러나 임계 값 보다 약간 높은 p- 값을 설명하는 것은 어떻습니까? 나는 몇몇 논문이 "약간 중요하다", "거의 중요하다", "유의 한 접근"등과 같은 용어를 사용하는 것을 보았다. 나는이 용어들이 약간 소망스럽고, 어떤 경우에는 부정적인 결과를 가진 연구에서 의미있는 결과를 도출하기위한 경계선을 불분명 한 방법으로 생각한다. 이 용어가 p- 값 컷오프를 "그냥 놓친"결과를 설명하는 데 허용됩니까?

"의의"가 학위를 인정하도록하려면 충분히 공정한 ( "약간 유의 한", "정의 적으로 유의 한"), "거의 유의미한"과 같은 임계 값의 아이디어에 여전히 얽매여 있다는 문구를 피하십시오. 필사적으로 표시하고 싶지 않은 경우 , "중요한 접근"또는 "중요한 의미"( 블로그 가능성 있는 "아직 중요하지 않음" 에서 내가 가장 좋아하는 것 ).

내 관점에서 볼 때이 문제는 실제로 유의성 테스트를 수행한다는 것이 의미하는 것으로 요약됩니다. 귀무 가설을 기각할지 또는 기각하지 않는지를 결정하기위한 수단으로 유의성 검정을 고안했습니다. 피셔 자신은 (임의의) 결정을 내리기 위해 악명 높은 0.05 규칙을 도입했습니다.

기본적으로 유의성 검정의 논리는 사용자가 데이터를 수집하기 전에 귀무 가설 (일반적으로 0.05)을 기각하기 위해 알파 수준을 지정해야한다는 것입니다. 입니다. 유의성 검정을 완료 한 후, p 값이 알파 수준보다 작 으면 사용자가 널을 거부하거나 그렇지 않으면 널을 거부합니다.

효과가 매우 중요하다고 선언 할 수없는 이유는 (예 : 0.001 수준에서) 찾기 위해 설정 한 것보다 더 강력한 증거를 찾을 수 없기 때문입니다. 따라서 검정 전에 알파 수준을 0.05로 설정하면 p 값의 크기에 관계없이 0.05 수준에서만 증거를 찾을 수 있습니다. 같은 방식으로, "약간 유의 한"또는 "유의 한 접근"효과에 대한 언급은 0.05의 임의의 기준을 선택했기 때문에 의미가 없습니다. 유의성 검정의 논리를 문자 그대로 해석하면 0.05보다 큰 것은 중요하지 않습니다.

나는 "의의에 접근하는 것"과 같은 용어가 출판의 전망을 향상시키기 위해 종종 사용된다는 데 동의한다. 그러나 일부 과학 분야의 현재 출판 문화는 여전히 "거룩한 성배"0.05에 크게 의존하기 때문에 저자가 그 사실에 대해 책임을 질 수 있다고 생각하지 않습니다.

이러한 문제 중 일부는 다음에서 논의됩니다.

Gigerenzer, G. (2004). 무의미한 통계. 사회 경제학 저널, 33 (5), 587-606.

Royall, R. (1997). 통계적 증거 : 가능성 패러다임 (Vol. 71). CRC 프레스.

이 미끄러운 슬로프는 귀무 가설 유의성 검정 (NHST)을 위해 Fisher vs Neyman / Pearson 프레임 워크를 불러옵니다. 한편으로, 결과가 귀무 가설 (예 : 효과 크기)에 얼마나 미치지 않을지에 대한 정량적 평가를 원합니다. 반면, 하루가 끝나면 결과가 우연에 의한 것인지 아닌지에 대한 개별적인 결정을 원합니다. 우리가 끝낸 것은 매우 만족스럽지 않은 일종의 하이브리드 접근법입니다.

대부분의 분야에서, 유의성에 대한 기존의 p는 0.05로 설정되어 있지만 이것이 왜 그렇게되어야하는지에 대한 근거는 없습니다. 논문을 검토 할 때 방법론이 건전하고 모든 분석, 그림 등을 포함한 전체 그림이 일관되고 믿을 수있는 이야기를 전한다면 0.06 중요도 또는 0.07이라고 부르는 저자에게는 전혀 문제가 없습니다. 문제가 발생하는 곳은 저자가 효과 크기가 작은 사소한 데이터로 스토리를 만들려고 할 때입니다. 반대로, 시험이 기존의 p <0.05 유의성에 도달하더라도 실질적으로 의미가있는 시험을 '믿지'않을 수도 있습니다. 내 동료가 한 번 말했다 : "통계량은 이미 수치에 분명한 것을 백업해야합니다."

모든 것이 말했지만, Vasilev가 맞다고 생각합니다. 출판 시스템이 망가 졌다면, p 값을 포함해야하므로 '마지막으로'(좋아하는)와 같은 형용사를 요구하더라도 '중요'라는 단어를 심각하게 받아 들여야합니다. 피어 리뷰에서 항상 싸울 수 있지만 먼저 도착해야합니다.

두 p- 값 자체의 차이는 일반적으로 중요하지 않습니다. 따라서 p- 값이 0.05, 0.049, 0.051인지 여부는 중요하지 않습니다.

연관 강도의 척도로서 p- 값과 관련하여 : p- 값은 직접적인 연관 강도의 척도가 아니다. p- 값은 모수가 0으로 가정되는 경우를 고려하여 관측 한 데이터만큼 극단적이거나 더 극단적 인 데이터를 찾을 확률입니다 (널 가설에 관심이있는 경우-Nick Cox의 설명 참조). 그러나 이것은 종종 연구원이 관심있는 양이 아닙니다. 많은 연구자들은 "매개 변수가 선택된 일부 차단 값보다 클 확률은 얼마입니까?"와 같은 질문에 대답하는 데 관심이 있습니다. 이것이 관심이있는 경우 모델에 추가 사전 정보를 통합해야합니다.

$p<\alpha$$p>\alpha$(물론 힘이 아님). 이러한 "연속 주의자"의 경우, "거의 중요"는 적당한 p- 값으로 결과를 설명하는 현명한 방법입니다. 사람들이이 두 가지 철학을 혼합하거나 더 나쁜 것은 둘 다 존재한다는 것을 알지 못할 때 문제가 발생합니다. (그런데 사람들은 종종이지도를 네이 먼 / 피어슨과 피셔로 깨끗하게 가정하지만, 그렇지 않습니다. 이 주제에 대한 블로그 게시물에서 이에 대한 자세한 내용은https://scientistseessquirrel.wordpress.com/2015/11/16/is-nearly-significant-ridiculous/

나는 거의 통계적으로 중요한 것이 기술적 인 관점에서 정확하지 않다고 생각하는 경향이 있습니다. 허용 수준을 설정하면 유의성 통계 검정이 설정됩니다. 표본 분포 분포에 대한 아이디어로 돌아 가야합니다. 공차 수준이 0.05이고 p- 값이 0.053 인 경우 사용 된 표본이 해당 통계량을 산출했을 가능성이 있습니다. 동일한 결과를 얻지 못할 수있는 다른 표본을 얻을 수 있습니다. 발생 확률은 표본 통계량이 아니라 공차 수준을 기반으로한다고 생각합니다. 모집단 모수에 대해 샘플을 테스트하고 있으며 샘플에는 자체 샘플링 분포가 있습니다. 제 생각에는 통계적으로 중요한 것이거나 그렇지 않은 것입니다.

$[0,1]$$\mathcal{H}_0$$p > \alpha$

$\mathcal{H}_1$

예를 들어 Wikipedia를 참조하십시오 .