저전력 연구가 오 탐지 가능성을 높였습니까?

이 질문은 이전에 요청했다되었습니다 여기 와 여기 하지만 난 대답이 직접 문제를 해결할 수 있다고 생각하지 않습니다.

저전력 연구가 오 탐지 가능성을 높였습니까? 일부 뉴스 기사에서이 주장을합니다. 예를 들면 다음과 같습니다.

낮은 통계 능력은 나쁜 소식입니다. 저전력 연구는 실제 효과를 놓칠 가능성이 높으며 그룹으로서 더 높은 비율의 오탐 (즉, 실제가 아니더라도 통계적 유의성에 도달하는 효과)을 포함 할 가능성이 높습니다.

내가 이해하는 것처럼 테스트의 힘은 다음과 같이 증가 할 수 있습니다.

• 샘플 크기 늘리기
• 더 큰 효과 크기
• 유의 수준 증가

유의 수준을 변경하고 싶지 않다고 가정하면 위의 인용은 샘플 크기 변경을 의미한다고 생각합니다. 그러나 샘플을 줄이면 오 탐지 수가 어떻게 증가하는지 알 수 없습니다. 간단히 말해서, 연구의 힘을 줄이면 거짓 부정의 가능성이 높아지고 질문에 응답합니다.

반대로 거짓 긍정은 질문에 응답합니다.

조건이 다르기 때문에 둘 다 다른 질문입니다. 힘은 (거의) 오탐과 관련이 있지만 오탐과는 관련이 없습니다. 뭔가 빠졌습니까?

표본 크기가 검정력 (예 : 1-유형 II 오류)에 영향을 미치지 만 유형 I 오류는 아니라는 점이 맞습니다. 샘플 크기가 작을 때 p- 값 (정확하게 해석 됨)이 신뢰성이 떨어지거나 유효하지 않다는 것이 일반적으로 오해되고 있습니다. Friston 2012의 매우 재미있는 기사는 그 사실을 재미있게 받아들입니다.

말하자면, 저전력 연구의 문제는 실제적이며, 그 말은 약간 부정확하다고 말한 인용은 대체로 정확합니다.

저전력 연구의 기본 문제는 가설 검정의 오 탐지율 (유형 I 오류)이 고정되어 있지만 실제 포지티브 율 (파워)의 비율은 낮아진다는 것입니다. 따라서 긍정적 인 (= 유의 한) 결과는 저전력 연구에서 진정한 긍정적일 가능성이 적습니다. 이 아이디어는 허위 발견 률로 표시됩니다 [2]. [3]도 참조하십시오. 이것은 인용문이 말하는 것 같습니다.

저전력 연구와 관련하여 종종 언급되는 추가 문제는 과대 평가 된 효과 크기로 이어진다는 것입니다. 그 이유는 a) 전력이 낮을수록 실제 효과에 대한 추정치가 실제 값에 대해 더 가변적 (확률 적)이되고 b) 전력이 낮을 때 이러한 효과 중 가장 강한 것만 유의미한 필터를 통과하기 때문입니다. 그러나 이것은 중대한 영향뿐만 아니라 모든 것을 논의하고보고함으로써 쉽게 고칠 수있는보고 문제라고 덧붙여 야합니다.

마지막으로, 저전력 연구에서 중요한 실제 문제는 저전력으로 인해 통계 문제 (예 : 추정치의 치우침)가 증가하고 변수 및 유사한 p- 해킹 전술을 가지고 놀려는 유혹이 증가한다는 것입니다. 이러한 "연구자 자유도"를 사용하는 것은 전력이 낮을 때 가장 효과적이며, 이로 인해 제 1 종 오류가 증가 할 수 있습니다 (예 : [4] 참조).

이 모든 이유 때문에, 나는 저력 연구에 대해 실제로 회의적이다.

[1] Friston, K. (2012) 비 통계 검토자를위한 10 가지 아이러니 한 규칙. NeuroImage, 61, 1300-1310.

[2] https://ko.wikipedia.org/wiki/False_discovery_rate

[3] 버튼, KS; 요 아니스, JPA; Mokrysz, C .; 노섹, BA; 플린트, 제이; 로빈슨, ESJ & Munafo, MR (2013) 정전 : 왜 작은 표본 크기가 신경 과학의 신뢰성을 떨어 뜨리는가? Nat. Neurosci., 14, 365-376 개정

[4] 시몬스, JP; Nelson, LD & Simonsohn, U. (2011) False-Positive Psychology : 데이터 수집 및 분석에 공개되지 않은 유연성으로 무엇이든 중요한 것을 제시 할 수 있습니다. Psychol Sci., 22, 1359-1366.

당신이 그것을 보는 방법에 따라, 저전력 은 주어진 시나리오에서 오 탐지를 증가시킬 수 있습니다.

다음을 고려하십시오. 연구원이 치료를 테스트합니다. 검사가 중요하지 않은 것으로 돌아 오면 검사를 포기하고 다음 치료로 넘어갑니다. 테스트가 중요하게 돌아 오면 게시합니다. 또한 연구원이 효과가있는 치료법과 그렇지 않은 치료법을 테스트 할 것입니다. 연구원이 강력한 치료 능력을 가지고 있다면 (물론 작동하는 치료법을 테스트 할 때를 언급하는 경우) 효과적인 치료법을 테스트하면 중단 될 가능성이 높습니다. 반면에 저전력으로 인해 실제 치료 효과를 놓치고 다른 치료로 넘어갈 수 있습니다. 더 많은 null 처리가 테스트 될수록 제 1 종 오류가 발생할 가능성이 높습니다 (이 연구원은 다중 비교를 설명하지 않습니다). 저전력의 경우 더 많은 null 처리를 테스트해야합니다.

"이것은 여러 비교를 학대하는 연구원 일뿐입니다!" 글쎄, 그건 사실 일 수도 있지만, 요즘 많은 연구가 수행되는 방식이기도합니다. 정확히 이러한 이유 때문에, 연구원이 동일한 실험을 여러 번 반복 할 수 없을만큼 충분히 큰 표본 크기를 갖지 않는 한, 나는 개인적으로 출판 된 연구에 대한 믿음이 거의 없습니다.

저전력은 유형 1 오류율에는 영향을 미치지 않지만 유형 1 오류 인 게시 된 결과의 비율에는 영향을 줄 수 있습니다.

낮은 전력은 H0 (Type-2 오류)의 올바른 거부 가능성을 줄이지 만 H0 (Type-1 오류)의 잘못된 거부 가능성은 줄이지 않기 때문입니다.

초 저전력으로 수행 된 문헌 (제로 근처에서 수행 된 논문)과 적절한 권력으로 수행 된 문헌이 2 초 있다고 가정합니다. 두 문헌 모두에서, H0이 거짓 일 때, 여전히 약간의 오탐 (예를 들어, 알파에 대해 5 % = .05)을 가질 것이라고 가정 할 수있다. 연구자들이 그들의 가설에서 항상 정확한 것은 아니라고 가정 할 때, 우리는 두 문헌 모두 유사한 NUMBER 개의 Type-1 오류, 좋은 검정력을 가져야한다고 가정 할 수 있습니다. 다른 말한 것처럼 Type-1 오류율은 전력의 영향을받지 않기 때문입니다.

그러나 전력이 낮은 문헌에서는 많은 유형 2 오류가 발생합니다. 다시 말해, 저전력 문헌은 H0의 올바른 기각을 찾아 내지 못해 Type-1 오류가 문헌의 더 큰 비율이되게해야합니다. 고출력 문헌에서 H0에 대한 올바른 거부와 잘못된 거부의 혼합이 있어야합니다.

그렇다면 저전력으로 Type-1 오류가 증가합니까? 아니요. 그러나 실제 효과를 찾기가 더 어려워서 Type-1 오류가 게시 된 결과의 더 큰 비율을 차지합니다.

다른 답변들과 더불어, 연구는 일반적으로 표본 크기가 작을 때 전력이 부족합니다. 작은 n에만 대해 무조건 유효하고 너무 낙관적이거나 보수적 인 테스트가 많이 있습니다.

다른 테스트는 특정 조건이 충족되는 경우 작은 샘플 크기에만 유효하지만 큰 샘플 크기 (예 : t- 테스트)로 더 강력 해집니다.

이 두 경우 모두 작은 표본 크기와 충족되지 않은 가정으로 인해 제 1 종 오류율이 증가 할 수 있습니다. 이 두 가지 상황은 종종 이론적으로가 아니라 실제로 귀하의 질문에 대한 실제 답변을 고려할 정도로 충분히 발생합니다.