Bonferroni 조정에 어떤 문제가 있습니까?

다음 문서를 읽었습니다. Perneger (1998) Bonferroni 조정에 문제가 있습니다.

저자는 Bonferroni 조정이 생의학 연구에서 기껏해야 응용이 제한적이며 특정 가설에 대한 증거를 평가할 때 사용해서는 안된다고 요약했습니다.

요약 포인트 :

• 연구 데이터 (Bonferroni 방법)에서 수행 된 테스트 수에 대한 통계적 유의성을 조정하면 해결하는 것보다 더 많은 문제가 발생합니다.
• Bonferroni 방법은 일반적인 귀무 가설 (모든 귀무 가설이 동시에 적용됨)과 관련이 있으며 연구자에게 관심이 없거나 거의 사용되지 않습니다.
• 주요 약점은 결과의 해석이 수행되는 다른 테스트의 수에 달려 있다는 것입니다
• 유형 II 오류의 가능성도 증가하므로 실제로 중요한 차이는 중요하지 않은 것으로 간주됩니다.
• 수행 된 유의성 검정을 설명하고 그 이유는 일반적으로 다중 비교를 처리하는 가장 좋은 방법입니다.

다음 데이터 세트가 있고 여러 테스트 수정을 원하지만이 경우 가장 좋은 방법을 결정할 수 없습니다.

평균 목록이 포함 된 모든 데이터 세트에 대해 이러한 종류의 수정을 수행해야하는지 여부와이 경우 수정을위한 가장 좋은 방법은 무엇인지 알고 싶습니다.

다른 사람들이 언급 한 보수주의 외에 Bonferroni 수정에있어 잘못된 것은 모든 다중성 수정에있어 잘못된 것입니다. 기본 통계 원칙을 따르지 않으며 임의적입니다. 빈번주의 세계에서 다중성 문제에 대한 유일한 해결책은 없다. 두 번째로, 다중성 조정은 한 진술의 진실성이 어떤 다른 가설이 받아 들여 지는가에 달려 있다는 기본 철학에 근거한다. 이는 다른 매개 변수를 고려할 때 관심있는 매개 변수에 대한 사전 분배가 더 보수적으로 유지되는 베이지안 설정과 같습니다. 일관성이없는 것 같습니다. 이 접근법은 연구자들이 거짓 긍정 실험의 역사에 의해 "불타고"왔으며 이제는 자신의 잘못을 보완하고 싶다고 말할 수 있습니다.

조금 확장하려면 다음 상황을 고려하십시오. 종양학 연구원은 특정 클래스의 화학 요법의 효능을 연구하는 경력을 쌓았습니다. 그녀의 무작위 시험의 이전 20 개 모두 통계적으로 유의미한 효능을 가져왔다. 이제 그녀는 같은 수업에서 새로운 화학 요법을 테스트하고 있습니다. 생존 이익은 유의합니다$P=0.04$. 동료는 연구 된 두 번째 평가 변수 (종양 수축)가 있고 생존 결과에 다중 조정을 적용해야하므로 생존에 별다른 영향을 미치지 않는다고 지적합니다. 동료가 두 번째 종점을 강조했지만 효과적인 약을 찾기 위해 이전에 실패한 20 번의 시도를 조정하는 데 덜 신경 쓰지 않았습니까? Bayesian이 아닌 경우 이전 20 가지 연구에 대한 사전 지식을 어떻게 고려 하시겠습니까? 두 번째 엔드 포인트가 없으면 어떻게됩니까? 동료는 이전의 모든 지식을 무시하고 생존 혜택이 입증되었다고 믿습니까?

그는 Bonferroni 조정이 생의학 연구에 제한적으로 적용되었으며 특정 가설에 대한 증거를 평가할 때 사용해서는 안된다고 요약했다.

Bonferroni 수정은 가장 단순하고 가장 보수적 인 다중 비교 기술 중 하나입니다. 그것은 또한 가장 오래된 것 중 하나이며 시간이 지남에 따라 크게 개선되었습니다. Bonferroni 조정은 거의 모든 상황에서 적용이 제한되어 있습니다. 거의 더 나은 접근 방식이 있습니다. 즉, 다중 비교를 수정해야하지만 덜 보수적이고 강력한 방법을 선택할 수 있습니다.

덜 보수적 인

다중 비교 방법은 일련의 테스트에서 하나 이상의 오 탐지를 얻지 않도록 보호합니다. 수준 에서 한 번의 테스트를 수행 하면 5 %의 확률로 오 탐지를 얻을 수 있습니다. 다시 말해 귀무 가설을 잘못 거부합니다. 수준 에서 10 번의 테스트를 수행 하면 = ~ 40 %로 오 탐지 확률 이 증가합니다.α = 0.05 1 − ( 1 − 0.05 ) $\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

페로 니 방법으로 당신은 사용 규모 (즉, 가장 낮은 끝에 의 가족을 보호하기 위해) 상기 테스트를 수준. 다시 말해, 가장 보수적입니다. 이제 Bonferroni가 설정 한 하한값보다 를 높이고 (즉, 테스트를 덜 보수적으로 만들 수 있음) 수준 에서 테스트 제품군을 계속 보호 할 수 있습니다. 이를 수행하는 방법에는 여러 가지가 있습니다. 예를 들어 Holm-Bonferroni 방법 또는 더 나은 False Discovery Rateα b = α / n n α α b$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

더 강력한

참조 된 논문에서 제기 된 좋은 점 은 유형 II 오류의 가능성도 증가하여 진정으로 중요한 차이가 중요하지 않은 것으로 간주된다는 것입니다.

이건 매우 중요합니다. 강력한 테스트는 존재하는 경우 중요한 결과를 찾는 테스트입니다. Bonferroni 수정을 사용하면 덜 강력한 테스트로 끝납니다. Bonferroni는 보수적이므로 전력이 상당히 감소 할 수 있습니다. False Discovery Rate와 같은 대체 방법 중 하나가 테스트의 성능을 향상시킵니다. 즉, 오 탐지로부터 보호 할뿐만 아니라 진정으로 중요한 결과를 찾을 수있는 능력도 향상시킵니다.

따라서 여러 비교를 할 때 몇 가지 수정 기술을 적용해야합니다. 그리고 예, Bonferroni는 아마도 덜 보수적이고 강력한 방법을 선호하여 피해야합니다

Thomas Perneger는 통계학자가 아니며 그의 논문은 실수로 가득합니다. 그래서 나는 그것을 심각하게 받아들이지 않을 것입니다. 실제로 다른 사람들에 의해 심하게 비판되었습니다. 예를 들어, Aickin은 Perneger의 논문은 "거의 전적으로 오류로 구성되어있다"고 말했다 : Aickin, "여러 테스트를 조정하는 다른 방법이 존재한다"BMJ. 1999 년 1 월 9 일; 318 (7176) : 127.

또한 다중성 조정 없이도 원래 질문의 p- 값은 <.05가 아닙니다. 따라서 어떤 조정 (있는 경우)이 사용되는지는 중요하지 않습니다.

Bonferroni와 같은 여러 가지 테스트 수정 사항에 대한``추론 이유 ''를 설명하는 것이 좋습니다. 그것이 분명하다면, 신청 여부를 스스로 판단 할 수 있습니다.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

우리가 세상에 대한 진실 된 지식을 얻었음을 믿기 때문에 과학에서 잘못된 증거는 나쁜 것입니다. 이러한 종류의 오류는 결과적으로 제어되어야합니다. 그러므로 이런 종류의 증거의 확률에 상한선을 두거나 제 1 종 오류를 통제해야합니다. 이는 허용 가능한 유의 수준을 미리 고정하여 수행됩니다.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

여기서 중요한 사실은 두 가지 테스트가 하나와 sampe 샘플을 기반으로한다는 것입니다!

우리는 독립을 가정했습니다. 독립성을 가정 할 수없는 경우 Bonferroni 부등식을 사용하여 유형 I 오류가 최대 0.1까지 증가 할 수 있음을 보여줄 수 있습니다.

Bonferroni는 보수적이며 Holm의 단계별 절차는 Bonferroni와 동일한 가정하에 있지만 Holm의 절차에는 더 많은 힘이 있습니다.

변수가 이산 적이면 최소 p- 값을 기반으로 테스트 통계를 사용하는 것이 좋으며 대량의 테스트를 수행 할 때 유형 I 오류 제어를 포기할 준비가되면 False Discovery Rate 절차가 더 강력 할 수 있습니다.

편집하다 :

예인 경우 (@Frank Harrell의 답변에있는 예 참조)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Bonferroni 보정 및 효과 크기에 대한 훌륭한 설명 http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html 또한 Dunn-Sidak 보정 및 Fisher의 결합 확률 접근법은 대안으로 고려할 가치가 있습니다. 접근 방식에 관계없이 조정 된 값과 원시 p- 값에 효과 크기를 모두보고하면 독자가이를 자유롭게 해석 할 수 있습니다.

하나, 그것은 매우 보수적입니다. Holm-Bonferroni 방법은 Bonferonni 방법이 수행하는 작업 (패밀리 와이즈 오류율 제어)을 달성하면서도 더욱 균일하게 수행합니다.

"False Discovery Rate"방법을 Bonferroni에 대한 보수적 인 대안으로 고려해야합니다. 만나다

John D. Storey, "긍정적 거짓 발견 비율 : 바이아 해석 및 q- 값", Annals of Statistics 2003, Vol. 31, No. 6, 2013–2035.