시닥 또는 본 페로 니?

13

나는 SPSS에서 일반화 선형 모델을 사용하여 16 개의 다른 종의 식물에서 평균 애벌레 수 (비정규, Tweedie 분포 사용)의 차이를 살펴보고 있습니다.

여러 비교를 실행하고 싶지만 Sidak 또는 Bonferroni 수정 테스트를 사용해야하는지 잘 모르겠습니다. 두 테스트의 차이점은 무엇입니까? 하나는 다른 것보다 낫습니까?

multiple-comparisons post-hoc bonferroni

— 에밀리
소스

1

나는 이러한 수정이 종종 표준 빈번한 가정 테스트에서 필요하다는 사실을 싫어하고 베이지안 기법을 선호합니다. 즉, Sidak 수정은 임시적 인 것처럼 보이지 않기 때문에 싫어합니다 (독립의 가정을 기꺼이 받아들이려는 경우). 이것은 주로 개인적인 취향 일 뿐이므로 답변 대신 의견을 제시했습니다.

— Michael McGowan

1

@MichaelMcGowan : 궁금한 점이 있지만 Bonferroni 수정에 대한 " 임시 "는 무엇이라고 생각 하십니까?

— 추기경

@cardinal 죄송합니다. 아마 최고의 단어 선택이 아니 었습니다. 더 강력한 가정이 필요하지만 (그 비용을 사 소화하고 싶지는 않습니다) Sidak 수정은보다 질적 인 의미로 한계를 만듭니다. Boole의 불평등에 따른 최악의 경우를 제외하고 Bonferroni 수정에서 바운드가 나타내는 것을 질적으로 설명 할 수는 없습니다.

— Michael McGowan

@MichaelMcGowan : 아, 알겠습니다. 내가 참조. Bonferroni에 대해 말할 수있는 몇 가지 정성적인 내용이 있다고 가정합니다. 개별 가설 검정의 기각 영역이 쌍으로 분리되어있을 때

— 추기경

1

한 테스트에 대한 유형 I 오류의 확률이 다른 테스트의 오류와 관련이있는 경우 두 테스트는 독립적이지 않습니다. 예를 들어 하나의 제어 조건과 두 개의 테스트 조건으로 실험을 실행한다고 가정합니다. 각 테스트 조건을 제어 조건과 비교하는 두 테스트는 독립적이지 않습니다. 우연히 제어 조건에 대해 극단적 인 값을 얻는 경우 발생하는 상황을 고려하여이를 확인할 수 있습니다. 이렇게하면 두 테스트 모두 통계적으로 유의할 가능성이 높아집니다.

20

를 유의 수준으로 사용하여 독립 통계 검정 을 실행 하고 모든 경우에 null을 얻는 경우 '유의성'을 찾을 수 있는지 여부는 단순히 임의 변수에서 도출됩니다. 특히 및 이항 분포에서 가져옵니다 . 예를 들어, 사용하여 3 개의 테스트를 실행 하려고하는데 실제로는 차이가없는 경우 5 %의 확률로 각 테스트에서 중요한 결과를 찾을 수 있습니다. 이런 식으로 제 1 종 오류율은 유지됩니다. $k$ $\alpha$ $p=\alpha$ $n=k$ $\alpha=.05$ $\alpha$ 테스트는 개별적으로 수행되지만 3 가지 테스트 세트에서 장기 유형 I 오류율이 높아집니다. 이 세 가지 테스트를 함께 그룹화 / 생각하는 것이 의미가 있다고 생각되면, 유형 I 오류율을 개별적으로가 아니라 전체에 대해 로 설정 하는 것이 좋습니다. 어떻게해야합니까? 원래의 (즉, )에서 새로운 값 (예 : )으로 이동하는 데 두 가지 접근 방식이 있습니다 . $\alpha$ $\alpha$ $\alpha_o$ $\alpha_{\rm new}$

Bonferroni : '중요도'를 평가하는 데 사용되는 조정하여 $\alpha$

α_{n e w} = \frac{α_{o}}{k}

$\alpha_{\rm new}=\frac{\alpha_{o}}{k}\qquad\qquad\quad$

Dunn-Sidak : 다음을 사용하여 조정 $\alpha$

α_{n e w} = 1 - (1 - α_{o})^{1 / k}

$\alpha_{\rm new}=1-(1-\alpha_{o})^{1/k}$

Dunn-Sidak은 세트 내의 모든 테스트가 서로 독립적이며 해당 가정이 유지되지 않는 경우 가족 단위의 제 1 종 오류 인플레이션을 초래할 수 있다고 가정합니다.

이 테스트를 수행 할 때, 거기 것이 중요합니다 오류의 두 종류 I (즉,이 말을 입력하면 피하고 싶은 것이 있다 가 일하지 않을 때 차이) 및 II를 입력합니다 (즉, 말씀이 아닙니다 실제로있을 때의 차이). 일반적으로 사람들이이 주제에 대해 토론 할 때, 제 1 종 오류에 대해서만 논의하고 알고있는 것 같습니다. 또한 사람들은 계산 된 오류율이 모든 null이 참인 경우에만 유지된다고 언급하지 않는 경우가 많습니다 . 귀무 가설이 거짓이면 제 1 종 오류를 만들 수 없다는 것이 명백하지만,이 문제를 논의 할 때 그 사실을 명심해야합니다.

나는 종종 고려되지 않는 것처럼 보이는 이러한 사실의 의미가 있기 때문에 이것을 제기합니다. 먼저 인 경우 Dunn-Sidak 방식은 더 높은 전력을 제공하지만 (차이가 작은 경우 가 작을 수 있지만 ) 항상 선호해야합니다 (해당되는 경우). 둘째, '강압' 접근법을 사용해야합니다. 즉, 가장 큰 효과를 먼저 테스트하십시오. 이 경우 널이 확보되지 않는다고 확신하는 경우 가능한 최대 유형 I 오류 수는 이므로 다음 테스트는 그에 따라 조정되어야합니다. (이것은 종종 불편한 사람과 낚시 같은 외모를 만들지 만, 그것은 것입니다 하지 $k>1$ $k$ $k-1$ 테스트는 독립적이므로 낚시는 데이터를보기 전에 수행하려고했습니다. 이것은 최적으로 조정하는 방법입니다 .) $\alpha$

위의 내용은 유형 II 오류와 관련하여 유형 I의 가치를 어떻게 평가하든 관계없이 적용됩니다. 그러나 사전 에 제 1 종 오류가 제 2 종보다 나쁘다고 믿을 이유가 없습니다 (모든 사람이 그렇게 가정하는 것임에도 불구하고). 대신, 이것은 연구원이 내린 결정이며 해당 상황에 따라 달라져야합니다. 개인적으로, 이론적으로 제안 된, 선험적 , 직교 대비를 실행하는 경우 일반적으로 조정하지 않습니다 . $\alpha$

(그리고 이것을 다시 말하면, 위의 모든 것이 테스트가 독립적이라고 가정합니다. 대비가 독립적이지 않은 경우, 예를 들어 여러 처리를 동일한 제어와 비교할 때와 같이 독립적이지 않은 경우, 조정 과는 다른 접근법 Dunnett의 테스트와 같은을 사용해야합니다.) $\alpha$

— gung-복직 모니카
소스

+1. Bonferroni에 대한 "강압"접근 방식을 Holm-Bonferroni 방법과 정확히 동일합니까? 그렇다면 Dunn-Sidak에 적용되는 동일한 논리에 이름이 있습니까?

— amoeba는 Reinstate Monica가

1

@amoeba, 그렇습니다. 때때로 "Holm 's method", 따라서 Holm-Bonferroni 또는 Holm-Sidak라고도합니다.

— gung-Monica Monica 복원

감사. 내가 가진 또 다른 질문은 이론적으로 제안 된, 우선, 직교 대비를 실행하는 경우 일반적으로 조정하지 않는다는 진술에 관한 것 입니다. 여기서 "직교"가 얼마나 중요합니까? 예를 들어 6 개의 대상 그룹이 있고 그룹 2, 3, 4, 5 및 6을 그룹 1과 비교하는 경우 (여기서 그룹 1은 제어 그룹 일 수 있음) 이는 비 직교 대비입니다. 이 경우 조정에 대해 1-2, 3-4, 5-6과 같이 실제로 직교하는 경우와 다른 느낌 이 있습니까? 그렇다면 왜 그렇습니까?

α

$\alpha$

α

$\alpha$

— amoeba는 Reinstate Monica가

한 연구에서 3 개의 a-priori, 직교 대비를 실행하는 @amoeba는 3 개의 다른 연구에서 1 개의 a-priori 대비를 실행하는 것과 다르지 않습니다. 후자에 대해 가족 단위의 수정이 필요하다고 주장하는 사람은 없기 때문에 전자에 대한 수정이 필요한 일관된 이유는 없습니다. 다른 예에서 컨트롤 그룹이 우연히 바운스되어야하는 경우 5 가지 대비 중 하나가 모두 좋아 보입니다. 그러나 5 번의 독립적 인 연구를 수행 한 경우에는 발생하지 않을 것입니다. 실제로 어떤 형태의 조정을 사용하거나 Dunnett 's test를 사용할 수 있습니다 .

— gung-Monica Monica 복원

나는 완전히 이해한다고 생각하지 않습니다. 및 각 그룹에서 값 으로 빠른 시뮬레이션을 실행했습니다 . 위와 같이 3 개의 직교 대비에 대해 0.14 확률의 오 탐률이 0.1이고 3 개의 비 직교 대비에 대한 0.12 확률이 있습니다. 매우 가깝습니다. 이 차이는 0.0001과 0.002의 세 가지 오 탐지 모두를 얻을 가능성이 훨씬 큽니다. 그래서 나는 비 중요한 일에서 몇 가지 중요한 결과를 얻는 것이 훨씬 더 쉽다는 것을 이해합니다. 대조적으로, 하나가 가족 별 오류율과 관련이 있다면, 두 경우는 거의 동일한 것으로 보인다.

N (0, 1)

$\mathcal N(0,1)$

n = 10

$n=10$

α = 0.05

$\alpha=0.05$

— amoeba는

6

수정 된 유의 수준 을 하면 Bonferroni는 다음과 같이 작동합니다. 유의 수준 를 테스트 수 으로 나눕니다 (예 : . Sidak은 다음과 같이 작동합니다 (테스트가 독립적 인 경우) : . $\alpha^*$ $\alpha$ $n$ $\alpha^*=\alpha/n$ $\alpha^*=1 − (1 − \alpha)^{1/n}$

때문에 의 Sidak 보정이 좀 더 강력한 (즉, 당신은 더 쉽게 의미있는 결과를 얻을 수)하지만 페로 니는 핸들에 조금 더 간단합니다. $\alpha/n < 1 − (1 − \alpha)^{1/n}$

보다 강력한 절차가 필요한 경우 Bonferroni-Holm 절차를 사용할 수 있습니다.

— 모모
소스

Bonferroni가 처리하기 더 쉬운 이유는 무엇입니까?

— Emily

3

계산하는 것보다 를 대수적으로 나누는 것을 발견 했지만 게으르다. 또한 Bonferroni는 indenpence를 가정하지 않으므로 덜 가정한다는 의미에서 "단순"합니다. 그러나 당신은 더 보수적 인 가격을 지불합니다.

α

$\alpha$

n

$n$

1 - (1 - α)^{1 / n}

$1-(1-\alpha)^{1/n}$

— Momo

@Momo Computers는 실제로 산술에 능숙하므로 단순성 주장이 매우 매력적이라는 것을 알 수 없습니다. 100 년 전 손으로 계산을했던 것은 매우 다른 이야기였습니다.

— Michael McGowan

내 대답에 비해 +1, 이것은 간결하게 요점에 도달합니다 ;-).

— gung-복직 모니카

하하 그게 당신이 생각한 것입니다! 정말 고마워!

— Emily

5

Sidak 보정은 개별 테스트가 통계적으로 독립적이라고 가정합니다. Bonferroni 수정은 이것을 가정하지 않습니다.

— 한 정거장
소스

이것이 Bonferroni가 더 보수적 인 테스트라는 것을 의미합니까?

— Emily

1

Bonferroni는 두 테스트가 모두 적절할 때 더 보수적입니다. 그러나 테스트가 독립적이지 않은 경우 Sidak을 사용하지 않아야합니다.

— onestop

2

+1 Bonferroni 보정에서 테스트를 독립적으로 수행 할 필요가 없다는 것은 제가 다루지 않은 좋은 점입니다.

— gung-모니 티 복원

@onestop : 테스트가 독립적이라는 것은 무엇을 의미합니까? 예를 들어 주시겠습니까?

— Gunnhild

1

Sidak 보정에는 독립성이 필요하지 않습니다. 테스트가 부정적인 영향을받지 않는다고 가정합니다. 긍정적 인 의존은 괜찮습니다.

— Bonferroni

4

Sidak과 Bonferroni는 매우 유사하므로 사용하는 절차에 관계없이 동일한 결과를 얻을 수 있습니다. Bonferroni는 Sidak보다 조금 더 보수적입니다. 예를 들어 2 번의 비교와 .05의 가족 별 알파의 경우 Sidak은 .0253에서 각 테스트를 수행하고 Bonferroni는 .0250에서 각 테스트를 수행합니다.

이 사이트의 많은 의견 제시 자들은 Sidak은 비교 테스트 통계가 독립적 일 때만 유효하다고 말했습니다. 그건 사실이 아니야. Sidak은 테스트 통계가 거의 종속적이지 않을 때 패밀리 단위 오류율의 약간의 인플레이션을 허용하지만, 양면 테스트를 수행하는 경우 부정적인 의존성은 일반적으로 문제가되지 않습니다. 음이 아닌 의존성에서 Sidak은 실제로 가족 별 오류율의 상한을 제공합니다. 즉, 그러한 경계를 제공하고 Sidak보다 더 많은 통계적 힘을 유지하는 다른 절차가 있습니다. 따라서 Sidak은 최선의 선택이 아닐 것입니다.

Bonferroni 절차에서 제공하는 것 (Sidak이 제공하지 않음)은 예상되는 제 1 종 오류 수 (가족 별 오류율보다 소위 "가족당 오류율")를 엄격하게 제어하는 것입니다. 자세한 내용은 Frane, AV (2015) "가족당 유형 I 오류율이 사회 및 행동 과학과 관련이 있습니까?"를 참조하십시오. 현대 응용 통계 방법의 전표 14 (1), 12-23.

— 본 페로 니
소스