사후 테스트 전에 글로벌 테스트가 필요합니까?


54

분산 분석 후 사후 테스트는 분산 분석 자체가 중요한 경우에만 사용할 수 있다고 들었습니다.

  • 그러나 사후 테스트 에서는 전역 유형 I 오류율을 5 %로 유지하기 위해 조정합니다 .p
  • 그렇다면 왜 글로벌 테스트가 먼저 필요한가?
  • 글로벌 테스트가 필요하지 않은 경우 "사후"라는 용어가 올바른가?

  • 아니면 여러 종류의 사후 테스트가 있습니까? 일부는 중요한 글로벌 테스트 결과를 가정하고 다른 테스트는 가정하지 않습니까?

답변:


58

다중 비교 테스트는 종종 '사후 테스트'라고 불리기 때문에 논리적으로 일원 분산 분석을 따릅니다. 사실, 그렇지 않습니다.

" 불행한 일반적인 관행은 동질성에 대한 선체 가설이 기각 될 때만 다중 비교를 추구하는 것입니다. "( Hsu, 177 페이지 )

ANOVA의 전체 P 값이 0.05보다 큰 경우 사후 테스트 결과가 유효합니까?

놀랍게도 대답은 '예'입니다. 한 가지 예외를 제외하고는 전체 ANOVA가 평균간에 유의 한 차이를 찾지 않더라도 사후 테스트가 유효합니다.

예외적으로 발명 된 최초의 다중 비교 테스트 인 LDS (Fisher Least Significant Difference) 테스트는 예외입니다. 보호 된 LSD 검정의 첫 번째 단계는 전체 분산 분석이 동일한 평균의 귀무 가설을 기각하는지 확인하는 것입니다. 그렇지 않은 경우 개별 비교를 수행해서는 안됩니다. 그러나이 보호 된 LSD 테스트는 오래되어 더 이상 권장되지 않습니다.

전체 분산 분석이 중요하지 않은 경우에도 다중 비교 테스트에서 '중요한'결과를 얻을 수 있습니까?

네 가능합니다. Scheffe의 테스트는 예외입니다. 전체 F 테스트와 얽혀 있습니다. 전체 분산 분석의 P 값이 0.05보다 큰 경우 Scheffe의 테스트에서 중요한 사후 테스트를 찾지 못합니다. 이 경우 전체 중요하지 않은 분산 분석에 따라 사후 테스트를 수행하는 것은 시간 낭비이지만 잘못된 결론으로 ​​이어지지는 않습니다. 그러나 다른 다중 비교 테스트는 전체 분산 분석이 그룹간에 유의 한 차이가없는 경우에도 중대한 차이 (때로는)를 찾을 수 있습니다.

실제로 모든 그룹 평균이 동일하고 사후 테스트 결과 차이를 나타내는 ANOVA 간의 명백한 모순을 어떻게 이해할 수 있습니까?

전체 일원 분산 분석은 모든 처리 그룹의 평균 값이 동일하다는 귀무 가설을 테스트하므로 관찰 한 모든 차이는 무작위 샘플링으로 인한 것입니다. 각 사후 테스트는 두 특정 그룹의 평균이 동일하다는 귀무 가설을 테스트합니다.

사후 검정에보다 중점을두기 때문에 전체 분산 분석에서 평균 간의 차이가 통계적으로 유의하지 않다고보고하더라도 그룹 간의 차이를 찾을 수 있습니다.

전체 분산 분석 결과가 전혀 유용합니까?

분산 분석은 모든 데이터가 동일한 평균을 갖는 그룹에서 나온다는 귀무 가설을 검정합니다. 그것이 실험적인 질문이라면, 데이터가 평균이 모두 동일하지 않다는 설득력있는 증거를 제공합니까? 더 자주, 실험 문제는 여러 비교 테스트 (사후 테스트)로 더 집중되고 답변됩니다. 이 경우 전체 분산 분석 결과를 무시하고 사후 테스트 결과로 바로 이동할 수 있습니다.

다중 비교 계산은 모두 분산 분석표의 평균 제곱 결과를 사용합니다. 따라서 F 또는 P 값에 신경 쓰지 않아도 사후 테스트에서는 여전히 ANOVA 테이블을 계산해야합니다.


1
대단한 답변입니다. 작성해 주셔서 감사합니다!
pmgjones

3
(+1) 마지막 두 단락은 전체 답변을 이해하고 이해하기위한 좋은 맥락을 제공합니다.
whuber

4
Maxwell and Delaney (2004)의 인용문을 추가하겠습니다. "...이 방법 (예 : Bonferroni, Tukey, Dunnet 등)은 옴니버스 테스트를 대신 할 수 있습니다. 때때로 수행되는 것처럼 이러한 분석을 수행하기 전에 상당한 옴니버스 테스트를 요구하면 원하는 수준 이하로 alphaEW를 낮추는 역할 만하며 (Bernhardson, 1975) 따라서 전력이 부적절하게 감소합니다 (p. 236). .
dfife

나는 "그룹간에 차이점을 찾을 힘이있다"는 것을 좋아한다.
SmallChess

의심의 여지가 없지만 일부 상황에서는 옴니버스 테스트는 거부하지만 쌍별 비교는 불가능한 상황에서도 역 상황이 가능하다는 점을 언급해야합니다.
Glen_b

25

(1) 사후 테스트는 (a) 분석가가 테스트 수를 조정하고 있는지 여부와 (b) 사후 테스트가 하나와 독립적 인 정도에 따라 공칭 글로벌 유형 I 오류율을 달성하거나 달성하지 못할 수 있습니다. 다른. 전역 테스트를 먼저 적용하는 것은 사후 데이터 스누핑으로 인한 "중요한"잘못된 결과를 발견 할 위험에 대비하여 확실한 보호 입니다.

(2) 전원에 문제가 있습니다. 글로벌 ANOVA F 검정은 모든 쌍의 평균에 대한 개별 t- 검정이 유의미한 결과를 얻지 못하는 경우에도 평균의 차이를 탐지 할 수 있음이 잘 알려져 있습니다. 다시 말해, 어떤 경우에는 데이터에 따라 실제 평균이 다를 수 있지만 어떤 평균 쌍이 다른지 확실하게 확인할 수는 없습니다 .


재 (2) : 쌍방향 t- 검정이 없을 때 일원 분산 분석이 유의미한 차이를보고 할 수 있다고 말하면 조정되지 않은 간단한 ( "비 소식", 예를 들어 Tukey의 절차 등이 아님) t- 테스트? 나는 이것이 불가능할 것이라고 생각했다. 틀렸다?
amoeba는 Reinstate Monica

@amoeba 맞습니다; 조정되지 않은 쌍별 테스트를 말합니다. 이 점을 분명히 해주셔서 감사합니다.
whuber

@whuber 감사합니다. CrossValidated 에서이 점에 대한 토론을 찾으려고했지만 아무 소용이 없습니다. 그래서 나는 그러한 상황이 어떻게 가능한지에 대한 내 자신의 질문을 게시했습니다 : stats.stackexchange.com/questions/83030/… . 당신이 거기에서 자세히 설명 할 수 있다면 정말 감사하겠습니다!
amoeba는 Reinstate Monica

3
@amoba와 @whuber : 당신은 아마 이것을 알고 있지만 어쨌든 그것을 명확히하고 싶습니다. Tukey의 HSD 테스트가 없더라도 ANOVA 테스트는 중요 할 수 있습니다. 세 그룹으로 설정 균형 잡힌 데이터를 간단한 R 예 :set.seed(249); group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)
칼 비켜 Hufthammer

1
ANOVA의 귀무 가설은 적어도 한 쌍의 평균이 서로 다르기 때문에 두 평균간에 차이가 가장 크다고 생각할 수 없습니까?
Speldosa
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.