ANOVA의 의 값 이 동일한 데이터에 대한 여러 검정 의 값 보다 얼마나 작을 수 있습니까?

소개 : 오늘이 질문 에 대한 관심을 확인한 후, " 쌍별 t- 검정이없는 경우 분산 분석이 중요 할 수 있습니까? "라고 답했습니다. .

통계적 유의성이 단순한 이분법으로 이해되고 또는 보다 높은 것으로 판단 될 때 다양한 액수의 결과 (액면가)가 발생할 수 있습니다 . 위 질문에 대한 @Glen_b의 답변은 다음 과 같은 경우에 유용한 예입니다. $p$ $\alpha$

ANOVA 은 4 개의 수준을 가진 하나의 독립 변수 (IV)에 대해 를 생성 하지만 $F$ $p_F<.05$
$p_t>.08$ IV의 4 가지 수준의 각 쌍에 해당하는 관측치 중에서 동일한 종속 변수 (DV)의 차이를 비교하는 모든 2- 표본 검정에 대해 . $t$

이 질문을 통한 사후 쌍별 비교에 대한 Bonferroni 수정에도 불구하고 비슷한 사례가 발생했습니다. Anova 반복 측정은 중요하지만 Bonferroni 수정과의 모든 다중 비교는 그렇지 않습니까? 다중 회귀 분석에서 약간 다른 테스트를 수행 한 이전에 언급 된 사례도 있습니다.

중요한 F 통계량 (p <.001)이지만 중요하지 않은 회귀 분석 t- 검정을 얻을 수있는 이유는 무엇입니까? : $p_F<.001,p_{\beta t}>.09$
회귀가 유의미하지만 모든 예측 변수가 중요하지 않은 방법은 무엇입니까?
- @ whuber의 대답 에서 $p_F=.0003,p_{\beta t}>.09$

나는 내기 이와 같은 경우에, 것을 일부 (전부는 아니지만) 페어 비교 '(또는 회귀 계수'의미 테스트 ') 값이 비슷한을해야합니다 해당 옴니버스 테스트가 달성 할 수있는 경우 . @Glen_b의 첫 번째 예에서 , 이며 가장 큰 쌍별 차이는 가장 작은 입니다. 이것이 일반적인 경우 여야합니까? 더 구체적으로 : $p$ $\alpha$ $p <\alpha$ $F_{(3,20)}=3.19$ $p_F=.046$ $p_t=.054$

질문 : ANOVA -test가 연속 DV에 대한 하나의 다원 IV 효과에 대해 를 생성하는 경우, IV의 각 쌍을 비교하는 모든 2- 표본 테스트 중 가장 낮은 값이 얼마나 높을 수 있습니까? 최소 쌍별 유의도가 만큼 높을 수 있습니까? $F$ $p_F=.05$ $p$ $t$ $p_t=.50$

_{이 특정 질문에 대해서만 답변을 환영합니다 . 그러나이 질문에 더 동기를 부여하기 위해 잠재적으로 수사 가능한 질문을 자세히 설명하고 던져 보겠습니다. 이러한 우려 사항도 해결하고, 원하는 경우 특히 질문에 대한 명확한 답변이있을 경우 특정 질문을 무시해도됩니다.}

유의성 : 통계적 유의성이 귀무 가설에 대한 증거 강도의 연속적인 관점에서 판단되는 경우 와 의 차이가 얼마나 덜 중요한지 고려하십시오 (론 피셔의 접근 방식, 제 생각에)? null 도매 거부 여부를 선택할 때 허용되는 오류 확률에 대해 임계 값 위 또는 아래와 같은 이분법적인 용어가 아닙니다 . " -hacking "은 해석에 의해 도입 된 불필요한 취약점으로 인해 악명이 높아지는 알려진 문제입니다. $p_F=.04$ $p_t=.06$ $\alpha=.05$ $p$ $p$ "충분히 양호 함"과 "충분히 부족함"의 등가성으로 이분법 화의 일반적인 관행에 따른 가치. 만약이 관행을 폐기하고 간격을 널 간격에 대한 증거 강도로 해석하는 대신에 집중해야한다면 옴니버스 테스트가 실제로 여러 쌍 비교에 관심이있을 때 다소 덜 중요 할 수 있습니까? 통계 정확도의 합리적으로 효율적인 개선이 물론 바람직하기 때문에, 반드시 필요는 없지만, 예를 들어, 가장 낮은 페어 와이즈 비교의 값이 반드시 ANOVA (또는 다른 옴니버스 테스트)의 $p$ $p$ $.10$ $p$ 특히 여러 테스트에서 를 제어하고 싶지 않은 경우 옴니버스 테스트가 기존의 오해와 관련하여 옴니버스 테스트를 좀 더 사소하고 강요 적이 지 않으며 더 오도하게 만들지 않습니까? $\alpha$

반대로, 데이터가 omnibus 이지만 모든 pairwise 존재할 수 있다면 , 연습과 교육 전반에 걸쳐 옴니버스와 대비 테스트 에 더 동기를 부여하지 않아야 합니까? 이 문제는 또한 이분법 적 해석 시스템이 차이가 "마지막으로 유의미 할 때"작은 조정에 더 민감해야한다는 점에서 이분법 대 연속체에 따라 통계적 중요성을 판단하는 것의 상대적 장점을 알려야 할 것으로 보인다. 이론적 으로이 차이 / 조정이 매우 클 수있는 경우 (예 : 옴니버스 테스트를 수행하지 못하거나 다중 비교를 조정하지 합니다. $p=.05$ $p>.50$ $p_t-p_F>.40)$

_{고려하고 무시 해야 할 다른 선택적인 복잡성 — 응답을보다 쉽고 가치있게 만드는 것 :}

^{경우 (예 : ) 인 경우 대한 얼마나 될 수 있습니까? $p$ $t$ $F$ $p<.05$ $p=.01, .001,\dots$}
^{다가 IV의 수준 수에 대한 민감도}
^{쌍별 차이의 중요성에있어 불균일성에 대한 민감도 ( ) $p_t>p_F$}
- ^{whuber의 답변에 따르면 작은 차이를 포함하면 큰 차이를 숨길 수 있습니다.}
^{다중 비교를위한 다양한 옴니버스 테스트 수정의 차이점}
- ^{참조 : 피험자 내에서 여러 비교 수정 / 반복 측정 ANOVA; 지나치게 보수적인가?}
- ^{IV가 여러 개인 경우 다중 공선 성이이 문제를 악화시킬 수 있습니다 .}
^{데이터가 고전적인 파라 메트릭 테스트의 모든 가정을 최적으로 충족하는 제한된 경우}
- ^{이 제한은이 질문이 다소 무질서 해지는 것을 막기 위해 중요 할 수 있습니다.}

— 닉 스 타우너
소스

쌍별 t- 검정이 옴니버스 F- 검정과 동일한 오차 분산 추정값을 사용해야하는지 (Glen의 예에서는 그렇지 않음)를 명확히 할 수 있습니다.

— Scortchi-Monica Monica 복원

사용하는 방법의 차이점에 대한 일반적인 t- 검정을 의미했습니다. 이지만 는 ANOVAR의 제곱근으로 계산되어 제곱 오차를 의미합니다. 이것은 일반적인 사후 쌍별 t- 검정 이며 Tukey의 HSD와 달리 다중 비교를 위해 조정 되지 않습니다 . 모든 그룹의 정보를 통합하지만 그룹 평균의 차이와는 무관합니다.

t = ({\bar{y}}_{1} - {\bar{y}}_{2}) / (\hat{σ} \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}})

$t=(\bar{y}_1-\bar{y}_2)/\left({\hat\sigma\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\right)$

\hat{σ}

$\hat\sigma$

— Scortchi-Monica Monica 복원

나는 (다양한) 본다! 나는 @Glen_b의 예제를 따르고 를 사용하지 않고 모든 그룹의 정보를 통합하지 않기 위해 언급 한 첫 번째 공식을 사용하는 것에 주로 관심이 있습니다. 그것은 내가 여기에 강한 선호를 가지고 있다고 말하는 것이 아닙니다 ...하지만 원래 의도의 일부는 다음과 같은 질문에서 공통 주제의 변형을 제시하는 것이 었습니다. "문제에 대해 특정 두 그룹을 넘어 정보를 무시할 때 실제로 해를 끼치는 것은 무엇인가 많은 사람들 사이에서 2- 샘플 테스트? " 이 결정에서도 주제가 수행 할 가치가 있다고 생각합니다.

\sqrt{MSE}

$\sqrt{\text{MSE}}$

— Nick Stauner

@Scortchi 나는 첫 번째 의견을 다루는 다른 질문 (예 : 공통 오류 분산 및 df를 사용하여 테스트가 수행되는 위치)에 대한 예제를 포함 시켰지만 모든 테스트 (F 및 다중 비교)는 매우 낮은 유의 수준에서 수행됩니다. (0.025가 아닌 0.0025). 여기서 Nick S.가 요청한 개별 일반 2- 표본 t- 검정과 비교할 때 유의미한 차이가 발생할 수 있음을 보여줍니다 (이 경우 모든 일반 t- 검정에 대해 , 아직 ). 나는 많은 그룹과 함께, 훨씬 더 나아가는 것이 가능하다고 믿습니다.

p_{t} > .05

$p_t>.05$

p_{F} < 0.002

$p_F<0.002$

— Glen_b-복지 주 모니카

몇 분 전에 stats.stackexchange.com/questions/83030/… 의 의견에이 질문의 첫 번째 부분에 대한 답변을 스케치했습니다 .

— whuber

단방향 레이아웃에서 각 처리에 대해 동일한 s (아래 참고 2 참조)를 가정 하고 모든 그룹의 풀링 된 SD가 테스트 에서 사용 된다고 가정 합니다 (일반적인 사후 비교에서 수행됨). 검정의 값 은 (여기서 는 cdf를 나타냄). 따라서 는 만큼 높을 수 없습니다 . 흥미롭게도 (이상하게도) 바운드는 뿐만 아니라 필요한 모든 중요도 수준에 적용 됩니다. $n$ $t$ $p$ $t$ $2\Phi(-\sqrt{2}) \approx .1573$ $\Phi$ $N(0,1)$ $p_t$ $0.5$ $.1573$ $p_F=.05$ $F$

주어진 범위의 표본 평균에 대해 이면 절반이 극단에 있고 다른 절반이 다른 극단에 있을 때 가장 큰 통계량을 얻을 수 있습니다 . 이는 두 평균이 최대 만큼 다르면 가 가장 중요하게 보이는 경우를 나타냅니다 . $\max_{i,j}|\bar y_i - \bar y_j| = 2a$ $F$ $\bar y_i$ $F$ $2a$

따라서 일반성을 잃지 경계의 경우 가 되도록 이라고 가정하십시오 . 그리고 일반성을 잃지 않고 이라고 가정 하십시오. 데이터를 항상이 값으로 재조정 할 수 있기 때문입니다. 이제 의미를 고려해 보자 (여기서 는 단순함 [참고 1 참조]). . 설정 되도록 , 우리가 구 . 모든 가 (그리고 여전히 )이면 각각 0이 $\bar y_.=0$ $\bar y_i=\pm a$ $MS_E=1$ $k$ $k$ $F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$ $p_F=\alpha$ $F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ $a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$ $\bar y_i$ $\pm a$ $MS_E=1$ $t$ 통계량은 입니다. 때 가능한 가장 작은 최대 값 입니다. $t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$ $t$ $F=F_\alpha$

따라서 와 의 다른 경우 , 계산 및 관련 시도 할 수 있습니다 . 그러나 주어진 , 는 에서 감소하고 있음을 주목하라 [그러나 아래의 주 3 참조]. 또한, 로서, ; 따라서 입니다. 참고 가지고 평균 및 SD . 따라서 입니다. $k$ $n$ $t$ $p_t$ $k$ $F_\alpha$ $n$ $n\rightarrow\infty$ $(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$ $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$ $\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ $\frac{k-1}k$ $\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$ $\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$ $\alpha$ 및 위의 첫 번째 단락에서 언급 한 결과는 점근 적 정규성에서 얻은 것입니다.

그러나 한도에 도달하는 데 시간이 오래 걸립니다. 다음은 사용하여 R다양한 값에 대한 결과를 사용하여 계산 된 결과입니다 . $k$ $\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

느슨한 끝 ...

k가 홀수 인 경우 : 가 모두 때 최대 통계량은 여전히 발생합니다 . 그러나 평균 만드는 범위의 한쪽 끝에 하나 더 있고, 통계량의 요소 가 로 대체 되었음을 알 수 있습니다 . 이것은 또한 의 분모를 대체하여 약간 더 크게 만들어 입니다. $F$ $\bar y_i$ $\pm a$ $\pm a/k$ $k$ $F$ $k-\frac 1k$ $t$ $p_t$
같지 않은 s : $n$ 최대 는 여전히 로 달성되며, 부호는 샘플 크기를 가능한 거의 동일하게 조정합니다. 그런 다음 동일한 총 표본 크기 대한 통계량 은 균형 데이터의 경우와 같거나 작습니다. 또한 최대 통계량은 가 가장 큰 통계량이므로 더 커집니다 . 따라서 불균형 사례를 보면 더 큰 값을 얻을 수 없습니다 . $F$ $\bar y_i = \pm a$ $F$ $N = \sum n_i$ $t$ $n_i$ $p_t$
약간의 수정 : 나는 우리가 를 최대화하려고한다는 사실을 간과 하기 위해 최소 를 찾으려고 노력했습니다 가 적은 큰 가 작은 것보다 덜 중요하지 않다는 것은 분명 하지 않습니다. 더 많은 df. 그러나 df가 거의 차이가 않을 때까지 의 값을 계산하여 이것이 사실임을 확인했습니다 . 경우에 대해 I는 어떤 경우 보이지 않았다 값은 증가하지 않은 . 참고 것을 가능한 그래서 DF는 큰 빨리 얻을 $t$ $p_t$ $t$ $n=2,3,4,\ldots$ $\alpha=.05, k\ge 3$ $p_t$ $n$ $df=k(n-1)$ $k,2k,3k,\ldots$ $k$ 크다. 그래서 나는 여전히 위의 주장으로 안전한 입장에 있습니다. 또한 테스트 했으며 임계 값을 초과 한 유일한 경우 는 입니다. $\alpha=.25$ $.1573$ $k=3,n=2$

— 러스 렌스
소스