분산 분석은 최대 가능성이 아닌 순간의 방법에 의존합니까?


13

ANOVA는 모멘트 방법을 사용하여 추정을 수행한다고 여러 곳에서 언급했습니다.

비록 순간의 방법에 익숙하지는 않지만, 그것이 최대 가능성의 방법과는 다르고 그와 동등한 것이 아니라는 것을 이해하기 때문에 나는 그 주장에 혼란을 느낀다. 반면, ANOVA는 범주 형 예측 변수를 사용하는 선형 회귀로 볼 수 있으며 회귀 모수에 대한 OLS 추정 최대 가능성입니다.

그래서:

  1. 순간의 방법으로 ANOVA 절차를 충족시키는 것은 무엇입니까?

  2. ANOVA가 범주 형 예측 변수가있는 OLS와 동등하다는 점을 고려할 때 최대 가능성은 아닙니까?

  3. 이 두 방법이 일반적인 ANOVA의 특수한 경우에 어떻게 든 동등한 것으로 판명되면 차이가 중요 해지는 특정 ANOVA 상황이 있습니까? 불균형 디자인? 반복 측정? 혼합 된 (대상 간 + 대상 내) 설계?


4
간단한 설정에서, 간단히 말해서 일원 및 이원 분산 분석을 의미합니다. 분산 분석은 분산이 동일한 정규 분포에서 LRT에서 파생되므로 사용되는 최대 가능성입니다. 물론 정상적인 경우에는, mle과 mom 추정값이 일치하므로 구별이 중요하지 않습니다. 그러나보다 복잡한 설정에서는 LRT를 도출하는 대신 OLS 회귀에 의존합니다. OLS는 정규 분포 하에서 단지 mle이며 잔차에 직교성을 부과하는 경우보다 일반적인 설정에서 엄마 추정량입니다.
JohnK

1
@JohnK, 귀하의 의견에 감사드립니다.하지만 그 일부, 특히 두 번째 부분을 이해하기가 어렵습니다. ANOVA가 LRT 대신 OLS에 의존하는 "더 복잡한 설정"은 무엇입니까? 이 "보다 일반적인 설정"에서 OLS가 MLE이 아닌 이유는 무엇입니까? 모든 ANOVA 시나리오에서 정상적인 오류가 항상 있다고 생각했습니다. 잔차와의 직교성은 무엇을해야합니까? 의견을 답변으로 확장하면 대단히 감사하겠습니다.
amoeba 말한다 Reinstate Monica

2
@아메바. ANOVA에 대한 첫 번째 요점을 해결하기 위해 답변을 수정했습니다. 그것은 무작위 효과에만 해당됩니다.
Placidia

답변:


12

1978 년 옥스퍼드에서 석사 과정을 밟았을 때 ANOVA를 처음 접했습니다. 다중 회귀 모델에서 연속적이고 범주 형 변수를 함께 가르치는 현대적인 접근 방식은 젊은 통계학자가 진행 상황을 이해하기 어렵게 만듭니다. 따라서 더 간단한 시간으로 돌아가는 것이 도움이 될 수 있습니다.

ANOVA는 원래 형태로 산술 연습으로 전체 제곱합을 처리, 블록, 상호 작용 등과 관련된 조각으로 나눕니다. 균형 잡힌 설정에서 SSB 및 SST와 같은 직관적 인 의미의 제곱합은 조정 된 총 제곱합에 합산됩니다. 이 모든 것은 Cochran의 정리 덕분에 작동합니다 . Cochran을 사용하면 일반적인 귀무 가설 하에서 이러한 항의 예상 값을 계산할 수 있으며 여기에서 F 통계가 흐릅니다.

보너스로 Cochran과 제곱합에 대해 생각하기 시작하면 직교 대비를 사용하여 치료 제곱합을 자르고 잘라내는 것이 좋습니다. 분산 분석표의 모든 항목은 통계학자가 관심을 갖고 해석해야하며 검증 가능한 가설을 산출해야합니다.

최근 에 MOM과 ML 방법의 차이가 발생 하는 대답을 썼습니다 . 이 질문은 랜덤 효과 모델 추정을 켰습니다. 이 시점에서 기존의 분산 분석법은 최대 가능성 추정을 통해 전체 부품 회사에 접근하며 효과의 추정치가 더 이상 동일하지 않습니다. 설계의 균형이 맞지 않으면 동일한 F 통계도 얻지 못합니다.

σp2σ2σ2+nσp2nσb2^. 분산 분석은 랜덤 효과 분산에 대한 모멘트 추정 방법을 제공합니다. 이제 우리는 혼합 효과 모델로 이러한 문제를 해결하는 경향이 있으며 분산 성분은 최대 우도 추정 또는 REML을 통해 얻습니다.

이와 같은 분산 분석은 모멘트 방법이 아닙니다. 제곱의 합 (보다 일반적으로 2 차 반응의 형태)을 의미있는 가설을 도출하는 구성 요소로 분할합니다. F 검정이 작동하기 위해 제곱합이 카이 제곱 분포를 갖기를 원하기 때문에 정규성에 크게 의존합니다.

최대 우도 프레임 워크는보다 일반적이며 제곱합이 적용되지 않는 일반화 된 선형 모형과 같은 상황에 적용됩니다. R과 같은 일부 소프트웨어는 점근 카이 제곱 분포를 사용하여 가능성 비율 테스트에 대한 anova 방법을 지정하여 혼란을 불러옵니다. "anova"라는 용어의 사용을 정당화 할 수 있지만, 엄밀히 말하면, 그것의 배후에있는 이론은 다르다.


2
단방향 및 양방향 분산 분석의 F-테스트 입니다 우도 비율 테스트 및 당신이 저를 믿지 않는 경우에 당신은 수학 통계, 9 장에 호그와 크레이그, Intrduction를 참조 할 수 있습니다. 또한 정규 회귀 분석에 사용 된 F- 검정은 LRT이기도합니다.
JohnK

1
내가 확인할 께. 지금은 단락을 제거했습니다.
Placidia

1
+1, 답변 주셔서 대단히 감사합니다. 그건 그렇고 내 질문을 일으킨 것은 정확히 당신의 링크 된 답변입니다. 당신이 쓴 것에 대해 이해하지 못하는 것들이 많이 있습니다. 나는 새해를 여행하고 그것에 대해 생각할 시간이 없을 것이지만, 1 월에 돌아 오면이 실로 돌아올 것입니다. 그동안 @JohnK가 의견에서 지적한 사항에 대한 답변을 게시하도록 다시 한 번 격려하고 싶습니다. 특히 구체적인 예를 통해 더 많은 기술적 설명을 부탁드립니다. 기쁜 성탄과 새해 복 많이 받으세요!
amoeba는 Reinstate Monica가 2

1
당신에게도 메리 크리스마스. 내 링크 된 게시물에서 나는 전통적인 효과에서 MOM 인 무작위 효과 분산의 추정에 대해서만 생각하고있었습니다. 내 말이 내가 의도 한 것보다 더 일반적으로 들리면 죄송합니다.
Placidia

2
1.5 년 후 나는 당신의 대답을 다시 읽었으며 그것이 분명하다는 것을 깨달았습니다.
amoeba는 Reinstate Monica
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.