중첩되지 않은 두 모델의 AIC 차이 테스트


12

AIC 또는 다른 정보 기준의 요점은 덜 낫다는 것입니다. 따라서 두 가지 M1 모델이 있습니다 : y = a0 + XA + e 및 M2 : y = b0 + ZB + u, 첫 번째 (A1)의 AIC가 두 번째 (A2)의 AIC보다 작 으면 M1은 정보 이론 관점에서 더 잘 맞습니다. 그러나 차이 A1-A2에 대한 컷오프 벤치 마크가 있습니까? 실제로 얼마나 적습니까? 다시 말해, 안구 운동 이외의 (A1-A2)에 대한 테스트가 있습니까?

편집 : Peter / Dmitrij ... 응답 해 주셔서 감사합니다. 실제로, 이것은 내 실질적인 전문 지식이 나의 통계적 전문 지식과 충돌하는 경우입니다. 본질적으로 문제는 두 모델 중에서 선택하는 것이 아니라 거의 동등한 것으로 알려진 두 변수가 동등한 양의 정보를 추가하는지 확인하는 것입니다 (사실, 첫 번째 모델의 한 변수와 두 번째의 벡터). 색인에 대한 변수의 무리). Dmitrij가 지적했듯이 가장 좋은 방법은 Cox Test 인 것 같습니다. 그러나 실제로 두 모델의 정보 내용 간의 차이를 테스트하는 방법이 있습니까?


Wagonmakers et al. (2004). 파라 메트릭 부트 스트랩을 사용하여 모델 모방을 평가합니다. 수학 심리학 저널, 48 , 28-50. ( pdf ).
gung-모니 티 복원

답변:


13

호기심의 문제인가, 즉, 당신은 내 대답에 의해 만족되지 여기에 ? 그렇지 않다면 ...

이 까다로운 질문에 대한 추가 조사에 따르면, 일반적으로 사용되는 룰 이 존재하며, 두 모델이 차이가 있을 경우 기준 으로 구분할 수 없음을 나타냅니다. . 에 대한 위키 백과의 기사에서 실제로 읽는 것과 동일합니다 (링크를 클릭 할 수 있습니다!). 링크를 클릭하지 않은 사람들을 위해 :| A I C 1A I C 2 | < 2 A I CAIC|AIC1AIC2|<2AIC

A I C A I CAIC 는 모델에 대한 상대적 지원을 추정합니다. 실제로이를 적용하기 위해 후보 모델 세트로 시작한 다음 모델의 해당 값 을 찾으십시오 . 그런 다음 최소 값을 식별하십시오 . 그런 다음 다음과 같이 모델을 선택할 수 있습니다.AICAIC

대략적으로 경험하자면, 가 최소값의 이내 인 모델 은 실질적인 지원을하며 추론을 고려해야합니다. 가 최소값의 이내 인 모델 은 상당히 적은지지를받는 ​​반면, 보다 큰 모델 은 기본적으로지지가 없으며 추가 고려 사항에서 생략되거나 적어도 일부 구조적 변화를 설명하지 못할 수 있습니다 자료.AIC12AIC47AIC>10

보다 일반적인 접근 방식은 다음과 같습니다.

, 후보 모델 의 값을 나타냅니다 . 하자 이 값의 최소값을 표시한다. 그러면 는 번째 모델이 (예상 된 추정 된) 정보 손실을 최소화 할 수있는 상대 확률로 해석 될 수 있습니다 .AICAIC1AIC2,AIC3,,AICRAICmine(AICminAICi)/2i

예를 들어, 후보 세트에 값 , 및 세 가지 모델이 있다고 가정하십시오 . 그런 다음 두 번째 모델은 정보 손실을 최소화하기 위해 첫 번째 모델보다 배이고, 세 번째 모델은 배입니다. 정보 손실을 최소화하기 위해 첫 번째 모델만큼 가능성이 높습니다. 이 경우 세 번째 모델을 추가로 고려하지 않고 가중치가 각각 과 인 처음 두 모델의 가중 평균을 취할 수 있습니다 . 통계적 추론은 가중치 다중 모델을 기반으로합니다.AIC100102110e(100102)/2=0.368e(100110)/2=0.00710.368

내 의견으로는 좋은 설명과 유용한 제안. 클릭 가능한 것을 읽는 것을 두려워하지 마십시오!

에서는 또한 , 참고 한번, 대규모 데이터 집합 덜 바람직하다. 외에도 바이어스 수정 버전의 기준 를 적용하는 것이 유용 할 수 있습니다 (이 코드를 사용하거나 공식 . 여기서 추정 된 매개 변수의 수입니다). 그래도 룰은 동일합니다. AICBICAICAICcR AICc=AIC+2p(p+1)np1p


안녕하세요 드미트리 ... 당신이 이것을 발견 할 줄 알았어요. 실제로, 원래 질문에 대한 당신의 대답은이 열차를 굴 렸습니다. 나는 이것이 흥미로운 독립 질문을 할 것이라고 생각했다. 내가 겪고있는 문제는 통계 테스트 (콕스 테스트 포함)가 빈번하므로 사전 정의 된 유의 수준에서 두 모델의 차이를 테스트 할 수 있다는 것입니다. 그러나 AIC / BIC는 가능성을 기반으로하며, 당신이 지적한대로 엄지 손가락을 제외하고는 숫자를 직접 비교할 수없는 것 같습니다. IC 측정은 규모에 따라 다르므로 절대 값 (2)은 문제가 될 수 있습니다.
user3671

@user, 의 절대 값은 문제가되지 않습니다. 상대 확률 제안을 할 수도 있으므로 멋진 값보다 더 확신 할 수 있습니다 . 으로 규모의 효과 기준 적은 작은 샘플에 바이어스 및 대형 일관 때 무슨 뜻? 대신 일관된 를 시도 하면 작은 샘플에 대한 도 좋은 대안이 될 것입니다. 엄지 손가락 규칙을 계속 사용할 수 있습니다. 22BICAICc
Dmitrij Celov

1
@DmitrijCelov (+1 전) 멋진 답변-위키 백과에서는 더 이상 첫 두 단락에서 다루지 않은 내용을 붙여 넣어 주셔서 감사합니다. 삭제 된 단락은 p. 446 : Burnham, K. P., and Anderson, D.R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7. 사전 수정 위키 페이지가 있습니다.
James Stanley

나는 Burnham 책을 읽지 않았으며, 오래된 Wiki 참조는 인용 된 텍스트가 패러 프레이즈라고 제안했음을 주목해야합니다. 참고로, Wiki 페이지는 2011 년 4 월 15 일 16:52에 편집되었습니다.
James Stanley

이 후속 질문에 도움이 될 수 있습니까? stats.stackexchange.com/questions/349883/…
Tripartio

8

나는 이것이 당신이 정말로 원하지 않는 것을 얻으려는 시도 일 수 있다고 생각합니다.

모델 선택은 과학이 아닙니다. 드문 경우를 제외하고 완벽한 모델은 하나도 없으며 "진정한"모델은 하나도 없습니다. "최상의"모델은 거의 없습니다. AIC vs. AICc vs BIC vs. SBC vs. 아이디어는 GOOD 모델을 얻는 것이라고 생각합니다. 그런 다음 실질적인 전문 지식과 통계 아이디어의 조합을 기반으로 이들 중에서 선택합니다. 실질적인 전문 지식이없는 경우 (드물게 대부분의 사람들이 생각하는 것보다 드물게) 가장 낮은 AIC (또는 AICc 등)를 선택하십시오. 그러나 일반적으로 전문 지식이 있습니까? 그렇지 않으면 왜 이러한 특정 변수를 조사하고 있습니까?


2
통계 및 실질적인 전문 지식의 필요성을 강조하여 +1
chl
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.