AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC — 상호 교환 가능합니까?


47

에 p. PRNN 브라이언 리플리 (Brian Ripley)의 34 명은 "AIC는 Akaike의 약자라고 일반적으로 믿어 지지만 Akaike (1974)에 의해"정보 기준 "으로 명명되었다"고 언급했다. 실제로 AIC 통계를 소개 할 때 Akaike (1974, p.719)는 다음과 같이 설명합니다.

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

이 인용문을 1974 년에 이루어진 예측으로 고려하면, 단지 4 년 만에 Akaike (1977, 1978)와 Schwarz (1978)에 의해 두 가지 유형의 BIC 통계 (Bayesian IC)가 제안되었다는 점에 주목하는 것이 흥미 롭습니다. Spiegelhalter et al. (2002)는 DIC (Deviance IC)를 훨씬 더 길게 만들었습니다. CIC 기준의 출현은 Akaike (1974)에 의해 예측되지 않았지만, 결코 고려되지 않았다고 믿는 것은 순진 할 것이다. 2005 년 Carlos C. Rodriguez가 제안했습니다. (R. Tibshirani와 K. Knight의 CIC (공분산 인플레이션 기준)는 다릅니다.)

나는 2003 년경 모나 쉬 대학교 사람들이 EIC (Empirical IC)를 제안했다는 것을 알고있었습니다. 일부 책은 Hannan 및 Quinn IC를 HIC라고합니다 ( 예 :이 책 참조 ). 나는 GIC (Generalized IC)가 있어야한다는 것을 알고 있으며 방금 정보 투자 기준 (IIC)을 발견했습니다. NIC, TIC 등이 있습니다.

나는 알파벳의 나머지 부분을 포함 할 수 있다고 생각하므로 시퀀스 AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... 중지 또는 알파벳 문자가 어디에 있는지 묻지 않습니다. 적어도 두 번 사용 또는 사용하지 않은 경우 (예 : EIC의 E는 확장 또는 경험적)를 나타낼 수 있습니다. 내 질문은 더 간단하고 더 실질적으로 유용하기를 바랍니다. 파생 된 특정 가정, 적용 가능한 특정 상황 등을 무시하고 이러한 통계를 상호 교환하여 사용할 수 있습니까?

이 질문은 Burnham & Anderson (2001)이 다음과 같이 썼습니다 :

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

지수 평활에 관한 Hyndman et al.의 논문 7 장은 5 개의 대안 IC (AIC, BIC, AICc, HQIC, LEIC)가 가장 잘 예측 된 모델을 선택하는 데있어 얼마나 잘 수행 하는지를 조사 할 때 BA의 조언을 따르는 것으로 보입니다 (측정 된대로) AIC가 더 나은 대안이라고 결론을 내기 위해 새로 제안 된 MASE) (HQIC는 단 한 번의 최고의 모델 선택기로보고되었습니다.)

모든 ICc가 동등한 가정 하에서 동일한 질문에 답하기 위해 도출 된 것처럼 내재적으로 처리하는 연구 연습의 유용한 목적이 무엇인지 잘 모르겠습니다. 특히, 나는 정지하지 않은 지수의 맥락에서 그것을 사용하여 자기 회귀의 순서 (한난과 퀸이 인체 공학적 고정 시퀀스에 대해 도출 된)를 결정하기위한 일관된 기준의 예측 성능을 조사하는 것이 얼마나 유용한 지 잘 모르겠습니다. Hyndman et al.에 의해 논문에서 기술되고 분석 된 평활화 모델. 여기에 뭔가 빠졌습니까?

참고 문헌 :

Akaike, H. (1974), 통계 모델 식별, IEEE 자동 트랜잭션 제어 19 (6), 716-723에 대한 새로운 모습 .

Akaike, H. (1977), 엔트로피 최대화 원리에 관한 PR Krishnaiah, ed., 통계의 응용 , Vol. 27, 암스테르담 : North Holland, 27-41 쪽.

Akaike, H. (1978), 최소 AIC 절차의 베이지안 분석, 통계 수학 연구소의 연대기 30 (1), 9-14.

Burnham, KP & Anderson, DR (2001) Kullback – 생태학 연구에서 강력한 추론을위한 기초 정보 인 야생 동물 연구 28, 111-119

Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, 지수 평활을 통한 RD 예측 : 상태 공간 접근. 뉴욕 : 2008 년 스프링거

리플리, BD 패턴 인식 및 신경망 . 케임브리지 : 케임브리지 대학 출판부, 1996

Schwarz, G. (1978), 모형의 치수 추정, Annals of Statistics 6 (2), 461-464.

Spiegelhalter, DJ, Best, NG, Carlin, BP 및 van der Linde, A. (2002), 베이지안 모델 복잡성 측정 및 t (토론 포함), 왕립 통계 학회지. 시리즈 B (통계 방법론) 64 (4), 583-639.


9
Akaike는 Findley 및 Parzen ( projecteuclid.org/download/pdf_1/euclid.ss/1177010133 ) 과의 대화에서 AIC가 FORTRAN 프로그램의 조수에 의해 사용되었다고 밝혔습니다. IC와 같은 변수 이름은 기본적으로 정수 수량을 암시합니다. A와 같은 접두어는 양이 실제임을 컴파일러에 지시하기에 충분했습니다. "Akaike"를 의도하지 않았지만 그는 또한 "an"을 의미한다는 것을 깨달았습니다. (실수로,이 언급은 하나의 잘못된 이야기에 대한 해독제이지만, 맬로의 맬로의 철자 오류를 영속합니다.)
Nick Cox

이 질문은 "알파벳 실험 설계"에 대해 생각하게한다 : doe.soton.ac.uk/elearning/section3.6.jsp
kjetil b halvorsen

답변:


36

내 이해는 AIC, DIC 및 WAIC가 모두 같은 것을 추정한다는 것입니다 : 모델과 관련된 샘플 외부 편차. 이것은 교차 검증이 추정하는 것과 동일합니다. Gelman et al. (2013), 그들은 이것을 명시 적으로 말합니다 :

표본 외 예측 오차를 추정하는 자연적인 방법은 교차 검증 (베이 밸리 관점의 경우 Vehtari and Lampinen, 2002 참조)이지만 교차 검증이 반복되는 모델 적합을 요구하고 할 수 있기 때문에 연구자들은 항상 대체 측정을 ​​추구했습니다. 스파 스 데이터에 문제가 생겼습니다. 실질적인 이유만으로도 AIC (Akaike, 1973), DIC (Spiegelhalter, Best, Carlin 및 van der Linde, 2002, van der Linde, 2005),보다 최근에는 WAIC와 같은 간단한 바이어스 보정을위한 장소가 남아 있습니다. (Watanabe, 2010), 이들 모두는 서로 다른 버전의 교차 검증에 대한 근사치로 볼 수 있습니다 (Stone, 1977).

BIC는 최소 설명 길이와 관련된 다른 것을 추정합니다. Gelman et al. 말하다:

BIC와 그 변형은 여기에서 고려 된 다른 정보 기준과는 달리 예측 된 예측의 추정이 아니라 모형 하에서 데이터의 한계 확률 밀도 p (y)를 근사하려는 목표에 의해 결정된다. 불연속 모델 비교 설정에서 상대적 후방 확률을 추정합니다.

유감스럽게도 귀하가 기재 한 다른 정보 기준에 대해서는 아무것도 모릅니다.

AIC와 같은 정보 기준을 상호 교환하여 사용할 수 있습니까? 의견은 다를 수 있지만 AIC, DIC, WAIC 및 교차 유효성 검사는 모두 동일한 것을 추정하므로 거의 상호 교환이 가능합니다. 위에서 언급했듯이 BIC는 다릅니다. 나는 다른 사람들에 대해 모른다.

왜 하나 이상이 있습니까?

  • AIC 는 최대 가능성 추정치와 사전 우선 순위가 높을 때 잘 작동하지만 다른 시나리오에 대해서는 말할 것도 없습니다. 매개 변수 수가 데이터 포인트 수에 접근 할 때 패널티도 너무 작습니다. AICc는이를 과도하게 수정하며, 이는 관점에 따라 좋거나 나쁠 수 있습니다.

  • DIC 는 모델의 일부가 사전에 의해 크게 제약을받는 경우 (예를 들어 분산 성분이 추정되는 일부 다중 레벨 모델에서) 더 적은 페널티를 사용합니다. 제한이 많은 매개 변수가 실제로 완전한 자유도를 구성하지는 않기 때문에 이것은 좋습니다. 불행하게도, DIC에 일반적으로 사용되는 공식은 후방이 본질적으로 가우시안 (즉, 평균으로 잘 설명되어 있음)이라고 가정하므로 어떤 상황에서는 이상한 결과 (예 : 부정적인 처벌)를 얻을 수 있습니다.

  • WAIC 는 DIC보다 전체 후방 밀도를 더 효과적으로 사용하므로 Gelman et al. 어떤 경우에는 계산하기가 어려울 수 있지만 선호하십시오.

  • 교차 검증 은 특정 공식에 의존하지 않지만 많은 모델에서 계산적으로 금지 될 수 있습니다.

필자가보기에 AIC와 같은 기준 중 어느 것을 사용할 것인지에 대한 결정은 하나가 다른 것보다 더 나을 것이라는 수학적 증거가 아니라 이러한 실용적인 문제에 전적으로 달려있다.

참고 문헌 :

Gelman et al. 베이지안 모델에 대한 예측 정보 기준 이해 http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf 에서 사용 가능


3
참고로 Gelman et al. 베이지안 모델에 대한 예측 정보 기준을 이해하면 최신 논문 인 Aki Vehtari, Andrew Gelman 및 Jonah Gabry (2016)도 참조하십시오. leave-one-out 교차 검증 및 WAIC를 사용한 실제 베이지안 모델 평가. 통계 및 컴퓨팅에서 doi : 10.1007 / s11222-016-9696-4. arXiv 프리 프린트 arXiv : 1507.04544. arxiv.org/abs/1507.04544 이 백서에서는 신뢰할 수있는 교차 검증을 많은 모델에서 무시할 수있는 시간으로 계산할 수 있음을 보여줍니다.
아키 베타 리

4

"교환 가능하다"는 단어가 너무 강하다. 이들 모두는 모델을 비교하고 "최상의"모델을 찾으려는 기준이지만 각각 "최고"를 다르게 정의하고 다른 모델을 "최고"로 식별 할 수 있습니다.


0

“투표 제안”. 투표 만하세요! ;-) CAIC (Bozdogan, 1987)과 BIC는 개인적으로 순수하게 좋아했습니다. 이러한 기준은 복잡성에 심각한 페널티를 주므로 더 많은 가치를 얻었지만 항상 좋은 모델 목록을 표시했습니다-델타 4-6 -8 (2 대신) 매개 변수를 조사하는 단계에서 (“우수한 후보 모델이 우수하기 때문에”) MM 평균 (B & A)은 거의 변하지 않습니다. 나는 고전적인 AIC와 AICc (B & A가 대중화 한 H & T)에 대해 약간 회의적이다. 왜냐하면 그들은 종종 "크림의 두꺼운 층"을주기 때문이다. ;-)

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.