AIC와 BIC가 완전히 다른 모델을 선택할 수 있습니까?


12

1 개의 반응 변수와 6 개의 공변량으로 포아송 회귀 모델을 수행하고 있습니다. AIC를 사용하여 모형을 선택하면 모든 공변량 및 6 개의 교호 작용 항이있는 모형이 생성됩니다. 그러나 BIC는 공변량이 2 개이고 교호 작용 항이없는 모형이됩니다. 매우 유사한 두 가지 기준이 완전히 다른 모델 선택을 산출 할 수 있습니까?


6
두 측정 항목에서 다른 모델 권장 사항을 얻을 수없는 경우 두 측정 항목이없는 경우 항상 하나만 사용합니다.
Gregor Thomas

모델이 일련의 이산 매개 변수에서 선택한 결과 일 때는 "완전히 다른"이라는 단어를 해석하기가 어렵습니다.
BallpointBen

답변:


21

실제로 가능합니다. https://methodology.psu.edu/AIC-vs-BIC에 설명 된 바와 같이 , "BIC는 모델 복잡성을 더 크게 처벌합니다. AIC가 BIC보다 더 큰 모델을 선택할 때 그들이 동의하지 않는 유일한 방법입니다."

좋은 예측 모델을 찾는 것이 목표라면 AIC를 사용해야합니다. 좋은 설명 모델을 찾는 것이 목표라면 BIC를 사용해야합니다. Rob Hyndman은이 권장 사항을
https://robjhyndman.com/hyndsight/to-explain-or-predict/에 멋지게 요약합니다 .

"AIC는 회귀 분석에서 일대일 교차 검증 또는 시계열에서 1 단계 교차 검증과 무조건 동일하므로 예측을위한 모형 선택에 더 적합합니다. 반면에, AIC는 다음과 같이 주장 할 수 있습니다. BIC는 일관성이 있기 때문에 설명을위한 모델 선택에 더 적합합니다. "

권장 사항은 Galit Shmueli의 논문 "설명 또는 예측 하시겠습니까?", Statistical Science, 25 (3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 ) 에서 발췌 한 것 입니다.

추가:

세 번째 유형의 모델링 (설명 적 모델링)이 있지만 AIC 또는 BIC 중 어떤 것이 최적의 설명 적 모델을 식별하는 데 가장 적합한 지에 대해서는 언급하지 않습니다. 나는 여기에있는 다른 사람들이 그들의 통찰력으로 차임 할 수 있기를 바랍니다.


6
그들이 동의하지 않는 유일한 방법은 AIC가 BIC보다 더 큰 모델을 선택할 때입니다. 기술적으로 BIC는 , 즉 경우 더 큰 모델을 선택할 수 있습니다 . 그래도 크기 7의 샘플은별로 문제가되지 않습니다. : plnn<2n7
Dougal

좋은 지적! 샘플 크기가 7 이하이면 모델 선택이 테이블에서 벗어난 것 같습니다. 😀
Isabella Ghement

세 번째 유형의 모델링 (설명 적 모델링)이 있지만 AIC 또는 BIC 중 어떤 것이 최적의 설명 적 모델을 식별하는 데 가장 적합한 지에 대해서는 언급하지 않습니다. 나는 여기에있는 다른 사람들이 그들의 통찰력으로 차임 할 수 있기를 바랍니다. 대답이나 질문입니까?
Subhash C. Davar

@ subhashc.davar : 아직 답이 없습니다. Galit Shmueli에게 이메일을 보내어 그녀의 생각을 물어보고 싶습니다.
Isabella Ghement

1
우리가 "설명 적"의 의미를 이해하고 진지하게 생각한다면, 최적의 서술 적 모델을 식별하는 것에 대해 이야기하는 것이 이치에 맞지 않습니다.
gung-모니 티 복원

11

짧은 대답 : 예, 매우 가능합니다. 두 매개 변수는 추정 된 매개 변수의 수 (AIC의 경우 2k 대 BIC의 경우 ln (n) xk, 여기서 k는 추정 된 매개 변수의 개수이고 n은 샘플 크기)에 따라 다른 처벌을 적용합니다. 따라서, 파라미터를 추가 할 때의 가능성 이득이 작은 경우, BIC는 AIC에 다른 모델을 선택할 수 있습니다. 그러나이 효과는 샘플 크기에 따라 다릅니다.


2
n이 위의 방정식에서 표본 크기라는 것을 분명히
밝히는
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.