AIC를 기준으로 모델을 비교하는 방법은 무엇입니까?

우리는 로그 우도를 계산하기 위해 동일한 방법을 사용하는 두 가지 모델을 가지고 있으며 하나의 AIC는 다른 것보다 낮습니다. 그러나 AIC가 낮은 것은 해석하기가 훨씬 어렵습니다.

어려움을 도입 할 가치가 있는지 판단하는 데 어려움을 겪고 있으며 AIC의 백분율 차이를 사용하여이를 판단했습니다. 우리는 두 AIC 사이의 차이가 0.7 %에 불과하다는 것을 발견했으며, 더 복잡한 모델은 AIC가 0.7 % 더 낮았습니다.

1. AIC가 낮은 모델을 사용하지 않는 것이 좋은 이유입니까?

2. 차이의 비율이 덜 복잡한 모델에서 0.7 % 더 많은 정보가 손실된다고 설명합니까?

3. 두 모델의 결과가 매우 다를 수 있습니까?

하나는 두 개의 AIC 의 절대 값 ( 같지만 )을 비교하지는 않지만 그 차이를 고려합니다 . 여기서 는 의 AIC -번째 모델이며 은 검사 된 모델 세트 (예 : 선호 모델) 중에서 가장 낮은 AIC입니다. 의 예를 들어 설명 엄지 손가락의 규칙, 번햄 & 앤더슨 2004 입니다 :$\sim 100$$\sim 1000000$

$$\Delta_i=AIC_i-AIC_{\rm min},$$ $AIC_i$$i$$AIC_{\rm min}$

1. 경우 다음에 대한 실질적인 지원이 번째 모델 (또는 가치 만 베어 언급이다에 대해 증거), 그것은 적절한 설명이라는 명제가 가능성이 매우 높다;$\Delta_i<2$$i$
2. 만약 다음 강력한 지지체가 번째 모델;$2<\Delta_i<4$$i$
3. 경우 후 상당히 덜 지지체가 번째 모델;$4<\Delta_i<7$$i$
4. 모델 은 기본적으로 지원되지 않습니다.$\Delta_i>10$

이제 질문에 언급 된 0.7 %와 관련하여 다음 두 가지 상황을 고려하십시오.

1. $AIC_1=AIC_{\rm min}=100$ 이고 는 0.7 % 더 큽니다 : . 그런 다음 이므로 모델간에 큰 차이가 없습니다.$AIC_2$$AIC_2=100.7$$\Delta_2=0.7<2$
2. $AIC_1=AIC_{\rm min}=100000$ 이고 는 0.7 % 더 큽니다 : . 그런 다음 이므로 2 차 모델은 지원되지 않습니다.$AIC_2$$AIC_2=100700$$\Delta_2=700\gg 10$

따라서, AICS의 차이는 0.7 % 제공하지 않는 것을 말하는 어떤 정보를.

AIC 값에는 로그 우도 에서 오는 스케일링 상수가 포함되어 있으므로 에는 이러한 상수가 없습니다. 은 최고의 모델이 을 갖도록하는 크기 조정 변환으로 간주 될 수 있습니다 .$\mathcal{L}$$\Delta_i$$\Delta_i = AIC_i − AIC_{\rm min}$$AIC_{\rm min} := 0$

AIC의 제형은 과도한 수의 파라미터의 사용을 불이익을 주므로 과적 합을 막는다. 다른 모델이 실질적으로 더 잘 맞지 않는 한 더 적은 매개 변수를 가진 모델을 선호합니다. AIC는 (시험중인 데이터의 형태로) 현실을 ​​가장 적절하게 설명하는 모델 (검토 된 모델 중에서)을 선택하려고합니다. 이는 실제로 데이터에 대한 실제 설명 인 모델은 고려되지 않음을 의미합니다. AIC는 어떤 모델 이 데이터를 더 잘 묘사 하는지에 대한 정보를 제공하지만 해석 은하지 않습니다 .

개인적으로 , 만약 당신이 간단한 모델과 훨씬 더 낮은 AIC를 가진 복잡한 모델을 가지고 있다면, 간단한 모델로는 충분하지 않다고 말할 것입니다. 더 복잡한 모델이 훨씬 더 복잡하지만 가 크지 않은 경우 (아마도 , 아마도 특정 상황에 따라 다름) 작업이 더 쉬운 경우 더 간단한 모델을 고수합니다. .$\Delta_i$$\Delta_i<2$$\Delta_i<5$

또한 다음을 통해 번째 모형에 확률을 부여 할 수 있습니다.$i$

$$p_i=\exp\left(\frac{-\Delta_i}{2}\right),$$

번째 모델이 AIC를 최소화 할 수있는 상대 확률 ( 과 비교)을 제공합니다 . 예를 들어, 는 (quite high)에 해당하고 는 (quite low)에 해당합니다. 첫 번째 경우는 번째 모델이 실제로 을 생성 한 모델보다 더 나은 설명 일 가능성이 47 % 이며, 두 번째 경우에는이 확률이 0.05 %임을 의미합니다. i Δ i = 1.5 p i = 0.47 Δ i = 15 p i = 0.0005 i A I C m i $AIC_{\rm min}$$i$$\Delta_i=1.5$$p_i=0.47$$\Delta_i=15$$p_i=0.0005$$i$$AIC_{\rm min}$

마지막으로 AIC 공식에 대해 :

$$AIC=2k-2\mathcal{L},$$

이 비슷한 두 모델을 고려할 때 는 항 으로 인한 매개 변수 수에만 의존 한다는 점에 유의해야합니다 . 따라서 인 경우 상대적 개선은 매개 변수의 수만 늘리는 것이 아니라 실제 적합도의 개선 때문입니다.Δ i 2 k Δ $\mathcal{L}$$\Delta_i$$2k$$\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

1. 나쁜 이유입니다. AIC의 절대 값 사이의 차이를 사용하십시오.
2. 백분율은 아무 것도 말하지 않습니다.
3. 모델, 데이터 및 다른 결과의 의미 에 대한 정보가 없기 때문에이 질문에 대답 할 수 없습니다 .