AIC 모델 비교를위한 전제 조건

AIC 모델 비교가 작동하려면 정확히 필요한 전제 조건은 무엇입니까?

다음과 같이 비교했을 때이 질문을 방금했습니다.

> uu0 = lm(log(usili) ~ rok)
> uu1 = lm(usili ~ rok)
> AIC(uu0)
[1] 3192.14
> AIC(uu1)
[1] 14277.29

이 방법 log으로 variable 의 변환을 정당화했습니다 usili. 그러나 종속 변수가 다른 경우 모델을 AIC 비교할 수 있는지 모르겠습니다.

이상적인 대답은 전제 조건 목록 (수학적 가정)을 포함하는 것입니다.

— 이상한
소스

두 변수가 동일한 변수를 모델링하지 않기 때문에 두 모델을 비교할 수 없습니다 (정확하게 인식하고 있음). 그럼에도 불구하고 중첩 된 모델과 중첩되지 않은 모델을 모두 비교할 때 AIC가 작동해야합니다.

계속하기 전에 알림 : 가우스 로그 우도는 다음과 같습니다.

로그 (엘 (θ)) = - \frac{| 디 |}{2} 로그 (2 π) - \frac{1}{2} 로그 (| 케이 |) - \frac{1}{2} (엑스 - μ)^{티} {케이}^{- 1} (엑스 - μ),

$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$

모델의 공분산 구조되고,데이터 세트의 포인트 수, 평균 응답 및 종속 변수 $K$ $|D|$ $\mu$ $x$

보다 구체적으로 AIC는 와 동일하게 계산되며 , 여기서 는 모형의 고정 효과 수이고 은 우도 함수입니다 [1]. 실제로 모델링 가정에서 분산 ( )과 치우침 ( ) 간의 균형을 비교합니다 . 따라서 귀하의 경우 편견에 관해서는 두 가지 다른 로그 가능성 구조를 비교합니다. 실제로 로그 우도를 계산할 때 두 항, 즉 로 표시되는 적합 항을 볼 수 있기 때문입니다. $2k - 2 \log(L)$ $k$ $L$ $2k$ $2\log(L)$ 및 복잡도 처벌 용어로 표기 $-\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu)$ . 따라서 두 모형간에 적합 항이 완전히 다르다는 것을 알 수 있습니다. 첫 번째 경우에는 원시 데이터의 잔차와 다른 경우에는 로그 된 데이터의 잔차를 비교합니다. $-\frac{1}{2} \log(|K|)$

Wikipedia 외에도 AIC는 다음과 동일하게 정의됩니다. [3]; 이 형식을 사용하면 종속 변수가 다른 모델을 비교할 수없는 이유가 더 분명해집니다. RSS는 두 가지 경우입니다. 두 경우는 비교할 수 없습니다. $|D| \log\left(\frac{RSS}{|D|}\right) + 2k$

Akaike의 원본 논문 [4]은 실제로 이해하기가 매우 어렵습니다 (제 생각에). KL 발산 (대략 말하면 두 분포의 차이)을 기반으로하며 데이터의 알 수없는 실제 분포를 근사하고 모형이 가정하는 데이터의 분포와 비교할 수있는 방법을 증명하는 데 도움이됩니다. 그것이 "작은 AIC 점수가 더 나은" 이유입니다 . 데이터의 대략적인 실제 분포에 더 가깝습니다.

따라서 AIC를 사용할 때 기억해야 할 명백한 것들을 모두 모아서 세 가지 [2,5] :

다른 데이터 세트의 모델을 비교하는 데 사용할 수 없습니다.
모든 후보 모델에 동일한 응답 변수를 사용해야합니다.
당신은해야 , 그렇지 않으면 당신은 좋은 점근 적 일관성을하지 않기 때문에. $|D| >> k$

나쁜 소식을 들려서 죄송하지만 AIC를 사용하여 하나의 종속 변수를 다른 변수보다 선택하는 것은 통계적으로 바람직한 일이 아닙니다. 기록 된 데이터 사례에 정규 분포가있는 잔차가 있고 원시 데이터 사례가 그렇지 않은 경우 두 모델의 잔차 분포를 확인하십시오. 필요한 모든 정당성이 있습니다. 또한 원시 데이터가 로그 정규에 해당하는지 확인하고 싶을 수도 있습니다.

엄격한 수학적 가정을 위해 게임은 KL 분기 및 정보 이론입니다 ...

아, 그리고 일부 참고 문헌 :

http://en.wikipedia.org/wiki/Akaike_information_criterion
Akaike Information Criterion, Shuhua Hu (프레젠테이션 p.17-18)
응용 다변량 통계 분석, Johnson & Wichern, 6th Ed. (p. 386-387)
통계 모델 식별, H. Akaike, IEEE 자동 제어에 대한 트랜잭션 19 (6) : 716–723 (1974)
모델 선택 튜토리얼 # 1 : Akaike의 정보 기준, D. Schmidt 및 E. Makalic, (프레젠테이션 p.39)

— usεr11852는 Reinstate Monic을 말합니다
소스

감사! 나는 수학을 이해하지 못했지만 메시지의 핵심을 얻었습니다. 그러나 AIC 모델 비교에 필요한 모든 전제 조건을 나열 할 수 있습니까? 다음에 또 다른 실수를하지 않을 것입니다. 가서 하나씩 확인하겠습니다.

— Curious

| D |

$|D|$

p

$p$

L (θ)

$L(\theta)$

θ

$\theta$

p (x | θ)

$p(x|\theta)$

— usεr11852는 Reinstate Monic

이 3 가지 가정의 목록을 답변에 추가해 주셔서 감사합니다! 그것이 내가 필요한 것입니다.

— Curious

답을 다시 살펴보면 요점 1. "다른 데이터 세트의 모델을 비교하는 데 사용할 수 없습니다 . " "데이터 세트"의 의미는 무엇입니까? 종속 변수 세트를 변경하면 어떻게됩니까? 이 경우 AIC가 여전히 비교 가능해야한다고 생각합니까? 이를 명확히하기 위해 답변을 업데이트 할 수 있습니까?

— Curious

R S S

$RSS$

μ

$\mu$

x

$x$

uu0 $\prod_i y_i^{-1}$ $2\sum_i\log (y_i)$ uu0AIC (uu0)+2*sum (log (usili))AIC (uu1)

— 확률 론적
소스

나는 당신이 어떻게 AIC를 "수정"하려는 시도와 당신이 실제로 무엇을 얻었는지 (결과를 해석하는 방법) 이해하지 못합니다. 어쨌든, 이것에 대해 파헤 치지 마십시오. 제 질문은 완전히 다른 것에 관한 것이기 때문에 중요하지 않습니다 .AIC (실제, 수정되지 않은)가 현명하게 비교 될 수 있는 일반적인 전제 조건 은 무엇입니까 ? 이 특정 예에 초점을 맞추지 말고 일반적인 것의 예일뿐입니다.

— Curious

- 2 \log (p (y | θ))

$-2\log (p (y|\theta))$

x = g (y)

$x=g (y)$

x = l o g (y)

$x=log (y)$ AIC()

— probabilityislogic

@probabilityislogic : 학술 논문에 인용 할 수 있도록 귀하의 제안 (AIC (uu0) + 2 * sum (log (usili)))에 대한 학술 참고 자료가 있습니까? 감사.

— KuJ

Akaike 1978에서 발췌 한이 문서는 @probabilityislogic의 솔루션 지원에 대한 인용을 제공합니다.

Akaike, H. 1978 년. 시계열 모형의 가능성에 관하여. 왕립 통계 학회지. 시리즈 D (통계 전문가) 27 : 217-235.

— bjd
소스

죄송합니다, "변수 변환"이란 무엇이며 내 질문과 어떻게 관련이 있습니까? 감사합니다

— Curious