AIC 가치의 해석

로지스틱 모델에 대해 본 AIC의 일반적인 값은 수천, 적어도 수백입니다. 예를 들어 http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ 에서 AIC는 727.39입니다.

AIC는 모델을 비교하기 위해서만 사용해야한다고 항상 말하지만 특정 AIC 값의 의미를 이해하고 싶었습니다. 공식에 따라 $AIC= -2 \log(L)+ 2K$

L = MLE 추정기의 최대 우도에서 K는 모수의 수

위의 예에서 K = 8

간단한 산술로 :

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

따라서 내 이해가 정확하다면 이것은 데이터를 피팅하는 MLE에 의해 식별 된 기능의 가능성입니다. 이건 정말 정말 낮은 것 같습니다.

내가 여기서 무엇을 놓치고 있습니까?

없다 "전형적인"또는 올바른 가능성 등 더 그런 것 모델에 대한이. AIC 와 동일합니다 . 즉, 여러 매개 변수에 대해 음수 로그 가능성이 부과됩니다. AIC 값이 낮을수록 "더 나은"모형이 제안되지만 모형 적합도 의 상대적 척도입니다. 모델 선택에 사용됩니다. 즉 , 동일한 데이터 세트에서 추정 된 다른 모델 을 비교할 수 있습니다 .

"모든 모델은 잘못되었지만 일부는 유용하다"는 GEP Box를 상기 시키십시오. 데이터가 완벽하지 못하기 때문에 모델에 관심이 없습니다. . 대신, 당신은 당신이 얻을 수있는 가장 유용한 것, 가장 유용한 것을 찾고 있습니다. AIC의 기본 개념은 매개 변수 수가 적은 모델이 더 좋으며 Occam의 면도기 논쟁 과 일치 하는 방식으로 복잡한 모델보다 간단한 모델을 선호한다는 것입니다.

다음 논문을 확인할 수 있습니다.

앤더슨, D. & Burnham, K. (2006). AIC 신화와 오해.

번햄, KP, 앤더슨, DR (2004). 멀티 모델 추론. 모델 선택에서 AIC 및 BIC 이해 사회 학적 방법 및 연구, 33 (2), 261-304.

그리고 그 스레드 :

"가능성"과 "확률"의 차이점은 무엇입니까?

AIC 또는 BIC를 다른 것보다 선호하는 이유가 있습니까?

AIC는 일반화 ( "의사")와 밀접한 관련이 있습니다. $R^2$. 가능성 비율에 AIC를 명시하고 싶습니다$\chi^2$ 이것은 전통적이지 않지만 스케일링 된 AIC = $\chi^{2} - 2\times$ df 일반화 된 것 중 하나 $R^2$ 대책은 $1 - \exp(-\chi^{2} / n)$. 우리는 여전히 정확히 얼마나 큰지 모르지만$R^2$ 모델이 매우 차별적 인 것으로 간주되어야합니다. $R^2$ 최소한 단위가 없습니다.

이건 정말 정말 낮은 것 같습니다. 내가 여기서 무엇을 놓치고 있습니까?

로그 가능성을 사용하는 AIC 와 같은 수량은 다른 수량에 비해 의미가 있습니다. 우도 함수는 스케일링 상수까지만 정의되므로 마음대로 스케일링하거나 축소 할 수 있습니다. 결과적으로 로그 우도는 위치 상수까지만 정의되며 마음대로 위 또는 아래로 이동할 수 있습니다. 이 수량은 단지 로그 우도 일 뿐이므로 매개 변수 수에 대한 패널티로 인해 AIC에도 적용됩니다. 그렇기 때문에 AIC는 모델을 비교하는 데만 사용해야한다고합니다.

컴퓨터 루틴에서 우도 함수는 일반적으로 불필요한 상수를 제거하지 않고 샘플링 밀도에서 직접 정의되므로이 경우 스케일링 문제는 중요하지 않습니다. 링크 한 R 블로거 게시물 에는$n=800$로지스틱 회귀 분석에 사용되는 데이터 포인트. 귀하가 제공 한 숫자의 로그 우도는 다음과 같습니다.

따라서 데이터 포인트 당 평균 로그 우도는 $\hat{\ell}/n = -0.4449375$의 가능성 값에 해당합니다. $0.6408643$단일 데이터 포인트. 이것은 특히 낮지 않으며 알람의 원인이되어서는 안됩니다.

R이보고 한 AIC를 사용하여 가능성을 다시 계산하면 가능성이 엄청나게 낮다는 것을 올바르게 지적했습니다. 그 이유는 R이보고 한 AIC의 값 (AICrep이라고 함)이 실제 AIC (AICtrue)가 아니기 때문입니다. AICrep과 AICtrue는 측정 된 데이터에 따라 다르지만 선택한 모델과는 독립적 인 상수로 다릅니다. 따라서 AICrep에서 역 계산 된 가능성은 올바르지 않습니다. 서로 다른 모델을 사용하여 동일한 데이터를 맞추는 경우 AIC 의 차이점 은 최상의 모델을 선택하는 데 유용합니다.