AIC에서 '매개 변수 수'의 의미

21

AIC를 계산할 때

$AIC = 2k - 2 ln L$

k는 '매개 변수 수'를 의미합니다. 그러나 무엇이 매개 변수로 간주됩니까? 예를 들어 모델에서

$y = ax + b$

a와 b는 항상 매개 변수로 계산됩니까? 절편의 가치에 신경 쓰지 않으면 무시할 수 있습니까? 아니면 여전히 계산됩니까?

만약 그러하다면

$y = a f(c,x) + b$

여기서 는 c와 x의 함수입니다. 이제 3 개의 매개 변수를 계산합니까? $f$

aic

— 사이드 쇼 밥
소스

9

미묘한 점이 있기 때문에 이것은 좋은 질문입니다. 는 추정 할 식별 가능한 매개 변수 의 수입니다 . 예를 들어, 회귀 모형 에도 불구하고 5 개의 매개 변수가 작성 됩니다. (이 모델은 및 과 합니다. .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

엄밀히 말하면 모든 식별 가능한 자유 매개 변수-평균 매개 변수, 모양 및 스케일 매개 변수 등 무엇이든 (그리고 AIC 중요 함 ) 계산하지만 AIC의 경우 비교되는 모델에 공통적 인 매개 변수를 생략하면 아무런 영향을 미치지 않습니다. 예를 들어 회귀 분석에서는 분산 매개 변수를 계산해야합니다. 따라서 제 계산에 따르면 귀하의 질문에있는 모든 매개 변수 수는 짧습니다. 그러나 모든 모델에 정확히 하나가 있으면 AIC에 대해 떨어 뜨리지 않아도됩니다. R은 회귀 모델에서 AIC를 계산할 때 분산 매개 변수를 명시 적으로 계산합니다.

_{C}

$_C$

— Glen_b-복지 주 모니카

@whuber 왜이 우수한 의견이 답변으로 게시되지 않습니까? :)

— Alexis

@Alexis 감사합니다. 이 아이디어는 P Schnell의 답변에서 적절하게 다루어지기 때문에이 생각을 의견으로 게시했습니다. 나는 조금 더 강조하기를 원했습니다.

— whuber

17

mugen이 언급했듯이 는 추정 된 매개 변수의 수를 나타냅니다 . 다시 말해, 모델을 완전히 지정하기 위해 알아야하는 추가 수량입니다. 단순한 선형 회귀 모델에서 는 추정 할 수 , , 또는 둘 다. 추정하지 않는 수량은 수정해야합니다. 매개 변수를 모르고 신경 쓰지 않는다는 의미에서 매개 변수를 "무시"하지 않습니다. 와 모두 추정하지 않는 가장 일반적인 모델은 절편이없는 모델입니다. 여기서 수정 합니다. 여기에는 1 개의 매개 변수가 있습니다. 또는 을 쉽게 수정할 수 있습니다. $k$

와이 = 에이 엑스 + 비

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ 현실을 반영한다고 믿을만한 이유가 있다면 (단점 : 는 간단한 선형 회귀 분석의 매개 변수이지만 모든 모델에 있으므로 AIC의 비교에 영향을주지 않고 삭제할 수 있습니다.)

σ

$\sigma$

모형이 경우 매개 변수 수는 이러한 값을 수정하는지 여부와 형식에 따라 다릅니다 . 예를 들어, 를 추정 알고 싶다면 모델을 작성할 때 3 개의 알 수없는 매개 변수 가있는 가됩니다. 그러나 인 경우 모델이 있으며 실제로 및 라는 두 개의 매개 변수 만 있습니다 .

와이 = 에이 에프 (기음, 엑스) + 비

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

와이 = 에이 {엑스}^{기음} + 비

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

와이 = 에이 기음 엑스 + 비

$y=acx+b$

a c

$ac$

b

$b$

것이 중요 A는 가족 의해 인덱싱 함수 . 당신이 알고있는 모든 그 경우 연속되고,이에 따라 와 uncountably 많은 연속 기능이 있기 때문에, 당신은 운입니다. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P 샤넬
소스

2

(+1) 아마도 "추정"전체에서 "최대 가능성으로 추정"을 의미한다고 말할 가치가 있습니다.

— Scortchi-Monica Monica 복원

정말 중요한가요? 실제로 내 는 막대한 시뮬레이션이며 분석적으로 분리 할 수 없으며 계산하는 데 몇 시간이 걸립니다. 나는 우리가 할 시간이 있기 때문에 약 20 가지의 값으로 시도하고 , 하루의 끝에서 최고의 를주는 값을 고수 합니다. 따라서 말하기의 방식으로 회귀 분석과는 달리 를 최선으로 추정했습니다. 그래도 여전히 AIC의 매개 변수로 계산됩니까?

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— 사이드 쇼 Bob

2

@SideshowBob : 예-두 모델을 비교할 때 최대화 된 로그 우도의 차이는 예상되는 Kullback-Leibler 정보 손실의 차이와 AIC의 페널티 용어의 차이를 편향 추정하는 것입니다.

— Scortchi-Monica Monica 복원

1

@SideshowBob : 일반화 된 추정 방정식 등에 대한 AIC의 수정이 있다고 언급해야합니다. 그것들은 최대화 된 유사 가능성과 다소 복잡한 페널티 항을 사용합니다.

— Scortchi-Monica Monica 복원

4

통계 모델의 경우 AIC 값은 여기서 k는 모형의 모수 개수이고 L은 모형에 대한 우도 함수의 최대 값입니다. $\mathit{AIC} = 2k - 2\ln(L)$

( 여기 참조 )

$k$

나는 당신의 두 번째 질문에 대답 할만큼 충분히 지식이 없다고 생각합니다. 커뮤니티의 다른 회원을 위해 남겨 두겠습니다.

— 뮤겐
소스

1

λ

$\lambda$

1

예 당연 하죠.

— PA6OTA

1

먼저 AIC에 익숙하지 않은 사람들에게 : AIC (Akaike Information Criterion)는 모델의 "양호"를 비교하기 위해 설계된 간단한 지표입니다.

AIC에 따르면 동일한 입력 및 응답 변수에 적용되는 두 가지 모델 ( 예 : 동일한 문제를 해결하도록 설계된 모델) 중에서 선택하려고 하면 AIC가 낮은 모델이 "더 나은"것으로 간주됩니다.

$k$

c $f(c, x)$ $k$

— 아리 엘프
소스