시계열 모델에서 적절한 지연 순서를 선택하기 위해 왜 정보 기준 (조정되지 않은 )이 사용됩니까?

9

ARMA-GARCH와 같은 시계열 모델에서는 적절한 지연 또는 모델 순서를 선택하기 위해 AIC, BIC, SIC 등과 같은 다른 정보 기준이 사용됩니다.

내 질문은 매우 간단합니다. 왜 우리는 조정 된 $R^2$ 를 사용 하여 적절한 모델을 선택하지 않습니까? 조정 된 값을 높이는 모델을 선택할 수 있습니다 $R^2$ . 조정 된 $R^2$ 와 정보 기준은 모두 모델의 추가 회귀 자 수에 대해 불이익을주기 때문에 이전의 $R^2$ 불이익을 가한 후 우도 값에 불이익을줍니다.

— 네 라즈
소스

답변에 뭔가 빠졌을 수 있지만 (아래) R- 제곱 및 조정 R- 제곱은 상대적으로 제한된 OLS 추정 모델에 적합하지만 AIC, BIC 등은 더 넓은 종류의 일반화 선형에 적합합니다. ML 또는 변형으로 추정 된 모델.

— Mike Hunter

12

적어도 AR 모델과 같은 선형 모델을 논의 할 때 조정 된 $R^2$ 와 AIC는 다르지 않다고 주장합니다.

가 포함되어야 하는지에 대한 질문을 고려하십시오 . 모델 입니다. 우리는 말 는 IS 진정한 모델 의 경우 . 공지 사항이 . 따라서 모델은 중첩 됩니다. 모델 선택 절차 은 여러 모델 중 가장 타당한 모델을 선택하는 데이터 종속 규칙입니다. $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

우리는 말을 입니다 일관 경우 $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

조정 된 고려하십시오 . 즉, 경우 선택하십시오 . 마찬가지로 단조로 감소 이 절차를 최소화하는 것과 동일 . 이는 를 최소화하는 것과 같습니다 . 충분히 큰 의 경우 후자는 여기서 $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ 오차 분산의 ML 추정기입니다. 따라서 기반으로 하는 모델 선택은 가장 작은 모델을 선택하는 것과 같습니다 . 이 절차는 일치하지 않습니다.

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

제안 :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

증명 : 여기서 선형 회귀 분석에서 통계는 LR 통계이기 때문에 두 번째-마지막 줄은 다음과 같습니다. 널 분배. QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

이제 Akaike의 기준 인 고려해보십시오. 따라서 AIC는 "벌칙 기간에 대한 추가 회귀자가 암시하는 SSR 감소도 해결합니다" , '반대 방향을 가리 킵니다. 따라서 인 경우 선택하고 그렇지 않으면 선택하십시오 .

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

하여 3 번 줄에서 위의 증명을 계속 하면 가 일치하지 않는 것을 알 수 있습니다. . 따라서 조정 된 와 는 이 실제 모델 이더라도 양수 확률로 "대형"모델 을 선택합니다 . $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

AIC의 복잡성에 대한 패널티는 조정 된 보다 약간 크므 로 지나치게 선택하기가 쉽지 않을 수 있습니다. 그리고 그것은 내 게시물에서 다루지 않은 다른 좋은 속성 (KL이 실제 모델로 간주되지 않으면 KL의 발산을 최소화하는 것으로 간주)을 가지고 있습니다. $R^2$

— 크리스토프 행크
소스

1

좋은 답변 : 너무 무겁지는 않지만 여전히 정확합니다! 어제 거기 있었다면 나는 내 글을 게시하지 않았을 것입니다.

— Richard Hardy

ARMA-GARCH의 경우는 어떻습니까? 어떻게 것 MA와 GARCH 용어 amung 선택에서 무엇입니까?

R_{a d j}^{2}

$R^2_{adj}$

— Zachary Blumenfeld

나는 감히 말하지 않을 것입니다. 설명 하듯이 R2가 그러한 모델에 적합하다는 것이 무엇인지 명확하지 않습니다.

— Christoph Hanck

5

의 페널티 는 AIC 또는 BIC가 제시 한 모델 선택 측면에서 훌륭한 속성을 제공하지 않습니다. 의 페널티 는 회귀자가 실제로 모델에 속하지 않을 때 모집단의 추정치 로 만들기에 충분합니다 (Dave Giles의 블로그 게시물 "In What Sense "조정 된"R- 제곱 편견이 있습니까? " 및 " "조정 된"결정 계수의 특성에 대한 추가 정보 " ); 그러나 는 최적의 모델 선택기가 아닙니다. $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(모순으로 증거가있을 수 있습니다. 어떤 의미에서 AIC가 최적이고 다른 방법으로 BIC가 최적이고 가 둘 중 어느 것과도 일치하지 않으면 도 최적이 아닙니다. 이 두 감각의.) $R^2_{adj}$ $R^2_{adj}$

— 리차드 하디
소스

증가 하기 전에 몇 개의 GARCH 매개 변수를 추가해야 합니까? :) .... (MA 모델에서와 같이) 상관 오차를 가정 할 때 비슷한 주장을 할 수 있다고 생각합니다 .GLS 모델은 일반 최소 제곱에 대한 제곱 잔차의 합을 줄이지 않습니다. MA와 GARCH 모두에서 매개 변수 (설명 변수가 아닌 가 조정 됨)가 모델에 추가됩니다. MA 및 GARCH 매개 변수는 을 줄이기 위해 추가되지 않으며 , iid 오류 항의 부족을 반영하기 위해 가중 제곱 잔차 의 가중 합을 감소시키기 위해 다시 추가됩니다 .

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Zachary Blumenfeld

이것은 실제로 원래 게시물이나 내 답변을 다루고 있습니까? 어쨌든, 나는 당신의 요점에 동의합니다.

— Richard Hardy

내가 지적하려고했던 것은 그 정말이의 비율을 기준으로하기 때문에 (너무 가능성이 MA 구성 요소) GARCH 구성 요소에 따라 선택하는 데 사용할 수 없습니다 이상 추정량을 바이어스된다 오차항이 iid가 아닌 경우 분산 (이것은 당신이 이야기 할 때 편향의 특정 사례 일뿐입니다). ARMA-GARCH의 경우 증가하지 않기 때문에 데이터에 확률 변동성이 있어도 GARCH 구성 요소가있는 모델을 선택하지 않습니다 . 기본적으로 구체적인 예를 제시하여 귀하에게 동의합니다.

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld