선형 회귀 모델에서 LASSO, 릿지 및 탄성 그물 유형의 정규화를 알고 있습니다.

질문:

이 (또는 유사한) 불이익 추정을 ARIMA 모델링에 적용 할 수 있습니까 (빈 부분이 아닌 MA 부분이 있는가)?

$p_{max}$ $q_{max}$ $p \leqslant p_{max}$ $q \leqslant q_{max}$

추가 질문 은 다음과 같습니다.

모든 항을 ( , ) 까지 포함 할 수 있지만 계수의 크기에 불이익을 줄 수 있습니까 (잠재적으로는 0까지)? 말이 되겠습니까? $p_{max}$ $q_{max}$
그렇다면 R 또는 다른 소프트웨어로 구현 되었습니까? 그렇지 않다면 어떤 문제가 있었습니까?

다소 관련된 게시물은 여기 에서 찾을 수 있습니다 .

— 리차드 하디
소스

아주 좋은 질문은 +1입니다. P, Q는 이산 값이므로 최적의 P, Q 순서를 찾기 위해 그리드 검색을 수행하는 것이 더 효율적일 수 있습니까?

— 예측 자

나는 당신이 그것을 좋아해서 기쁘다! 그렇습니다. 그리드 검색은 프레임 워크에서 "일반적인 것"이라고하는 옵션 중 하나입니다. 한 가지의 가능한 조합의 격자를 통해 검색 할 수있다 에서 에 대한 . 그러나 이것은 여전히 "일반 프레임 워크"의 일부입니다. 대안으로, 나는 모든 지연 을 유지하면서 계수의 크기를 페널티하는 데 관심이 있습니다.

(p, q)

$(p,q)$

(0, 0)

$(0,0)$

(p_{m a x}, q_{m a x})

$(p_{max},q_{max})$

— Richard Hardy

columbia.edu/~sn2294/papers/forecast.pdf LASSO는 최대 값을 올리는 대신 일부 지연을 건너 뛸 수 있기 때문에 더 잘 작동합니다. AIC에서도 동일하게 수행 할 수 있지만 계산 비용이 많이 듭니다.

— Cagdas Ozgenc

@CagdasOzgenc, 나는 종이를 훑어 보았지만 ARIMA 모델에 적용된 정규화를 다루지는 않는 것 같습니다 (정보 기준의 맥락에서 ARMA 모델을 언급하지만). 논문의 어느 부분이 내 질문과 관련이 있는지 알려 주시겠습니까?

— Richard Hardy

5.3 표에는 ARMAX 모델이 포함되어 있습니다. 결과는 ARMA 모델에 적용됩니다.

— Cagdas Ozgenc

답변 질문 1.

Chen & Chan "Adaptive Lasso를 통한 서브 세트 ARMA 선택" (2011) *에서는 계산이 필요한 최대 우도 추정을 피하기위한 해결 방법을 사용합니다. 신문을 인용해서

시계열의 적응 올가미 회귀 피팅에 의해 최적의 서브 세트 ARMA 모델을 찾을 제안 자체 시차에 상기 긴 자기 회귀 피팅으로부터 얻어지는 잔차들 들. <...> [U] 더 온화한 규칙 성 조건에서 제안 된 방법은 오라클 특성을 달성합니다. 즉, 샘플 크기가 무한대로 증가함에 따라 확률이 1 인 경향이있는 올바른 서브 세트 ARMA 모델을 식별하고 <...> 0이 아닌 계수의 추정기는 0의 계수가 선험적으로 알려진 경우와 동일하게 제한 분포를 갖는 무증상 정상이다. $y_t$ $y_t$

선택적으로 선택된 하위 집합 ARMA 모델에 대한 최대 가능성 추정 및 모델 진단을 제안합니다.

$L_1$

y_{t} = \sum_{l = 1}^{p} Φ_{l} y_{t - l} + \sum_{m = 1}^{q} Θ_{m} ε_{t - m} + ε_{t}

$y_t = \sum_{l=1}^p \Phi_l y_{t-l} + \sum_{m=1}^q \Theta_m \varepsilon_{t-m} + \varepsilon_t$

p

$p$

q

$q$

1 단계에서는 VARMA 모델을 고차 VAR 모델로 근사하고 자동 회귀 매개 변수에 지연 기반 계층 그룹-래소 페널티를 배치하는 계층 VAR 추정기를 사용하여 VARMA 모델을 추정합니다.
(지연 순서는 설정되어 있습니다. $\lfloor 1.5\sqrt{T} \rfloor$ $||y-\hat y||_2^F$
$\hat\varepsilon := y - \hat y$
$y_{t} = \sum_{l = 1}^{\hat{p}} Φ_{l} y_{t - l} + \sum_{m = 1}^{\hat{q}} Θ_{m} {\hat{ε}}_{t - m} + u_{t},$ $y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$
$\hat p$ $\hat q$ $\lfloor 1.5\sqrt{T} \rfloor$

Wilms et al. 되고 는 R 패키지에 구현 "일류" .

참고 문헌

Chen, K., & Chan, KS (2011). 적응 형 올가미를 통한 서브 세트 ARMA 선택. 통계 및 인터페이스 , 4 (2), 197-205.
Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). 고차원 벡터 자동 회귀 이동 평균의 스파 스 식별 및 추정. arXiv 프리 프린트 arXiv : 1707.09208.

^{* 링크에 대한 @hejseb에게 감사합니다.}

— 리차드 하디
소스

이 작업 논문은 매우 신선하며 어제 arXiv에 게시되었습니다.

— Richard Hardy

파이썬이나 R에 구현이 있습니까?

— David Masip

@DavidMasip, R 구현에 대한 업데이트 된 게시물을 참조하십시오.

— Richard Hardy

ARIMA 모델의 정규화

답변 질문 1.