ARIMA vs LSTM을 사용한 시계열 예측

내가 다루고있는 문제는 시계열 값을 예측하는 것입니다. 한 번에 하나의 시계열을보고 있으며 입력 데이터의 15 %를 기준으로 미래 값을 예측하고 싶습니다. 지금까지 나는 두 가지 모델을 보았습니다.

• LSTM (장기 단기 기억, 반복 신경망의 클래스)
• 아리마

나는 둘 다 시도하고 그들에 대한 기사를 읽었습니다. 이제 두 가지를 비교하는 방법에 대해 더 잘 이해하려고합니다. 내가 지금까지 찾은 것 :

1. 대량의 데이터를 처리하고 충분한 교육 데이터를 사용할 수있는 경우 LSTM이 더 잘 작동하지만 ARIMA는 더 작은 데이터 세트에 더 좋습니다 (정확합니까?).
2. ARIMA에는 (p,q,d)데이터를 기반으로 계산해야하는 일련의 매개 변수 가 필요하지만 LSTM에서는 이러한 매개 변수를 설정할 필요가 없습니다. 그러나 LSTM에 맞게 조정해야하는 일부 하이퍼 파라미터가 있습니다.
3. 편집 : 여기서 훌륭한 기사를 읽는 동안 주목 한 두 가지 주요 차이점은 ARIMA는 고정 시계열 (계절, 추세 등이없는 경우)에서만 잘 수행 할 수 있으며 다음과 같은 경우 처리해야한다는 것입니다 ARIMA를 사용하고 싶습니다

위에서 언급 한 속성 이외에도 최고의 모델을 선택하는 데 도움이되는 다른 요점이나 사실을 찾을 수 없었습니다. 누군가가 기사, 논문 또는 기타 물건을 찾는 데 도움을 줄 수 있다면 정말 감사 할 것입니다 (지금까지 운이 없었으며 여기저기서 일반적인 의견 만 있고 실험에 근거한 것은 없습니다).

원래 스트리밍 데이터를 다루고 있다고 언급해야하지만 지금 은 최대 크기가 20k 데이터 포인트 인 50 개의 데이터 세트 가 포함 된 NAB 데이터 세트를 사용하고 있습니다.

명령문 1은 정확하고 명령문 2는 정확하지만 정교화해야하며 계절 ARIMA에 대해서는 명령문 3이 올바르지 않습니다.

다음은 올바른 방향으로 당신을 가리킬 수 있지만 LSTM 분야에서 더 깊이있는 답변을 얻을 수 있기를 바랍니다.

두 알고리즘을 모두 시도했지만 어떤 알고리즘이 더 나은지 알아 내려고 노력하고 있다고 언급했습니다. 이로 인해 모델의 특정 기능보다 데이터 과학 프로세스 및 교차 유효성 검사에 더 많은 문제가 있다고 생각합니다.

일반적으로 시계열 :

시계열은 일반적으로 예측하기가 어렵습니다. 만약 그들이 예측하기 쉽다면 모든 데이터 과학자들은 부유 할 것이며 모든 주식의 가치를 정확하게 예측할 수있을 것입니다. 실제로 헤지 펀드는 평균적으로 시장을 능가하지 않으며 시계열 예측은 일반적으로 매우 열악하며 매우 짧은 기간에만 적용됩니다. 주요 문제는 소음이 많고, 숨겨진 영향이 많으며, 모델이 지나치게 단순하고, 영향력이 우리가 생각한대로 행동하지 않는다는 것입니다. 선형성과 비선형 성 사이의 상호 작용은 미묘하고 혼란 스럽습니다.

아리마

ARIMA에서 예측을 위해 고정 시계열이 필요하다는 평가에서 잘못되었습니다. 비 계절 ARIMA에는 ARIMA (p, d, q) 평활, 정상 성 및 예측을 제어하는 ​​데 도움이되는 세 가지 입력 값 이 있습니다.

• p는 자기 회귀 항의 수입니다.
• d는 정상성에 필요한 비 계절적 차이의 수이며
• q는 예측 방정식에서 지연된 예측 오류의 수입니다.

반대로 계절 ARIMA에는 6 개의 입력 값 ARIMA (p, d, q, P, D, Q)가 있습니다.

• P는 계절 자기 회귀 항의 수입니다.
• D는 계절적 차이의 수이며
• Q는 계절 이동 평균 용어 수입니다.

위의 자격 조건에 따라 계절 ARIMA를 사용하여 스무딩, 디시 닝, 디트 렌딩, 디 노이즈 및 예측과 관련된 복잡성을 느끼는 것이 좋습니다.

LSTM

여기에 추가 할 LSTM에 대해 충분히 알지 못합니다. 누군가가 딥 러닝으로 데이터 과학 연습을 시작할 때 적기가 발생하는 경향이 있다고 덧붙입니다. ARIMA를 사용하여 최대한 배우고 LSIMA를 배우기 위해 ARIMA 전문 지식을 적용하는 것이 좋습니다. 신경망은 매우 강력한 도구 일 수 있지만 다음과 같습니다.

• 달리는 데 시간이 오래 걸리고
• 종종 다른 모델보다 훈련하기 위해 더 많은 데이터가 필요합니다.
• 튜닝 할 입력 매개 변수가 많이 있습니다.

교차 검증 및 비교 모델 :

시계열은 모든 훈련 데이터가 일반적으로지도 학습 훈련 세트로 전환 될 수 있다는 점에서 재미 있습니다. 한 번만 시계열을 가져 가서 시간을 롤백 할 수 있습니다. 즉, 특정 시점을 선택하고 추가 데이터가없는 척한 다음 예측을 생성하고 실적을 확인하십시오. 당신은 할 수 있습니다 이 일을 시계열 행진 모델의 성능 평가를 얻기 위해 시간$n$ 과 복용하는 동안 모델을 비교하기 위해 필요한 예방 조치를 하는 overfitting을 방지 .

이것이 도움이되고 행운이 있기를 바랍니다!

@ AN6U5 님의 답변에 추가.

순전히 이론적 인 관점에서이 논문 은 RNN이 보편적 근사치임을 보여줍니다. 나는이 논문을 자세히 읽지 않았기 때문에 LSTM에도 그 증거를 적용 할 수 있는지 모르겠지만 그렇게 생각합니다. 일반적인 RNN의 가장 큰 문제 (LSTM 포함)는 그래디언트 탐색 및 그래디언트 소실 문제로 인해 훈련하기가 어렵다는 것입니다. LSTM의 실제 한계는 표준 경사 하강 및 임의 초기화와 함께 약 200 ~ 단계로 보입니다. 언급했듯이 일반적으로 모든 딥 러닝 모델이 제대로 작동하려면 많은 데이터와 많은 힙이 필요합니다.

ARIMA 모델이 더 제한적입니다. 당신의 기본 시스템이 너무 복잡하다면, 잘 맞는 것이 불가능합니다. 그러나 반면에 기본 모델이 충분히 단순하면 딥 러닝 방식보다 훨씬 효율적입니다.

ARIMA 모델은 선형이고 LSTM 모델은 비선형입니다. 통계학자가 연구 한 다른 일부 파라 메트릭 비선형 시계열 모델은 TAR (Threshold Autoregressive Models) 및 STAR (Smooth Transition Autoregressive Models)입니다. R 패키지 tsDyn은 이러한 모델을 구현합니다.

STAR 모델과 LSTM의 차이점이 궁금합니다.

나는 당신과 다른 사람들과 같은 결론에 도달했습니다. 전통적인 예측은 여전히 ​​가장 적합하고 시계열 숫자 값에 신뢰할 수 있습니다. 딥 러닝에는 숫자 값의 시계열이 딥 러닝에 혼합되고 딥 러닝 (현재)은 이미지, 사운드, 깨끗한 텍스트 또는 이상 감지에 대한 패턴 인식의 현대적인 문제에 적용되는 딥 러닝에는 약간의 출혈이 있습니다. 나는 매일 거래 데이터에 대해 VAR / VECM으로 종종 좋은 결과를 얻습니다. 이는 아마도 신호 처리 유스 케이스에 적용될 수 있습니다.

극단적 인 경우에, 나는 외환 (외환 환율) 예측에 대해 연구하고 LSTM, windowed-MLP 및 ARIMA의 성과를 집중적으로 비교할 기회를 가졌습니다. 많은 기사에서 알 수 있듯이 Forex 시계열은 랜덤 워크 시리즈에 가깝습니다 (완전히 정지하지는 않음). 이 알고리즘 중 어느 것도 다음 날의 스팟 속도를 예측할 수 없습니다. 예를 들어, 변경이 없거나 적은 경우 현재 값을 유지하고 적합하게 보입니다. 그러나 내일의 스팟 레이트에 갑작스런 (실질적인) 변화가 있다면 항상 예측할 수 없습니다. 문제는 훈련 데이터 (예를 들어, 지난 10 년의 현물 이력 내역)에서 충분히 크거나 그렇지 않은지 (아마도 교환 딜러의 감정으로 인해) 무작위이기 때문에 배울 점이 없다는 것입니다. .

실제로 '1'지연이있는 LSTM 또는 (1,0,0)이있는 ARIMA가 1 시간 이상 지연된 데이터를 저장해도 전혀 도움이되지 않기 때문에 최상의 성능을 발휘합니다. 이러한 종류의 시계열의 경우 추적 성능 측면에서 1) ARIMA, 2) LSTM, 3) MLP라고합니다. 마지막 논평 ... 거시적 / 미시적 경제 변수 (GDP 차이, 채권 금리, 원유 가격, 달러 지수 등)를 가진 MLP는 추가 기능도 전혀 작동하지 않았습니다.