시계열 예측에 딥 러닝 사용

나는 딥 러닝 분야에서 새로운 것이었고 첫 번째 단계는 deeplearning.net 사이트에서 흥미로운 기사를 읽는 것이 었습니다. 딥 러닝에 관한 논문에서 Hinton과 다른 사람들은 대부분 이미지 문제에 적용하는 것에 대해 이야기합니다. 누군가 내게 대답하려고 할 때 시계열 값 (재무, 인터넷 트래픽 등)을 예측하는 문제에 적용 할 수 있습니까? 가능한 경우 집중해야 할 중요한 사항은 무엇입니까?

순차적 데이터에 대한 딥 러닝 방법을 적응시키는 작업이 진행되었습니다. 이 작업의 많은 부분은 RBM (제한된 볼트 볼트 머신) 또는 오토 인코더와 유사한 방식으로 쌓여 깊은 신경망을 형성 할 수있는 "모듈"개발에 중점을 두었습니다. 아래에서 몇 가지를 강조하겠습니다.

• 조건부 RBM : 아마도 시계열에 대한 딥 러닝의 가장 성공적인 응용 프로그램 중 하나 일 것입니다. Taylor는 RBM과 같은 모델을 개발하여 가시적 유닛간에 시간적 상호 작용을 추가하고이를 모델링 모션 캡처 데이터에 적용합니다. 본질적으로 당신은 숨겨진 유닛에 의해 추가 된 비선형 성을 가진 선형 동적 시스템과 같은 것으로 끝납니다.
• 시간적 RBM : 그의 논문에서 (3 장) Ilya Sutskever는 단위들 사이의 시간적 상호 작용을 갖는 여러 가지 RBM과 유사한 모델을 개발합니다. 그는 또한 SGD를 이용한 재발 신경망 훈련이 좋은 초기화와 운동량에 대해 약간 수정 된 방정식을 사용하여 Martens의 Hessian-free 알고리즘과 같은 더 복잡한 방법보다 더 잘 수행 할 수 있다는 흥미로운 결과를 제시합니다.
• 재귀 자동 인코더 : 마지막으로 구문 분석에 재귀 자동 인코더를 사용하는 Richard Socher의 작업에 대해 언급하겠습니다. 이것은 시계열이 아니지만 분명히 관련이 있습니다.

예, 시계열 예측에 딥 러닝을 적용 할 수 있습니다. 실제로, 예를 들어 이미 여러 차례 수행되었습니다.

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

이것은 실제로는 "특별한 사례"가 아니며, 딥 러닝은 주로 전처리 방법 (생성 모델 기반)에 관한 것이므로 "전통적인 의미"에서 하나의 딥 러닝을 할 때 집중하는 것과 똑같은 것에 집중해야합니다. 딥 러닝없이 시계열 예측을 수행하는 동안 집중할 수 있습니다.

반복 신경망은 일종의 딥 러닝 (DL) 유형으로 간주됩니다. 그것들은 (1d) 시퀀스-투-시퀀스 학습에 가장 인기있는 DL 도구라고 생각합니다. 그들은 현재 NMT (Neural Machine Translation) 접근 방식의 기초입니다 (2014 년 LISA (UdeM), Google 및 아마도 내가 기억하지 못하는 다른 사람들에서 개척되었습니다).

Recurrent Neural Networks를 사용한 Alex Graves의 시퀀스 생성 은 반복 네트워크 및 장기 단기 메모리 셀을 사용하여 텍스트를 예측하고 필기 합성을 수행합니다.

Andrej Karpathy는 처음부터 문자 수준 시퀀스를 생성 하는 방법에 대한 블로그를 작성했습니다 . 그는 자습서에서 RNN을 사용합니다.

더 많은 예를 보려면 Hochreiter, S. 및 Schmidhuber, J. (1997)를 참조하십시오. 장기 단기 기억. 신경 계산, 9 (8), 1735-1780.

아마도 이것이 도움이 될 것입니다 :

• I. Sutskever, O. Vinyals 및 QV V Le, 신경 정보 처리 시스템의 발전, 2014, pp. 3104-3112에서“신경망을 사용한 시퀀스 학습의 순서”.

이 백서 또는 문장의 문장과 같은 데이터에 정확한 시간 범위를 정의한 경우 LSTM을 사용해도 문제가되지 않지만 명확하지 않고 상황을 잘 인식하는 시간 범위를 찾는 방법을 잘 모르겠습니다. 이에 대한 예는 사용자가보고있는 로그 데이터의 수와 관련이 있으며 분명하지 않습니다.