시계열 데이터 모델링을 위해 LSTM ( long short-term memory ) 버전의 RNN (Recurrent Neural Network) 을 사용하려고 합니다. 데이터의 시퀀스 길이가 길수록 네트워크의 복잡성이 증가합니다. 따라서 어느 정도의 시퀀스가 좋은 정확도로 모델링 할 수 있을지 궁금합니다.
최신 방식을 구현하기가 어려운 비교적 간단한 LSTM 버전을 사용하고 싶습니다. 내 시계열의 각 관측치에는 4 개의 숫자 변수가있을 수 있으며 관측치 수는 약 100.000 ~ 1.000.000입니다.
답변:
그것은 데이터의 성격과 내부 상관 관계에 전적으로 달려 있으며, 경험 법칙은 없습니다. 그러나 많은 양의 데이터가있는 경우 2 계층 LSTM은 많은 시계열 문제 / 벤치 마크를 모델링 할 수 있습니다.
또한 전체 시리즈에 시간을 역 전파 전파하지 않고 일반적으로 (200-300) 마지막 단계로 전파합니다. 최적의 값을 찾으려면 그리드 검색 또는 베이지안 최적화를 사용하여 교차 유효성을 검사 할 수 있습니다. 또한 https://github.com/wojzaremba/lstm/blob/master/main.lua 에서 매개 변수를 확인할 수 있습니다 .
따라서 시퀀스 길이는 실제로 모델 교육에 영향을 미치지 않지만 더 많은 교육 예제가있는 것과 같습니다. 다시 설정하는 대신 이전 상태를 유지하면됩니다.
y. 이런 식으로 RNN은 BPTT를 위해 선택된 35 단계 이전의 무엇을 기준으로 가중치를 어떻게 조정합니까?