«lstm» 태그된 질문

RNN (특히 LSTM 단위)의 작동 방식에 대한 기본 지식이 있습니다. LSTM 장치의 구조, 즉 셀과 몇 개의 게이트로 구성된 값의 흐름을 조절하는 그림 아이디어가 있습니다. 그러나 LSTM이 기존 RNN 인 시간 전파를 통해 훈련하는 동안 발생하는 "배니싱 및 폭발 그라디언트"문제를 해결하는 방법을 완전히 이해하지 못했습니다. 나는 수학을 완전히 이해하기 위해 …

13 neural-networks  lstm  rnn  backpropagation 

자연어 처리 (NLP) 작업의 경우 단어에 대한 포함으로 word2vec 벡터 를 종종 사용합니다 . 그러나, 단어 2vec 벡터에 의해 포착되지 않는 많은 알 수없는 단어가있을 수 있습니다. 단순히이 단어가 훈련 데이터에서 자주 보이지 않기 때문입니다 (많은 구현에서는 단어를 단어에 추가하기 전에 최소 개수를 사용합니다). 특히 단어의 철자가 틀린 Twitter와 같은 …

11 natural-language  word2vec  lstm  word-embeddings 

내가 다루고있는 문제는 시계열 값을 예측하는 것입니다. 한 번에 하나의 시계열을보고 있으며 입력 데이터의 15 %를 기준으로 미래 값을 예측하고 싶습니다. 지금까지 나는 두 가지 모델을 보았습니다. LSTM (장기 단기 기억, 반복 신경망의 클래스) 아리마 나는 둘 다 시도하고 그들에 대한 기사를 읽었습니다. 이제 두 가지를 비교하는 방법에 대해 더 …

10 time-series  forecasting  references  arima  lstm 

RNN의 아키텍처를 이해하려고합니다. 나는 매우 도움이되는이 튜토리얼을 찾았습니다 : http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 특히이 이미지 : 이것이 피드 포워드 네트워크에 어떻게 맞습니까? 이 이미지는 각 레이어의 다른 노드입니까?

10 neural-networks  lstm 

다른 많은 사람들이 가지고 있듯이 LSTM 셀을 이해하는 데 여기 와 여기 의 리소스 가 매우 유용하다는 것을 알았습니다 . 나는 가치가 어떻게 흐르고 업데이트되는지를 잘 알고 있으며 언급 된 "구멍 연결"등을 추가 할만큼 확신합니다. 예 내에서, I는 각 시간 단계에서의 길이의 입력 벡터가 i길이의 출력 벡터 o어디에, o < …

9 machine-learning  neural-networks  lstm  rnn 

다음 1 차원 시퀀스를 가정하십시오. A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... A, B, C, ..여기의 문자 는 '일반적인'이벤트를 나타냅니다. #, $, %, ...여기의 기호 는 '특별한'이벤트를 나타냅니다 모든 이벤트 사이의 시간 간격은 일정하지 않습니다 (몇 초에서 며칠까지). 과거 이벤트가 계속 …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining