LSTM의 장점은 무엇입니까?


12

Keras 패키지에 대한 지식을 넓히고 있으며 사용 가능한 모델 중 일부를 툴링하고 있습니다. 해결하려는 NLP 이진 분류 문제가 있으며 다른 모델을 적용하고 있습니다.

일부 결과로 작업하고 LSTM에 대해 점점 더 많은 것을 읽은 후에는이 접근법이 내가 시도한 다른 것 (여러 데이터 세트에서)보다 훨씬 우수한 것처럼 보입니다. "왜 LSTM을 사용 하지 않겠습니까?" 라고 계속 생각합니다 . LSTM 고유의 추가 게이트를 사용하면 사라지는 그라디언트를 겪는 일부 모델을 사용한 후 나에게 완벽하게 이해됩니다.

LSTM의 장점은 무엇입니까? 그들은 어디에서 그렇게 잘하지 않습니까? "모두에 맞는"알고리즘이 없다는 것을 알고 있으므로 LSTM의 단점이 있어야합니다.


GRU를 사용해보십시오. LSTM과 비슷하지만 적은 메모리가 필요하고 더 빨리 훈련합니다.
Vivek Khetan

답변:


11

LSTM이 일부 문제에 대해 매우 잘 작동하는 것이 맞지만 몇 가지 단점은 다음과 같습니다.

  • LSTM은 훈련하는 데 시간이 더 걸린다
  • LSTM은 훈련에 더 많은 메모리가 필요합니다
  • LSTM은 과적 합하기 쉽다
  • LSTM에서 드롭 아웃을 구현하기가 훨씬 어렵습니다.
  • LSTM은 다른 임의 가중치 초기화에 민감합니다

예를 들어 이것들은 1D 전환과 같은 간단한 모델과 비교됩니다.

처음 세 항목은 LSTM에 더 많은 매개 변수가 있기 때문입니다.


3
동의합니다. 과적 합 (일명 열악한 일반화)이 아마도 가장 큰 위험이라고 생각합니다. 모델 유효성 검사를 수행하기위한 좋은 전략이 있는지 확인하십시오.
tom
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.