최근에 LSTM에 관심을 갖게되었으며 시간이 지남에 따라 가중치가 공유된다는 사실에 놀랐습니다.
시간이 지남에 따라 가중치를 공유하면 입력 시간 시퀀스가 가변 길이가 될 수 있습니다.
공유 가중치를 사용하면 훈련 할 매개 변수가 훨씬 적습니다.
내 이해에서 LSTM을 다른 학습 방법과 비교하는 이유는 데이터에 배우고 싶은 시간적 / 순차적 구조 / 의존성이 있다고 생각하기 때문입니다. 가변 길이 '럭셔리'를 희생하고 계산 시간이 길어지면 공유 가중치가없는 RNN / LSTM (즉, 매 단계마다 다른 가중치가 있음)이 더 잘 수행되지 않거나 내가 누락 된 것이 있습니까?
답변:
허용되는 답변은 질문의 실질적인 측면에 중점을 둡니다. 매개 변수가 공유되지 않으면 많은 리소스가 필요합니다. 그러나 RNN에서 매개 변수를 공유하기로 결정한 것은 심각한 계산이 문제가 되었을 때 (1980 년대 위키 에 따르면 ) 이루어 졌으므로 주요 주장이 아니라고 생각합니다 (아직도 유효합니다).
매개 변수 공유에 대한 이론적 인 순수한 이유가 있습니다.
길이가 다른 예에 모델을 적용하는 데 도움이됩니다. 시퀀스를 읽는 동안 RNN 모델이 훈련 중 각 단계마다 다른 매개 변수를 사용하는 경우 길이가 다른 보이지 않는 시퀀스를 일반화하지 않습니다.
종종 시퀀스는 시퀀스 전체에서 동일한 규칙에 따라 작동합니다. 예를 들어 NLP에서 :
"월요일 눈이 내렸다"
"월요일 눈이왔다"
...이 두 문장은 세부 사항이 순서의 다른 부분에 있지만 동일한 것을 의미합니다. 매개 변수 공유는 각 단계에서 동일한 작업을 수행하고 있다는 사실을 반영하므로 문장의 각 지점에서 규칙을 다시 배울 필요가 없습니다.
LSTM은 이런 의미에서 다르지 않으므로 공유 매개 변수도 사용합니다.
'공유 가중치'관점은 피드 포워드 네트워크가 시간이 지남에 따라 풀린 RNN에 대한 생각에서 비롯됩니다. 각 순간에 가중치가 다른 경우 이는 피드 포워드 네트워크 일뿐입니다. 그러나 다른 방법으로 생각할 때 가중치가 시간에 따라 변하는 RNN (가변 길이 시퀀스 처리 기능을 유지할 수 있음)이라고 생각합니다.
이렇게하면 시간 단계 수에 따라 매개 변수 수가 선형으로 늘어납니다. 이는 길이가 매우 긴 시퀀스에 대한 매개 변수가 크게 폭발 한 것입니다. 네트워크를 실행하는 데 엄청난 양의 컴퓨팅 리소스가 있고이를 제한하기 위해 대규모 데이터가 있다면 실제로 네트워크를 더욱 강력하게 만들 것입니다. 긴 시퀀스의 경우 계산이 불가능하고 오버 피팅 될 수 있습니다. 실제로 사람들은 일반적으로 시간이 지남에 따라 잘린 역 전파를 실행하여 반대 방향으로 진행합니다. 이는 전체 시퀀스가 아닌 짧은 시간 동안 네트워크를 풀기 만합니다. 이것은 계산 타당성을 위해 수행됩니다. 흥미롭게도, 반복 단위가 이전부터 메모리를 저장할 수 있기 때문에 RNN은 절단 길이를 넘어 확장되는 시간적 구조를 여전히 배울 수 있습니다.
숨겨진 숨겨 지은 되풀이 (및 시간 공유 가중치)가있는 RNN은 Universal Turing Machine과 동일하므로 시간 단계마다 다른 가중치를 부여해도 더 강력하지는 않습니다.