반복 신경망이란 무엇입니까?
답변:
재발 성 신경망 (RNN)은 뇌에서 뉴런의 주기적 연결성에 의해 영감을 얻은 인공 신경망 아키텍처 클래스입니다. 반복 함수 루프를 사용하여 정보를 저장합니다.
이 책의 그림을 사용하는 전통적인 신경망과의 차이점 :
그리고 RNN :
피드 포워드 신경망 연결은주기를 형성하지 않습니다. 이 조건을 완화하고 주기적 연결을 허용하면 반복적 인 신경망 (RNN)을 얻습니다. 아키텍처의 숨겨진 계층에서 볼 수 있습니다.
다층 퍼셉트론과 RNN의 차이는 사소한 것처럼 보일 수 있지만 시퀀스 학습에 대한 의미는 광범위합니다. MLP는 입력에서 출력 벡터 로만 매핑 할 수있는 반면 RNN은 원칙적 으로 이전 입력 의 전체 기록에서 각 출력으로 매핑 할 수 있습니다 . 실제로, MLP에 대한 보편적 근사 이론과 동등한 결과는 충분한 수의 숨겨진 단위를 가진 RNN이 임의의 정확도에 대해 측정 가능한 시퀀스-시퀀스 매핑에 근사 할 수 있다는 것입니다.
중요한 테이크 아웃 :
반복적 인 연결을 통해 이전 입력의 '메모리'가 네트워크의 내부 상태로 유지되어 네트워크 출력에 영향을줍니다.
장점 측면에서 말하는 것은 둘 다 최신 기술이며 특정 작업에 특히 적합하므로 적합하지 않습니다. RNN이 수행하는 광범위한 작업 범주는 다음과 같습니다.
시퀀스 라벨링
시퀀스 라벨링의 목표는 고정 알파벳에서 가져온 라벨 시퀀스를 입력 데이터 시퀀스에 할당하는 것입니다.
예 : 음성 단어 (음성 인식) 또는 손 제스처 (제스처 인식)가있는 일련의 비디오 프레임으로 음향 기능 시퀀스를 녹음합니다.
시퀀스 라벨링의 일부 하위 작업은 다음과 같습니다.
시퀀스 분류
라벨 서열은 길이 1로 제한된다. 각 입력 시퀀스가 단일 클래스에 할당되므로이를 시퀀스 분류라고합니다. 서열 분류 작업의 예는 단일 음성 작업의 식별 및 개별 필기 문자의 인식을 포함한다.
세그먼트 분류
세그먼트 분류는 대상 시퀀스가 여러 레이블로 구성되어 있지만 레이블의 위치, 즉 레이블이 적용되는 입력 세그먼트의 위치가 미리 알려진 작업을 말합니다.
재발 성 뉴럴 네트워크 (RNN)는 인 인공 신경망 피드 포워드 신경망 (FFNN) 에서처럼 단지 갖는 순방향 연결 반대로, 후방으로 또는 자체의 연결을 포함한다. 형용사 "반복"은 따라서 이러한 네트워크에서 루프를 생성하는 역방향 또는 자체 연결을 말합니다.
RNN은 역방향 전파 또는 자체 연결이 이전에 입력을 "기억"하도록 시간 전파 (BBTT) 를 사용하여 학습 할 수 있습니다. 따라서 이러한 연결은 주로 일련의 입력 요소 사이의 시간적 관계를 추적하는 데 사용되므로 RNN이 시퀀스 예측 및 유사한 작업에 매우 적합합니다.
여러 RNN 모델이 있습니다 (예 : LSTM 또는 GRU 장치가있는 RNN). LSTM (또는 GRU)은 단일 장치가 "일반 RNN"의 장치보다 복잡한 변환을 수행하는 RNN으로, 입력의 선형 변환을 수행 한 다음 비선형 함수 (예 : ReLU)를 적용합니다. 선형 변환. 이론적으로 "일반 RNN"은 LSTM 장치가있는 RNN만큼 강력합니다. 실제로, 그들은 "배니싱 및 폭발 그라디언트"문제로 고통 받고 있습니다. 따라서 실제로 LSTM (또는 유사한 정교한 반복 단위)이 사용됩니다.