반복 신경망을 어떻게 서열 분류에 사용할 수 있습니까?

RNN은 예측 또는 시퀀스 대 시퀀스 매핑에 사용될 수 있습니다. 그러나 RNN을 어떻게 분류에 사용할 수 있습니까? 우리는 전체 시퀀스에 하나의 레이블을 부여합니다.

이 그림 ( source )이 보여주는 것처럼 RNN을 사용하여 여러 입력을 단일 입력 (라벨)에 매핑 할 수 있습니다 .

각 사각형은 벡터이며 화살표는 함수를 나타냅니다 (예 : 행렬 곱하기). 입력 벡터는 빨간색, 출력 벡터는 파란색 및 녹색 벡터는 RNN의 상태를 유지합니다 (더 자세한 내용은 곧 설명). 왼쪽에서 오른쪽으로 : (1) 고정 크기 입력에서 고정 크기 출력 (예 : 이미지 분류)에 이르기까지 RNN이없는 바닐라 처리 모드. (2) 시퀀스 출력 (예 : 이미지 캡션은 이미지를 가져와 단어 문장을 출력합니다). (3) 시퀀스 입력 (예 : 주어진 문장이 긍정적 또는 부정적 감정을 표현하는 것으로 분류되는 감정 분석). (4) 시퀀스 입력 및 시퀀스 출력 (예 : 기계 번역 : RNN은 영어로 문장을 읽은 다음 프랑스어로 문장을 출력합니다). (5) 동기화 된 시퀀스 입력 및 출력 (예 : 비디오의 각 프레임에 레이블을 지정하려는 비디오 분류).

간단한 RNN의 경우 전체 시퀀스를 네트워크에 공급 한 다음 마지막 시퀀스 요소에서 클래스 레이블을 출력하십시오 ( 이 백서 및이 방법의 초기 예는 여기 참조). 훈련 단계에서 마지막 시퀀스 요소부터 시퀀스 시작까지 시간에 따른 오류를 백프로 포지션 할 수 있습니다. 일반적으로 이는 시퀀스의 일부 요소에만 레이블을 할당해야하는 RNN 시퀀스 레이블 문제와 다르지 않습니다 (또는 다른 모든 요소는 OTHER로 레이블이 지정됨).