피드 포워드와 반복 신경망의 차이점은 무엇입니까?

피드 포워드 와 반복 신경망 의 차이점은 무엇입니까 ?

왜 다른 것을 사용합니까?

다른 네트워크 토폴로지가 있습니까?

피드 포워드 ANN은 신호가 입력에서 출력으로 한 방향으로 만 이동할 수 있도록합니다. 피드백 (루프)이 없습니다. 즉 , 모든 레이어의 출력은 동일한 레이어에 영향을 미치지 않습니다. 피드 포워드 ANN은 입력을 출력과 연결하는 간단한 네트워크 인 경향이 있습니다. 패턴 인식에 광범위하게 사용됩니다. 이 유형의 조직을 상향식 또는 하향식이라고도합니다.

피드백 (또는 반복 또는 대화식) 네트워크는 네트워크에 루프를 도입하여 양방향으로 신호를 전달할 수 있습니다. 피드백 네트워크는 강력하고 매우 복잡 할 수 있습니다. 이전 입력에서 파생 된 계산은 네트워크로 피드백되어 일종의 메모리를 제공합니다. 피드백 네트워크는 동적입니다. 그들의 '상태'는 균형점에 도달 할 때까지 지속적으로 변화하고 있습니다. 입력이 변하고 새로운 평형을 찾아야 할 때까지 평형 점을 유지합니다.

피드 포워드 신경망은 예측 변수 또는 입력 변수 세트와 하나 이상의 응답 또는 출력 변수 간의 관계를 모델링하는 데 이상적입니다. 다시 말해, 여러 입력 변수가 출력 변수에 어떤 영향을 미치는지 알고 자하는 기능 매핑 문제에 적합합니다. MLP ( Multi-Layer Perceptron) 라고도하는 다층 피드 포워드 신경망 은 실제로 가장 널리 연구되고 사용되는 신경망 모델입니다.

피드백 네트워크의 예로 Hopfield의 네트워크를 기억할 수 있습니다 . Hopfield 네트워크의 주요 용도는 연관 메모리입니다. 연관 메모리는 입력 패턴을 받아들이고 입력과 가장 밀접하게 연관된 저장된 패턴으로 출력을 생성하는 장치입니다. 연관 메모리의 기능은 해당 저장된 패턴을 호출 한 다음 출력에서 ​​패턴의 명확한 버전을 생성하는 것입니다. 홉 필드 네트워크는 일반적으로 이진 패턴 벡터의 문제에 사용되며 입력 패턴은 저장된 패턴 중 하나의 노이즈 버전 일 수 있습니다. Hopfield 네트워크에서 저장된 패턴은 네트워크의 가중치로 인코딩됩니다.

코오 넨의 자기 조직지도(SOM)은 피드 포워드 멀티 레이어 네트워크와 현저히 다른 또 다른 신경망 유형을 나타냅니다. 피드 포워드 MLP의 교육과 달리 SOM 교육 또는 학습은 종종 SOM의 각 입력 패턴과 관련된 알려진 목표 출력이없고 교육 과정 중에 SOM 교육 또는 학습을 감독되지 않은 상태라고합니다. 가중치 조정을 통해 (차원 축소 및 데이터 클러스터링에 중요한 신경망 모델이 됨) 2 차원지도는 일반적으로 입력 간의 상호 관계 순서가 유지되는 방식으로 만들어집니다. 훈련 과정에 의해 생성 된 출력 분포에 기초하여 군집의 수와 구성을 시각적으로 결정할 수 있습니다. 학습 샘플에 입력 변수 만 있으면

(다이어그램은 Dana Vrajitoru의 C463 / B551 인공 지능 웹 사이트에서 제공 한 것 입니다.)

George Dontas가 ​​작성하는 내용은 정확하지만 오늘날 실제로 RNN을 사용하는 것은 시계열 / 순차 작업과 같은 간단한 문제로 제한됩니다.

$(i, t)$$i$$t$$i \in \mathcal{R}^n$$i$$i \in (\mathcal{R}^n)^*$

RNN은 망치로 측정 가능한 시퀀스 대 시퀀스 매핑을 나타낼 수있는 것으로 나타났습니다.

따라서 현재 RNN은 시계열 예측, 시퀀스 레이블링, 시퀀스 분류 등과 같은 모든 종류의 순차적 작업 에 사용되고 있습니다. RNN의 Schmidhuber 페이지에서 좋은 개요를 확인할 수 있습니다 .

이 질문을 할 때 정말 흥미로운 점은 무엇입니까?

대신 말하는 RNN와 FNN은 이름에 다릅니다. 그래서 그들은 다릅니다. 동적 시스템 모델링 측면에서 더 흥미로운 점은 RNN이 FNN과 크게 다릅니 까?

배경

이전 시간 지연 (FNN-TD) 과 같은 추가 기능을 갖춘 재귀 신경망과 피드 포워드 신경망 사이의 동적 시스템 모델링에 대한 논쟁이있었습니다 .

90 ~ 2010 년대의 논문을 읽은 후의 지식으로부터. 대부분의 문헌은 RNN이 동적 메모리를 사용하고 FNN-TD가 정적 메모리 라는 점에서 바닐라 RNN이 FNN보다 낫다는 것을 선호합니다 .

그러나이 두 가지를 비교하는 수치 연구는 많지 않습니다. 초기의 하나는 동적 시스템을 모델링 할 때 FNN-TD가 잡음 이 없을 때 바닐라 RNN과 비슷한 성능을 보여 주지만 잡음이 있을 때 조금 더 나쁘게 수행 한다는 것을 보여주었습니다 . 동적 시스템 모델링에 대한 경험에서 종종 FNN-TD가 충분하다는 것을 알았습니다.

RNN과 FNN-TD 간의 메모리 효과를 처리하는 방법의 주요 차이점은 무엇입니까?

$X_n, X_{n-1},\ldots,X_{n-k}$$X_{n+1}$

FNN-TD는 소위 메모리 효과를 치료하는 가장 일반적이고 포괄적 인 방법 입니다. 그것은 잔인하기 때문에 이론적으로 모든 종류, 모든 종류, 모든 메모리 효과를 다룹니다. 유일한 단점은 실제로 너무 많은 매개 변수를 사용한다는 것입니다.

RNN의 메모리는 이전 정보의 일반적인 "컨볼 루션"으로 표시됩니다 . 우리는 일반적으로 두 스칼라 시퀀스 사이의 컨볼 루션은 가역적 인 프로세스가 아니며 디컨 볼 루션은 종종 잘못 제기된다는 것을 알고 있습니다.

$s$

따라서 RNN은 실제로 컨볼 루션을 수행하여 이전 메모리 정보를 손실로 압축하는 반면, FNN-TD는 메모리 정보 손실없이 정보를 노출시킵니다. 숨겨진 단위 수를 늘리거나 바닐라 RNN보다 더 많은 시간 지연을 사용하여 컨벌루션의 정보 손실을 줄일 수 있습니다. 이런 의미에서 RNN은 FNN-TD보다 융통성이 있습니다. RNN은 FNN-TD와 같은 메모리 손실을 달성 할 수 없으며 매개 변수 수가 동일한 순서로 표시되는 것은 사소한 일입니다.

FNN-TD가 할 수 없지만 RNN이 오랜 시간 동안 효과를 내고 있다고 언급하고 싶을 수도 있습니다. 이를 위해 Takens 임베디드 이론에서 연속 자율 동적 시스템의 경우 FNN-TD에 임베디드 메모리가 존재하는 일반적인 속성으로 보이는 것처럼 보입니다. RNN의 메모리. RNN과 FNN-TD가 90 년대 초 연속 동적 시스템 예제에서 크게 다르지 않은 이유를 설명합니다.

이제 RNN의 이점에 대해 언급하겠습니다. 자율 동적 시스템의 경우 이전 용어를 더 많이 사용하지만 이론상 이전 용어가 적은 FNN-TD를 사용하는 것과 효과는 동일하지만 수치 적으로 노이즈에 더 강하다는 점에서 도움이 될 것입니다. [1]의 결과는이 의견과 일치합니다.

참고

[1] Gençay, Ramazan 및 Tung Liu. "피드 포워드 및 반복 네트워크를 통한 비선형 모델링 및 예측." Physica D : 비선형 현상 108.1-2 (1997) : 119-134.

[2] Pan, Shaowu 및 Karthik Duraisamy. "데이터 중심의 클로저 모델 발견." arXiv 프리 프린트 arXiv : 1803.09318 (2018).