저는 RNN (Recurrent Neural Networks)을 처음 접하면서도 개념을 배우고 있습니다. ESN (Echo State Network)은 입력이 제거 된 후에도 일련 의 입력, 즉 신호 를 (재) 생성 할 수 있다는 추상적 인 수준에서 이해 합니다. 그러나 나는 Scholarpedia 기사를 완전히 이해하고 이해하기가 너무 어렵다는 것을 알았 습니다.
누군가가 가장 간단한 형태로 학습이 수학적으로 어떻게 작동하는지 설명해 줄 수 있습니까?
답변:
에코 스테이트 네트워크는보다 일반적인 Reservoir Computing 개념의 예입니다 . ESN의 기본 아이디어는 RNN의 이점을 얻는 것 (서로 의존하는 입력 시퀀스, 즉 신호와 같은 시간 종속성 처리)을 없애지 만 사라지는 기울기 문제 와 같은 전통적인 RNN을 훈련시키는 데에는 문제가 없습니다 .
ESN은 시그 모이 드 전달 함수 (100-1000 단위와 같은 입력 크기와 관련됨)를 사용하여 스파 스하게 연결된 뉴런의 비교적 큰 저장소를 가짐으로써이를 달성합니다. 저장소의 연결은 한 번 할당되며 완전히 임의적입니다. 저수지 무게는 훈련되지 않습니다. 입력 뉴런은 저수지에 연결되고 입력 활성화를 저수지에 공급합니다-이것도 훈련되지 않은 무작위 가중치가 할당됩니다. 훈련 된 유일한 가중치는 저수지를 출력 뉴런에 연결하는 출력 가중치입니다.
훈련 과정에서 입력은 저수지로 공급되고 교사 출력은 출력 장치에 적용됩니다. 저수지 상태는 시간이 지남에 따라 캡처되어 저장됩니다. 모든 훈련 입력이 적용되면, 캡처 된 저수지 상태와 목표 출력 사이에 간단한 선형 회귀 적용을 사용할 수 있습니다. 이러한 출력 가중치는 기존 네트워크에 통합되어 새로운 입력에 사용될 수 있습니다.
아이디어는 저수지의 희소 무작위 연결이 이전 상태가 지나간 후에도 "에코"를 허용하므로 네트워크가 훈련 된 것과 유사한 새로운 입력을 수신하면 저수지의 역학이 시작됩니다. 입력에 적합한 활성화 궤적을 따르십시오. 그런 식으로 훈련 된 것에 일치하는 신호를 제공 할 수 있으며, 잘 훈련되면 이미 본 것에서 이해할 수있는 활성화 궤적에 따라 일반화 할 수 있습니다 저수지를 운전하는 입력 신호가 주어집니다.
이 방법의 장점은 대부분의 가중치가 한 번만 무작위로 할당되기 때문에 매우 간단한 교육 절차입니다. 그러나 시간이 지남에 따라 복잡한 역학을 포착 할 수 있으며 역학 시스템의 속성을 모델링 할 수 있습니다. 내가 ESN에서 찾은 가장 유용한 논문은 다음과 같습니다.
Herbert Jaeger (RSN의 Scholarpedia 페이지 큐레이터)의 RNN 교육에 대한 자습서
Mantas Lukoševičius의 에코 상태 네트워크 적용에 대한 실용 가이드
둘 다 형식화와 함께 설명을 이해하기 쉽고 적절한 매개 변수 값을 선택하기위한 지침으로 구현을 작성하기위한 뛰어난 조언을 제공합니다.
업데이트 : Goodfellow, Bengio 및 Courville 의 Deep Learning 책 에는 Echo State Networks에 대한 약간 더 자세하지만 여전히 높은 수준의 토론이 있습니다. 10.7 절은 사라지는 (그리고 폭발적인) 그래디언트 문제와 장기적인 의존성 학습의 어려움에 대해 설명합니다. 섹션 10.8은 모두 에코 상태 네트워크에 관한 것입니다. 적절한 스펙트럼 반경 값 을 갖는 저수지 중량을 선택하는 것이 왜 중요한지에 대해 구체적으로 설명 합니다. 비선형 활성화 장치와 함께 작동하여 시간이 지남에 따라 정보를 계속 전파하면서 안정성을 장려합니다.
ESN에서 학습하는 것이 가중치를 조정하는 것이 가장 중요하지는 않지만, 출력 계층은 각각 네트워크가 가지고있는 현재 상태에 대해 어떤 출력을 생성 할지를 학습합니다. 내부 상태는 네트워크 역학을 기반으로하며 동적 저장소 상태라고합니다. 저수지 상태가 어떻게 형성되는지 이해하려면 ESN의 토폴로지를 살펴 봐야합니다.
입력 장치는 내부 장치 (저수지 장치)의 뉴런에 연결되며 가중치는 무작위로 초기화됩니다. 저수조 장치는 무작위로 드물게 연결되며 임의의 무게를가집니다. 출력 장치는 또한 모든 저장소 장치에 연결되어 저장소 상태를 수신하고 해당 출력을 생성합니다.
교육이 어떻게 작동하는지 설명하기 전에 몇 가지 사항을 설명하고 정의해야합니다.
변수 정의 :
마지막으로 훈련 은 어떻게 작동합니까?
학습 속도가 매우 빠르기 때문에 많은 네트워크 토폴로지를 사용하여 적합한 것을 얻을 수 있습니다.
ESN 의 성능 을 측정 하려면
스펙트럼 반경 및 ESN
Spec-tral