오토 인코더 신경망의 기원은 무엇입니까?

Google, Wikipedia, Google Scholar 등을 검색했지만 자동 인코더의 출처를 찾을 수 없습니다. 어쩌면 그것은 매우 점진적으로 진화 한 개념 중 하나 일 것입니다. 분명한 출발점을 찾아내는 것은 불가능하지만 여전히 개발의 주요 단계에 대한 요약을 찾고 싶습니다.

autoencoders 장 이안 Goodfellow, 요 수아 벤 지오와 아론 Courville의 깊은 학습 책은 말합니다 :

오토 인코더에 대한 아이디어는 수십 년 동안 신경망의 역사적 지형의 일부였습니다 (LeCun, 1987; Bourlard and Kamp, 1988; Hinton and Zemel, 1994). 전통적으로, 자동 엔코더는 차원 ​​축소 또는 기능 학습에 사용되었습니다.

이 프리젠 테이션 파스칼 빈센트에 의해 말한다 :

클래식 오토 인코더를 사용한 노이즈 제거는 Hopfield 네트워크의 대안으로 실제로 훨씬 이전에 소개되었습니다 (LeCun, 1987; Gallinari et al., 1987) (Hopfield, 1982).

이것은 "클래식 오토 인코더"가 그 이전에 존재했음을 암시하는 것 같습니다 : LeCun과 Gallinari는 그것들을 사용했지만 그것들을 발명하지는 않았습니다. 1987 년 이전에는 "클래식 자동 인코더"의 흔적이 없습니다.

어떤 아이디어?

"는 Schmidhuber에서 제공하는 역사에 따르면, 신경 네트워크의 깊은 학습 : 개요 ," 신경 회로망 (2015), 자동 인코더는 "신경 네트워크의 모듈 형 학습"는 발라드의 자율 사전 훈련을위한 방법으로 제안 된 절차 AAAI (1987). 그러나 이것이 자동 엔코더가 처음 사용 된 것인지는 확실하지 않습니다. ANN 사전 교육 목적으로 사용 된 것은 이번이 처음 입니다.

Schmidhuber 기사에 대한 소개가 명확 해지면서 문헌이 다양하고 용어가 시간이 지남에 따라 발전했기 때문에 ANN에 사용 된 모든 아이디어를 설명하기가 다소 어렵습니다.

아래의 논문은 자동 인코더에 대해 간접적으로 이야기하고 1986 년으로 거슬러 올라갑니다 (1987 년 Ballard의 논문보다 1 년 빠름).

DE Rumelhart, GE Hinton 및 RJ Williams, "오류 전파를 통한 내부 표현 학습" 병렬 분산 처리. 1 권 : 기초. 1986 년 메사추세츠 캠브리지 MIT Press.

이 논문은 기본적으로 당시의 새로운 종류의 피드 포워드 네트워크와 그 수학적 형식에 대해 설명합니다.