심층 신경망 계층을 Hopfield 네트워크로 볼 수 있습니까?

Hopfield 네트워크는 벡터를 저장하고 노이즈 버전의 벡터를 검색 할 수 있습니다. 모든 뉴런이 벡터 값과 동일하게 설정 될 때 에너지 기능을 최소화하기 위해 가중치를 설정하고 노이즈 버전을 입력으로 사용하여 벡터를 검색하고 네트가 에너지 최소값으로 설정되도록합니다.

네트가 가장 가까운 최소값에서 해결 될 것이라는 보장이 없다는 사실과 같은 문제를 버리고 – 결국 볼츠만 기계로 해결 된 문제와 역 전파 문제 – 돌파구는 추상적 표현을위한 출발점이었습니다. 동일한 문서의 두 가지 버전은 동일한 상태를 호출하며 네트워크에서 동일한 상태로 표시됩니다.

Hopfield 자신이 1982 년 논문에서 신경망 및 물리적 시스템을 출현 한 집단 계산 능력으로 쓴 것처럼

본 모델링은 개체 또는 게슈탈트가 그 특징들의 집합을 나타내는 입력에 기초하여 기억되거나 분류되는 방법과 관련 될 수있다.

다른 한편으로, 딥 러닝의 획기적인 발전은 입력에 대한 여러 계층 적 표현을 구축하는 능력으로 결국 AI 실무자들의 삶이 더 쉬워지고 기능 엔지니어링이 단순화되었습니다. (예 : 표현 학습 : 검토 및 새로운 관점 , Bengio, Courville, Vincent 참조).

개념적 관점에서 볼 때, 딥 러닝을 하나의 단일 표현에서 표현의 계층에 이르는 홉 필드 네트의 일반화로 볼 수 있다고 생각합니다.

계산 / 토폴로지 관점에서도 마찬가지입니까? 어떻게 "간단한"Hopfield 네트워크 (2 상태 뉴런, 무 방향 에너지 기능)를 고려하지 않고, 네트워크의 각 계층을 Hopfield 네트워크로 간주하고 전체 프로세스를 이전에 기억 된 게슈탈트의 순차적 추출 및 재구성 이 게슈탈트?

딥 러닝은 Hopfield 네트워크의 일반화가 아닙니다. 딥 러닝은 Rumelhart와 McClelland에 의해 시작된 신경망 / 연결 분야의 "일반화"입니다.

신경 네트워크에는 두 가지 종류가 있습니다.

• 감독 (Perceptron, MLP, ConvNets, RNN 등)
• 무 방향 (Hopfield Nets, Boltzmann Machines, 에너지 기반 모델 등)

이 중 하나라도 깊게 만들 수 있습니다. 당신이 말했듯이, Boltzmann 기계는 Hopfield Networks의 확률 적 버전이며 Hopfield nets보다 Deep Boltzmann 기계, Deep Belief Networks 및 심층 에너지 모델보다 이러한 모델을 심화시키는 작업이 훨씬 더 많습니다. Hinton은 실제로 이러한 모델에 대해 배우고 자하는 사람이지만 세 가지 모델을 비교 한이 문서 를 살펴볼 수 있습니다 .

Gestalt 조직에 대해 확실하지 않습니다. 나는 당신의 해석에 그것을 떠날 것 같아요.