심층 신경망에서 최소 레이어 수

다중 계층 신경망을 심층 신경망으로 분류하거나 다른 방법으로 '심층 신경망에서 최소 레이어 수는 얼마입니까?'

"딥"은 마케팅 용어입니다. 따라서 다층 신경 네트워크를 마케팅해야 할 때마다 사용할 수 있습니다.

"깊은"
가장 초기의 깊은 신경망 중 하나는 세 개의 밀집된 숨겨진 계층을 가지고있다 ( Hinton et al. (2006) ).

"매우 깊은"
2014 년에 "매우 깊은"VGG netowrks Simonyan et al. (2014) 는 16 개 이상의 숨겨진 레이어로 구성됩니다.

"Extremely Deep"
2016 년에는 "극도로 깊은"잔여 네트워크 He et al. (2016) 은 50 개에서 1,000 개 이상의 숨겨진 레이어로 구성됩니다.

문헌에 따르면

Schmidhuber, J. (2015). "신경망에서의 딥 러닝 : 개요". 신경망. 61 : 85-117. arXiv : 1404.7828 무료로 읽을 수 있습니다. doi : 10.1016 / j.neunet.2014.09.003.

https://ko.wikipedia.org/wiki/Deep_learning

라고한다

딥 러닝에서 얕은 학습을 나누는 깊이의 임계 값에 대해 보편적으로 합의 된 것은 없지만, 현장의 대부분의 연구자들은 딥 러닝에는 여러 비선형 레이어 (CAP> 2)가 있으며 Schmidhuber는 CAP> 10을 매우 딥 러닝으로 간주합니다

입력에서 출력으로의 변환 체인은 신용 할당 경로 또는 CAP입니다. 피드 포워드 신경망의 경우, CAP의 깊이 및 따라서 네트워크의 깊이는 숨겨진 계층의 수에 1을 더한 것입니다.