학습 시스템의 어떤 수정 가능한 구성 요소가 성공 또는 실패를 담당합니까? 어떤 변화가 성능을 향상 시킵니까? 이것을 근본적인 신용 할당 문제라고 부릅니다 (Minsky, 1963). 다양한 이론적 의미에서 시간 최적화 된 범용 문제 해결사에 대한 일반적인 신용 할당 방법이 있습니다 (섹션 6.8). 그러나 이번 조사는 인공 신경망 (NN)에서 딥 러닝 (Deep Learning, DL)의 더 좁지 만 상업적으로 중요한 서브 필드에 초점을 맞출 것이다.
표준 신경망 (NN)은 뉴런이라고하는 단순하고 연결된 많은 프로세서로 구성되며, 각각은 실제 활성화 된 활성화 시퀀스를 생성합니다. 입력 뉴런은 환경을 인식하는 센서를 통해 활성화되고 다른 뉴런은 이전에 활성화 된 뉴런의 가중치 연결을 통해 활성화됩니다 (2 절의 세부 정보). 일부 뉴런은 행동을 유발함으로써 환경에 영향을 줄 수 있습니다. 학습 또는 학점 할당은 NN이 자동차 운전과 같은 원하는 행동을 나타내는 가중치를 찾는 것입니다. 문제와 뉴런이 어떻게 연결되어 있는지에 따라, 그러한 행동은 계산 단계의 긴 인과 관계 체인 (3 절)을 필요로 할 수 있으며, 여기서 각 단계는 네트워크의 전체 활성화를 변환합니다 (종종 비선형 방식으로). 딥 러닝은 여러 단계에 걸쳐 정확하게 크레딧을 할당하는 것입니다.
이러한 단계가 거의없는 얕은 NN 형 모델은 몇 세기가 아니라도 수십 년 동안 사용되어왔다 (5.1 절). 여러 연속적인 비선형 뉴런 층을 가진 모델은 적어도 1960 년대 (5.3 절)와 1970 년대 (5.5 절)로 거슬러 올라갑니다. 역 전파 (BP)라고하는 불연속적이고 차별화 된 임의의 깊이의 네트워크에서 교사 기반 SL (Survised Learning)을위한 효율적인 경사 하강 법이 1960 년대와 1970 년대에 개발되었으며 1981 년에 NN에 적용되었습니다 (5.5 절). 그러나 여러 계층의 심층 NN에 대한 BP 기반 교육은 1980 년대 후반 (Sec. 5.6) 실제로는 어려웠으며, 1990 년대 초까지 명백한 연구 주제가되었습니다 (Sec. 5.9). DL은 Unsupervised Learning (UL)의 도움을 받아 실질적으로 실현 가능해졌습니다 (예 : Sec. 5.10 (1991), Sec. 5.15 (2006). 1990 년대와 2000 년대에도 순전히 감독 된 DL (Sec. 5)이 많이 개선되었습니다. 새로운 밀레니엄에서 깊은 NN은 마침내 수많은 중요한 애플리케이션에서 커널 머신 (Vapnik, 1995; Scholkopf et al., 1998)과 같은 대체 머신 러닝 방법을 능가하여 광범위한 관심을 끌었습니다. 실제로 2009 년부터 감독 된 딥 NN은 많은 공식적인 국제 패턴 인식 대회 (예 : 5.17, 5.19, 5.21, 5.22)에서 우승하여 제한된 영역에서 최초의 초인적 시각 패턴 인식 결과를 달성했습니다 (2011 년 5 월 19 일). 심층 NN은 또한지도 교사가없는 일반 강화 학습 (RL)과 관련이 있습니다 (6 절). 많은 중요한 응용에서 커널 머신 (Vapnik, 1995; Scholkopf et al., 1998)과 같은 대체 머신 러닝 방법보다 성능이 우수합니다. 실제로 2009 년부터 감독 된 딥 NN은 많은 공식적인 국제 패턴 인식 대회 (예 : 5.17, 5.19, 5.21, 5.22)에서 우승하여 제한된 영역에서 최초의 초인적 시각 패턴 인식 결과를 달성했습니다 (2011 년 5 월 19 일). 심층 NN은 또한지도 교사가없는 일반 강화 학습 (RL)과 관련이 있습니다 (6 절). 많은 중요한 응용에서 커널 머신 (Vapnik, 1995; Scholkopf et al., 1998)과 같은 대체 머신 러닝 방법보다 성능이 우수합니다. 실제로 2009 년부터 감독 된 딥 NN은 많은 공식적인 국제 패턴 인식 대회 (예 : 5.17, 5.19, 5.21, 5.22)에서 우승하여 제한된 영역에서 최초의 초인적 시각 패턴 인식 결과를 달성했습니다 (2011 년 5 월 19 일). 심층 NN은 또한지도 교사가없는 일반 강화 학습 (RL)과 관련이 있습니다 (6 절). 최초의 초 인간적인 시각 패턴 인식을 달성하면 제한된 영역 (Sec. 5.19, 2011)이됩니다. 심층 NN은 또한지도 교사가없는 일반 강화 학습 (RL)과 관련이 있습니다 (6 절). 최초의 초 인간적인 시각 패턴 인식을 달성하면 제한된 영역 (Sec. 5.19, 2011)이됩니다. 심층 NN은 또한지도 교사가없는 일반 강화 학습 (RL)과 관련이 있습니다 (6 절).
반면에 머신 러닝 전략을 위해 상호 배타적 인 버킷 분류를 구성하는 것이 반드시 수익성이 있는지 확실하지 않습니다. 모델을 신경망으로 볼 수있는 관점이 있다고 말할 수 있습니다. 나는 모든 관점에서 관점이 반드시 최고이거나 유용하다고 생각하지 않습니다. 예를 들어, 나는 여전히 임의의 숲과 그라디언트 부스트 트리를 구별을 추상화하고 "신경 네트워크 트리"라고 부르는 대신 "트리 앙상블"이라고 언급하려고합니다. 또한 Schmidhuber는 커널 시스템이 NN과 연결되어 있음에도 불구하고 NN과 커널 시스템을 구별합니다. 주로 수많은 중요한 응용 프로그램에서 커널 머신과 같은 대체 머신 러닝 방법을 능가합니다. "