딥 러닝에 관한이 슬라이드는 1980 년대의 모든 개선 사항이 훨씬 더 많은 데이터와 훨씬 더 빠른 컴퓨터 때문이라고 주장하는 것이 얼마나 사실입니까?

나는 대화를 듣고이 슬라이드를 보았다 :

얼마나 사실입니까?

AI StackExchange를 탐색하면서 비슷한 질문을 겪었 습니다. “심층 학습”과 다른 신경망의 차이점 은 무엇입니까?

AI StackExchange는 내일 마감 될 예정이므로 여기에 두 가지 주요 답변을 복사하겠습니다 (cc by-sa 3.0에 따라 라이센스가 부여 된 사용자 기여도).

콘텐츠 작가 : mommi84less

잘 알려진 두 개의 논문은 연구 관심을 딥 러닝으로 다시 가져 왔습니다. 에서 "A 빠른 깊은 믿음 그물을위한 학습 알고리즘" , 저자는 깊은 신념 그물로 정의한다 :

[...] 많은 숨겨진 층을 가진 밀도있게 연결된 신념 그물.

" 딥 네트워크에 대한 Greedy Layer-Wise Training " 에서 딥 네트워크에 대해 거의 동일한 설명을 찾습니다 .

깊은 다층 신경망은 많은 수준의 비선형 성을 가지고있다 ...]

그런 다음 설문지 "Representation Learning : A Review and New Perspectives" 에서 딥 러닝은 모든 기술을 포괄하는 데 사용되며 ( 이 대화 참조 ) 다음과 같이 정의됩니다.

[...] 여러 수준의 표현을 구성하거나 특징의 계층을 학습합니다.

위의 저자들은 형용사 "깊은"을 사용하여 여러 비선형 숨겨진 레이어 의 사용 을 강조했습니다 .

콘텐츠 작가 : lejlot

@ mommi84 답변에 추가하십시오.

딥 러닝은 신경망 에만 국한되지 않습니다 . 이것은 단지 Hinton의 DBN 등보다 광범위한 개념입니다. 딥 러닝은

여러 수준의 표현을 구성하거나 기능의 계층 구조를 학습합니다.

계층 적 표현 학습 알고리즘 의 이름입니다 . 히든 마르코프 모델, 조건부 랜덤 필드, 서포트 벡터 머신 등을 기반으로 한 심층 모델이 있습니다. 유일한 공통점은 연구원들이 기능 세트를 만들려고하는 ( 90 년대 인기) 기능 엔지니어링 대신에 일부 분류 문제를 해결하는 데 가장 적합-이 기계는 원시 데이터 에서 자체적으로 표현할 수 있습니다. 특히 이미지 인식 (원시 이미지)에 적용되어 픽셀, 선, 코, 눈, 최종적으로 일반화 된 얼굴과 같은 얼굴 특징 (얼굴로 작업하는 경우)으로 구성된 다중 레벨 표현을 생성합니다. 자연 언어 처리에 적용되면 언어 모델을 구성하여 단어를 청크로, 청크를 문장으로 연결합니다.

또 다른 흥미로운 슬라이드 :

출처

2006 년 Hinton의 Dropout은 지난 10 년간 딥 러닝에서 가장 크게 개선 된 것으로 알려져 있습니다.

이것은 분명히 논쟁을 불러 일으킬 질문입니다.

신경망이 딥 러닝에 사용될 때 일반적으로 1980 년대에는 사용되지 않은 방식으로 훈련됩니다. 특히 신경망의 개별 계층을 미리 훈련 시켜서 다른 레벨에서 특징을 인식하는 전략은 여러 계층으로 네트워크를 쉽게 훈련시킬 수 있다고 주장됩니다. 그것은 1980 년대 이후 확실히 새로운 발전이었습니다.

핵심은 딥 러닝에서 "딥"이라는 단어입니다. 80 년대의 누군가 (ref를 잊어 버렸다)는 모든 비선형 함수가 물론 충분히 많은 수의 숨겨진 단위를 가진 단일 레이어 신경망에 의해 근사 될 수 있음을 증명했습니다 . 이 결과는 아마도 초기에 사람들이 더 깊은 네트워크를 찾는 것을 방해했다고 생각합니다.

그러나 네트워크의 깊이는 오늘날 많은 응용 프로그램의 성공을 이끌어내는 계층 적 표현에서 중요한 요소로 입증되었습니다.

정확히 말하면, ANN은 50 년대에 시작됩니다. ML 록 스타 Yann LeCun의 슬라이드 중 하나에서 정통하고 포괄적 인 소개를 확인하십시오. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf