이 게시물은 많이 업데이트되었습니다. 상단에는 링크 업데이트가 있습니다. 아래는 초기 답변의 변형입니다. 짧은 버전 : 컨볼 루션 신경망과 딥 러닝의 성공은 일종의 갈릴리 혁명처럼 보입니다. 실용적인 관점에서, 고전적인 신호 처리 또는 컴퓨터 비전은 죽었습니다 ... 라벨이 지정된 데이터가 충분하고 명백한 분류 실패 ( 심각한 결함 )에 거의 신경 쓰지 않고 탄소 발자국에 대한 생각없이 테스트를 실행할 무한한 에너지가 있다면 , 합리적인 설명을 귀찮게하지 마십시오. 다른 사람들에게는 기능 추출, 최적화 (cf. 동료 J.-C. Pesquet가 심층 신경망 구조 에 관한 연구를 통해 변형 불평등 문제 해결)에 대해 이전에 한 모든 일에 대해 다시 생각하게되었습니다.), 불변성, 정량화 등. 그리고 그로부터 흥미로운 흥미로운 연구가 나오고 있습니다.
업데이트 된 링크 :
우리는 분류기의 정확도를 크게 떨어 뜨리는 실제적, 수정되지 않은, 자연 발생적인 자연적 대적 사례를 소개합니다. 우리는 7,500 개의 자연적 대적 사례를 선별하여 ImageNet-A라고하는 ImageNet 분류기 테스트 세트로 발표합니다. 이 데이터 세트는 분류기 견고성을 측정하는 새로운 방법으로 사용됩니다. l_p 대적 예제와 마찬가지로 ImageNet-A 예제는 보이지 않거나 블랙 박스 분류기로 전송됩니다. 예를 들어, ImageNet-A에서 DenseNet-121은 약 2 %의 정확도, 약 90 %의 정확도 저하를 얻습니다. ImageNet-A 예제는 색상, 질감 및 배경 신호에 대한 과도한 의존성을 포함하여 현재 분류기의 심각한 결함을 이용하기 때문에이 정확도를 복구하는 것은 간단하지 않습니다. 견고성을 향상시키기위한 대중적인 훈련 기술은 거의 영향을 미치지 않습니다. 그러나 우리는 일부 아키텍처 변경이 자연 대적 사례에 대한 견고성을 향상시킬 수 있음을 보여줍니다. 이 어려운 ImageNet 테스트 세트를 강력하게 일반화하려면 향후 연구가 필요합니다.
- 2019/05/03 : 딥 러닝 : 신호 처리 및 시계열 분석의 최후의 경계? "이 기사에서는 신호 또는 시계열이 중요한 여러 영역을 보여주고 싶습니다."
- 2018/04/23 : 방금 국제 음향, 음성 및 신호 처리, ICASSP 2018 국제 회의에서 돌아 왔습니다 . 나는 딥 러닝, 딥 네트워크 등에 의존하는 논문의 양에 놀랐습니다. 4 명 중 2 명 (Alex Acero와 Yann LeCun)이 그러한 주제에 전념했습니다. 동시에, 내가 만난 대부분의 연구자들은 그것에 대해 일종의 농담을했습니다. 거대한 도전에서 0.5 %를 얻고 물리 또는 통계적 사전 모델링에 대한 관심을 잃는 것에 대해 궁금했습니다.
- 2018/01/14 : 딥 넷이 고양이를 볼 수 있습니까? , "추상 고양이"에서 "최고의 고양이"에 이르기까지 역전 된 그림 등
- 2017/11/02 : 산란 변환 / 네트워크에 대한 참조 추가
- 2017/10/21 : 영상의 역 문제에 대한 컨볼 루션 신경망 검토
- 신호 및 정보 처리를위한 딥 러닝 및 응용 프로그램 , IEEE Signal Processing Magazine, 2011 년 1 월
표준 신호 / 이미지 처리에 대한 딥 러닝 참조 "스테핑"은 하단에 있습니다. Michael Elad는 Deep, Deep Trouble : Deep Learning이 이미지 처리, 수학 및 인류에 미치는 영향 (SIAM News, 2017/05)을 다음과 같이 썼습니다.
그런 다음 신경망이 갑자기 돌아와서 복수했습니다.
이 트리뷴은 데이터를 모델링 / 이해하려는 전통적인 "이미지 처리"에서 많은 통찰력없이 정확성의 영역으로의 전환을 보여 주므로 관심이 있습니다.
이 영역은 상당히 빠르게 발전하고 있습니다. 그렇다고 의도적이거나 일정한 방향으로 진화한다는 의미는 아닙니다. 옳고 그른 것도 아닙니다. 그러나 오늘 아침, 나는 다음과 같은 말을 들었습니다 (또는 농담입니까?) :
엄청난 양의 데이터가 포함 된 잘못된 알고리즘은 일시 중지 데이터 가있는 스마트 알고리즘보다 낫습니다 .
여기 저의 간단한 시도가있었습니다 : 딥 러닝은 최첨단 결과를 제공 할 수 있지만 , 왜 과학자의 일이 왜 일이 왜 작동하는지, 데이터의 내용이 무엇인지 설명하는 데 남아있는 이유를 항상 이해하지는 못합니다 등
딥 러닝 에는 태그가 잘 지정된 데이터베이스가 필요합니다. (세트 "의 보완적인 특히"무료 사용자 기반 이미지 태그 "항복하지 않을 장소에서 (즉, 뒤에 거대한 데이터베이스가없는) 당신이 단일 또는 단일 이미지에 공예품을 할 때마다 게임과 얼굴을 재생하는 재미 고양이 ") , 기존 이미지 처리를 한동안 유지하고 이익을 얻을 수 있습니다. 최근 트윗는 것을 요약
(많은) 레이블이 지정된 데이터 (변수가 누락되지 않음) 요구 사항은 많은 도메인에서 거래 차단기 (및 불필요한)입니다.
그들이 죽을 경우 (단기 통지로 의심), 아직 죽지 않았습니다. 따라서 신호 처리, 이미지 분석, 컴퓨터 비전에 대한 모든 기술은 향후 도움이 될 것입니다. 예를 들어 블로그 게시물에서 토론했습니다 : Computer Vision의 형상에 대해 잊었습니까? 알렉스 켄달 (Alex Kendall)
딥 러닝은 컴퓨터 비전에 혁명을 가져 왔습니다. 오늘날 최고의 성능을 발휘하는 솔루션이 엔드 투 엔드 딥 러닝 모델을 기반으로하지 않는 문제는 많지 않습니다. 특히, 컨볼 루션 신경망 (convolutional neural network)은 기본적으로 상당히 잘 작동하는 경향이 있으므로 인기가 있습니다. 그러나 이러한 모델은 대체로 큰 블랙 박스입니다. 우리가 이해하지 못하는 것들이 많이 있습니다.
구체적인 예는 다음과 같습니다. 동일한 위치의 매우 어두운 (예 : 감시) 이미지 2 개 중 하나에 감지해야 할 특정 변경 사항이 포함되어 있는지 평가해야하는 경우 기존 이미지 처리의 문제 일 수 있습니다. 딥 러닝 (현재)
다른 한편으로, 딥 러닝이 대규모로 성공함에 따라 일부 데이터의 작은 분류가 잘못 될 수 있으며, 이는 일부 응용 프로그램에서 "평균적으로"무해 할 수 있습니다. 사람의 눈과 약간 다른 두 이미지는 DL을 통해 다르게 분류 될 수 있습니다. 또는 임의의 이미지를 특정 클래스로 설정할 수 있습니다. 예를 들어보기 깊은 신경망은 쉽게 속아 : 인식 할 수없는 이미지에 대한 높은 신뢰도 예측 (구엔 A, Yosinski J, Clune J. PROC 컴퓨터 비전 및 패턴 2,015 인식.), 또는 깊은 학습이 깊은 결함을 가지고 있습니까? , 적대적 부정에 :
연구자들이 특정한 눈에 띄지 않는 섭동을 적용한 후 네트워크가 이미지를 잘못 분류 할 수 있습니다. 섭동은 예측 오차를 최대화하기 위해 픽셀 값을 조정함으로써 발견된다.
"딥 러닝"과 관련하여 "등록 된, 알려진, 대량 검증 가능 또는 예상되는 행동에 반응하는 대량 생산"과 "단일 공예품"에 대해 생각해보십시오. 단일 인덱스 스케일에서 더 나은 것은 아직 없습니다. 둘 다 한동안 공존해야 할 수도 있습니다.
그러나 딥 러닝은 아래 참고 문헌에 설명 된 것처럼 많은 새로운 영역에 퍼져 있습니다.
운 좋게도 일부 사람들은 딥 러닝의 수학적 이론적 근거를 찾으려고 노력하고 있는데, 그 예로 Stéphane Mallat 과 공동 저자가 제안한 산란 네트워크 또는 변환이 있습니다 . 산란을위한 ENS 사이트 참조 . 고조파 분석 및 비선형 연산자, Lipschitz 함수, 변환 / 회전 불변량, 평균 신호 처리 담당자에게 적합합니다. 예를 들어 딥 컨볼 루션 네트워크 이해를 참조하십시오 .
