신경망과 딥 믿음 네트워크의 차이점은 무엇입니까?

사람들이 '깊은 믿음'네트워크를 언급 할 때 이것이 기본적으로 신경망이지만 매우 크다는 인상을 받고 있습니다. 이것이 정확합니까? 아니면 믿음 네트워크가 알고리즘 자체가 다르다는 것을 의미합니까 (즉, 피드 포워드 신경망은 없지만 피드백 루프가있는 것)?

"신경망"은 일반적으로 피드 포워드 신경망을 지칭하는 데 사용되는 용어입니다. Deep Neural Networks는 많은 계층을 가진 피드 포워드 신경망입니다.

깊은 믿음 네트워크는 깊은 신경 네트워크와 다릅니다.

당신이 지적한 바와 같이, 네트워크는 일부 계층들 사이에 무 방향 연결을 가지고 있습니다. 이는 DNN과 DBN의 토폴로지가 정의에 따라 다르다는 것을 의미합니다.

DBN의 방향이 지정되지 않은 레이어를 제한된 볼츠만 머신이라고합니다. 이 레이어는 매우 빠른 감독되지 않은 학습 알고리즘 (Contrastive Divergence)을 사용하여 학습 할 수 있습니다 ( 자세한 내용 은 링크입니다 !).

더 많은 의견 :

더 깊은 신경망으로 얻은 솔루션은 1 또는 2 개의 숨겨진 계층을 가진 네트워크에서 얻은 솔루션보다 성능이 떨어지는 솔루션에 해당합니다. 아키텍처가 깊어 질수록 Deep NN을 사용하여 일반화를 얻는 것이 더 어려워집니다.

2006 년 Hinton은 감독되지 않은 학습 알고리즘 (Contrastive Divergence)을 통해 각 계층 (RBM)에 사전 교육을 실시하면 더 깊은 아키텍처에서 더 나은 결과를 얻을 수 있음을 발견했습니다. 그런 다음 가중치를 "미세 조정"하기 위해 역 전파를 사용하여 감독 된 방식으로 네트워크를 교육 할 수 있습니다.

$j$$x_j$$y_j$

데이비드가 언급 한 바와 같이 " 심층 믿음 네트워크는 표준 피드 포워드 신경망과 대조되는 RBM에서와 같이 상위 2 계층 사이에 방향이없는 연결을 가지고있다 "고 말했다. 일반적으로 DNN의 주요 문제는 단일 계층 NN보다 훨씬 더 관련된 교육에 관한 것입니다. (나는 최근에 신문을 읽은 NN에서 일하고 있지 않습니다.)

참조 : 1. 음성 인식에서의 어쿠스틱 모델링을위한 심층 신경망 , Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath 및 Brian IEEE Signal Processing Magazine의 Kingsbury [82] 2012 년 11 월 ( MSR의 원본 용지에 링크 )

Alex의 의견을 여기서 반갑습니다. DL은 일반적인 신경망이라고 사람들에게 설명했습니다. 학습 체계에는 차이가 없습니다. c (70)로 작성된 이전 ANN에는 여러 개의 숨겨진 레이어를 설정하는 옵션이 있습니다. 실제로 더 많은 숨겨진 레이어가 정확도를 향상시키는 지 확인하기 위해 테스트했습니다. 레이어 수는 DL을 ANN과 다르게 만들지 않습니다.

나는 이런 종류의 마케팅 조건이 싫어. 이제 DL이 실제로 ANN인지 모르는 많은 DL 전문가가 있습니다. 마케팅은 매우 강력하고 강력하기 때문에 사람들은 머신 러닝 분야에서 우리가 많이 발전했다고 생각합니다. 그러나 새로운 것은 없습니다!