“딥 러닝”과 다단계 / 계층 적 모델링의 차이점은 무엇입니까?

"딥 러닝"은 다단계 / 계층 모델링의 또 다른 용어입니까?

나는 전자보다 후자에 대해 더 잘 알고 있지만, 내가 알 수 있듯이, 주요 차이점은 그들의 정의가 아니라 응용 프로그램 도메인 내에서 어떻게 사용되고 평가되는지입니다.

일반적인 "딥 러닝"애플리케이션의 노드 수는 더 크고 일반적인 계층 적 형식을 사용하는 반면 다중 레벨 모델링의 애플리케이션은 일반적으로 모델링되는 생성 프로세스를 모방하는 계층 적 관계를 사용합니다. 적용된 통계 (계층 모델링) 도메인에서 일반 계층 구조를 사용하는 것은 현상의 "잘못된"모델로 간주되는 반면 도메인 별 계층 구조를 모델링하는 것은 일반 딥 러닝 학습 기계를 만드는 목표를 파괴하는 것으로 간주 될 수 있습니다.

이 두 가지가 실제로 두 가지 다른 방식으로 사용되는 두 가지 다른 이름으로 동일한 기계입니까?

유사성

기본적으로 두 가지 유형의 알고리즘은 머신 러닝 응용 프로그램의 일반적인 질문에 대한 답변을 위해 개발되었습니다.

주어진 예측 변수 (인수) 성능을 높이기 위해이 요인들 간의 교호 작용을 통합하는 방법은 무엇입니까?$x_1, x_2, \ldots, x_p$

한 가지 방법은 단순히 새로운 예측을 소개하는 것입니다 : 하지만이 때문에 매개 변수의 큰 숫자와 상호 작용의 매우 구체적인 유형에 나쁜 생각을 증명한다.$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

다단계 모델링과 딥 러닝 알고리즘 모두 훨씬 더 똑똑한 상호 작용 모델을 도입하여이 질문에 대답합니다. 그리고이 관점에서 그것들은 매우 유사합니다.

차

이제 그들 사이에 큰 개념적 차이점이 무엇인지 이해하려고 노력하겠습니다. 몇 가지 설명을하기 위해 각 모델에서 가정을 가정 해 봅시다.

$^1$

$^2$

근본적인 차이점은 Deep Learning에서 "상호 작용의 구조를 알 수 없음" 이라는 문구에서 비롯됩니다 . 우리는 상호 작용 유형에 대해 몇 가지 사전 가정을 할 수 있지만, 알고리즘은 학습 절차 동안 모든 상호 작용을 정의합니다. 반면에, 우리는 다단계 모델링을위한 상호 작용의 구조를 정의해야합니다 (나중에 모델의 매개 변수 만 변경하는 방법을 배웁니다).

예

$x_1, x_2, x_3$$\{x_1\}$$\{x_2, x_3\}$

$x_1 x_2$$x_1 x_3$$x_2 x_3$

예를 들어, 숨겨진 레이어가 2 개이고 선형 활성화 기능이 있는 다층 RBM (Restricted Boltzmann) 머신의 딥 러닝에서는 3 이하의 학위로 가능한 모든 정치적 상호 작용이 가능합니다.

일반적인 장점과 단점

다단계 모델링

(-) 상호 작용의 구조를 정의해야

(+) 결과는 일반적으로 이해하기 쉽다

(+) 통계 방법을 적용 할 수 있습니다 (신뢰 구간 평가, 가설 점검)

딥 러닝

(-) 훈련에 많은 양의 데이터가 필요합니다 (및 훈련 시간도 필요)

(-) 결과는 일반적으로 해석하기 불가능합니다 (블랙 박스로 제공)

(+) 전문 지식이 필요하지 않습니다

(+) 한 번 잘 훈련되면 일반적으로 대부분의 다른 일반적인 방법보다 성능이 우수합니다 (응용 프로그램 별 아님)

그것이 도움이되기를 바랍니다!

이 질문 / 답변이 약간 있었지만 답변에서 몇 가지 요점을 명확히하는 것이 도움이 될 수 있습니다. 첫째,이 문구는 계층 적 방법과 딥 뉴럴 네트워크 사이의 주요 차이점으로 제기되었습니다. 부정확하다. 계층 적 방법은 대체 신경망보다 더 '고정'되지 않습니다. 예를 들어, 계층 적 컨볼 루션 팩터 분석을 이용한 딥 러닝 (Deep Learning), Chen et. 알.. 또한 상호 작용을 정의해야하는 요구 사항도 더 이상 구별되지 않는다는 것을 알게 될 것입니다. 계층 적 모델링에 플러스로 표시되지 않은 몇 가지 점은 경험상 과적 합 문제가 크게 감소하고 매우 크고 작은 훈련 세트를 모두 처리 할 수 ​​있다는 것입니다. 중요한 점은 베이지안 계층 적 방법을 사용할 때 신뢰 구간과 가설 검정은 일반적으로 적용되는 통계적 방법이 아니라는 것입니다.