딥 트러스트 네트워크 또는 딥 볼츠만 머신?

혼란 스러워요. Deep Faith 네트워크와 Deep Boltzmann Machines에는 차이가 있습니까? 그렇다면 차이점은 무엇입니까?

— 잭 트웨인
소스

심층 믿음 네트워크 에 관한 위키피디아 기사 는 용어의 어원 / 역사에 대해 더 큰 그림을 갖는 것이 유용하거나 통찰력이있을지라도 상당히 명확합니다. 기본적으로 깊은 믿음 네트워크는 확률 론적 관점의 깊은 신경 네트워크와 상당히 유사하며, 깊은 boltzmann 기계는 깊은 믿음 네트워크를 구현하는 데 사용되는 하나의 알고리즘입니다. 명백히 모든 ANN은 확률 론적 해석 / 모델을 가지고 있지만, 베이지안 / 확률 론적 지향의 "믿음"모델만큼 쉽게 / 직접적으로 얻을 수는 없습니다.

— vzn

답변:

DBN (Deep Belief Networks)과 DBM (Deep Boltzmann Machines)은 도식적으로 매우 유사 해 보이지만 실제로는 질적으로 매우 다릅니다. 이는 DBN이 지시되고 DBM이 지시되지 않기 때문입니다. 우리가 그것들을 더 넓은 ML 그림에 맞추고 자한다면 DBN은 잠재적으로 밀접하게 연결된 많은 잠재 변수 층을 가진 S 자형 신념 네트워크이고 DBM은 많은 밀접하게 연결된 잠재 변수 층을 가진 마르코프 무작위 필드라고 말할 수 있습니다.

따라서 이러한 모델의 모든 속성을 상속합니다. 예를 들어, DBN 컴퓨팅 , 여기서 는 가시적 레이어이고 는 숨겨진 변수입니다. 다른 한편으로, 의 계산은 다루기 어려운 파티션 기능으로 인해 DBM에서 일반적으로 계산 불가능합니다. $P(v|h)$ $v$ $h$ $P$

그것은 유사성이 있다고합니다. 예를 들면 다음과 같습니다.

DBN과 원래 DBM은 제한된 Bolzmann 머신 (RBM)의 탐욕스러운 계층 별 교육을 기반으로하는 초기화 체계를 사용하여 작동합니다.
그들은 둘 다 "깊다".
둘 다 잠재적 변수의 계층을 특징으로하며 위와 아래의 계층에 밀접하게 연결되어 있지만 계층 내부 연결은 없습니다.

— 알토
소스

DBN은 어떻게 Sigmoid Faith Network가 될 수 있습니까? !! DBN의 레이어는 RBM이므로 각 레이어는 마코프 랜덤 필드입니다!

— Jack Twain

여기에 오타가 있다고 생각합니다. "DBM이 지시되고 DBM이 지시되지 않기 때문입니다." 난 당신이 DBNS은 방향성이되는 의미 생각

— 잭 트웨인

@AlexTwain 예, "DBN이 지정되었습니다"를 읽어야합니다. 먼저 많은 RBM을 학습하여 DBN을 초기화 할 수 있지만 결국에는 가중치를 풀고 깊은 S 자형 신념 네트워크 (지시)로 끝납니다. 많은 원본 DBN 작업에서 사람들은 최상위 계층을 방향이없는 상태로 두었다가 깨우기 (sleep-sleep)와 같은 것으로 미세 조정되었습니다.이 경우 하이브리드가 있습니다.

— alto

당신은 그들이하지 않아도 3에 의미합니까 오히려 * 층간 이상 (예를 들어, 숨겨진 계층의 노드 사이) "연결 층내 ? (예 : 숨겨진 레이어의 입력에서)

— ddiez

@ ddiez 그래, 그것이 읽는 방법입니다. 정정 주셔서 감사합니다.

— alto

둘 다 스택 된 RBM 레이어로 구성된 확률 적 그래픽 모델입니다. 차이점은이 레이어들이 어떻게 연결되는지에 있습니다.

이 링크는 http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf에서 상당히 명확 합니다. 그림 2와 3.1은 특히 관련이 있습니다.

요약하면 다음과 같습니다.

DBN에서 계층 간 연결이 지시됩니다. 따라서 처음 두 레이어는 RBM (무 방향 그래픽 모델)을 형성 한 후 후속 레이어는 지정 생성 모델을 형성합니다.

DBM에서 모든 계층 간의 연결은 방향이 지정되지 않으므로 각 계층 쌍은 RBM을 형성합니다.

— Darkensberge
소스

깊은 볼츠만 머신은 여전히 RBM으로 구성되어 있습니까? 나는 논문의 소개와 이미지에 대한 결론을 내린다

— Marin