제한된 볼츠만 머신 (RBM)에 대한 유용한 자습서

10

RBM (Restricted Boltzmann Machine)을 연구하고 있으며 RBM의 매개 변수와 관련하여 로그 가능성 계산을 이해하는 데 문제가 있습니다. RBM에 관한 많은 연구 논문이 발표되었지만 파생 상품에 대한 자세한 단계는 없습니다. 온라인으로 검색 한 후이 문서에서 찾을 수있었습니다.

Fischer, A., & Igel, C. (2012). 제한된 볼츠만 머신 소개. L. Alvarez et al. (Eds.) : CIARP, LNCS 7441, 14–36 페이지, Springer-Verlag : Berlin-Heidelberg. ( pdf )

그러나이 문서의 세부 사항이 너무 고급입니다. 누군가 나를 RBM에 대한 좋은 튜토리얼 / 강의 노트 세트로 안내 할 수 있습니까?

편집 : @David, 혼란스러운 섹션이 아래에 나와 있습니다 (26 페이지의 방정식 29).

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
소스

어떤 단계에서 혼란을 느끼고 있는지 더 구체적으로 설명 할 수 있습니까?

— David J. Harris

1

AI에 대한 딥 아키텍처 학습의 5 장 ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf )

— dksahuji

INFO, 교수 : @dksahuji 감사합니다 : Bengio는 DL을 작성하고 있으며 초안은 iro.umontreal.ca/~bengioy/dlbook

— Upul

이 학습서에는 RBM ( 제한된 Boltzmann 기계에 대한 학습서) 의 수학에 대한 설명이 있습니다 .

— Jiang Xiang

7

나는 그것이 조금 늦었다는 것을 알고 있지만 아마도 도움이 될 것입니다. 방정식의 첫 번째 항을 구하려면 다음 단계를 수행하십시오. 우리는 조건부 독립성을 가정했습니다. 보이는 단위가 주어지면 숨겨진 단위가 존재합니다. 따라서 숨겨진 상태에 대한 조건부 조인트 확률 분포를 인수 분해 할 수 있습니다.

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ 마지막 항은 이됩니다. 모든 주를 합산하기 때문입니다. 따라서 남은 것은 첫 번째 용어입니다. 는 상태 과 만 취 하므로 과 같이 끝납니다 :

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
소스

7

심층 학습 사이트 에는 적절한 RBM 자습서가 있습니다 .
이 블로그 게시물 ( Restricted Boltzmann Machines 소개 )은 더 간단한 언어로 작성되었으며 RBMS의 기본 사항을 잘 설명합니다.
또한 코스타 의 Geoff Hinton 's Neural Networks 과정 이 가장 좋습니다.

수업이 끝난 후 수업과 동영상에 액세스 할 수 있는지 확실하지 않습니다.

— sjm.majewski
소스

2

Coursera 수업에 등록하고 포럼에 게시하는 사람들이 여전히 있습니다. 여전히 모든 강의를보고 모든 퀴즈 및 프로그래밍 과제 (퀴즈 중)에 액세스 할 수 있습니다. 이 정보는 과정이 다시 제공 될 때까지 제공 될 것입니다. 자료를 보거나 다운로드하기 위해 과정에 등록하는 것이 좋습니다.

— Douglas Zare

1

왼쪽 주황색 상자는 보이는 벡터가 보이는 단위 (클램핑 세트의 샘플을 사용하기 때문에 데이터에 대한 기대)에 고정되어있는 경우 모든 숨겨진 구성에 대한 예상 에너지 구배 값을 제공합니다. 용어 자체는 (1) 일부 벡터 v가 가시 유닛에 고정되어 있고 (2) 특정 가시 유닛 j의 상태를 감안할 때 특정 숨겨진 유닛 i를 볼 확률의 곱입니다.

오른쪽 주황색 상자는 왼쪽에 보이는 것과 동일하지만 가시 장치에 고정되어있는 것이 아니라 가능한 모든 가시적 구성에 대해 왼쪽 주황색 상자에있는 작업을 수행한다는 점을 제외하고 (아무 것도 고정되지 않았으므로 모델에 대한 기대 보이는 단위).

— 아발론
소스

1

기계 학습 ( 비디오 ) 에 대한 Hugo Larochelle 과정의 5 장은 지금까지 내가 찾은 최고의 소개입니다.

손실 함수의 파생은이 강의에서 도출 된 것이 아니지만 어렵지 않습니다 (필요한 경우 계산 스캔을 게시 할 수는 있지만 실제로 그렇게 어렵지는 않습니다). 나는 아직도이 주제를 다루는 좋은 교과서를 찾고 있지만 주로 기사 만 있습니다. Bengio의 딥 러닝 북 20 장에있는 기사들에 대한 좋은 개요가 있습니다.

— jakab922
소스