사전 훈련이란 무엇이며 신경망을 어떻게 사전 훈련합니까?

10

사전 교육은 기존 교육의 일부 문제를 피하기 위해 사용됩니다. 자동 인코더와 함께 역 전파를 사용하면 역 전파가 느리고 시간이 오래 걸리고 현지 최적화에 얽매여 특정 기능을 배울 수 없기 때문에 시간 문제가 발생한다는 것을 알고 있습니다.

내가 이해하지 못하는 것은 네트워크를 사전 훈련시키는 방법과 사전 훈련을 위해 특별히하는 일입니다. 예를 들어 제한된 Boltzmann Machines 스택이 제공되는 경우이 네트워크를 어떻게 사전 교육합니까?

— 마이클 유세프
소스

2

레이블이 지정되지 않은 샘플이 많고 레이블이 지정되지 않은 샘플이 많은 설정이 아닌 경우 사전 훈련은 더 이상 사용되지 않는 것으로 간주됩니다. 그렇지 않은 경우 정류기 전송 함수 및 고급 최적화 기능 (rmsprop, adadelta, adam)을 사용하면 심층 신경망에 대해 동일하게 작동합니다.

f (x) = max (x, 0)

$f(x) = \max(x, 0)$

— bayerj

예, 레이블이없는 샘플이 많고 레이블이없는 샘플이 거의 없다고 가정하고 있습니다.

— Michael Yousef

2

스택에서 각 RBM을 개별적으로 학습 한 다음 추가로 조정할 수있는 새 모델로 결합합니다.

RBM이 3 개 있다고 가정하면 데이터를 사용하여 RBM1을 훈련시킵니다 (예 : 여러 이미지). RBM2는 RBM1의 출력으로 훈련됩니다. RBM3은 RBM2의 출력으로 훈련됩니다. 각 RBM 모델에는 이미지를 대표하는 특징이 있으며,이를 통해 학습 한 가중치는 분류와 같은 다른 차별적 인 작업에 유용합니다.

— mnagaraj
소스

0

적층 된 RBM을 사전 훈련시키는 것은 정의 된 에너지를 탐욕스럽게 층 단위로 최소화하는 것, 즉 가능성을 최대화하는 것이다. G. Hinton은 CD-k 알고리즘을 제안했는데, 이는 Gibbs 샘플링의 단일 반복으로 볼 수 있습니다.

— 입
소스

따라서 누적 RBM을 사전 교육하면 정의 된 에너지를 최소화하고 더 나은 결과를 얻을 수 있습니다. 그리고 Hinton의 Contrastive Divergence 알고리즘은 우리가 실제로 사전 훈련하는 방법입니다. 프리 트레이닝이 추가 기능 학습에 정확히 어떤 영향을 미칩니 까? 속도 문제는 CD 알고리즘이 역 전파보다 훨씬 빠르다고 가정합니다.

— Michael Yousef