RBM (Restricted Boltzmann Machine)의 최신 사용 사례?

배경 : 지난 4 년 동안 ( alexnet 이후 ) 의 많은 현대 연구 는 최신 분류 결과를 달성하기 위해 신경망에 대해 생성 사전 훈련을 사용하지 않는 것으로 보입니다.

예를 들어, 여기 에서 mnist의 상위 결과 에는 상위 50 개의 논문 중 2 개만 RBM 인 생성 모델을 사용하는 것으로 보입니다. 다른 48 개의 수상 논문은 RBM 및 많은 오래된 신경망에서 사용되는 S 자형과는 다른 더 나은 / 새로운 가중치 초기화 및 활성화 기능을 찾는 데 많은 노력을 기울이고있는 차별화 된 피드 포워드 아키텍처에 관한 것입니다.

질문 : 더 이상 Boltzmann 기계를 사용해야하는 현대적인 이유가 있습니까?

그렇지 않다면,이 피드 포워드 아키텍처에 적용하여 레이어를 생성 할 수있는 사실상의 수정이 있습니까?

동기 부여 : 필자가보고있는 일부 모델 (일반적으로 RBM의 변형)이 반드시 이러한 생성 레이어 / 모델과 유사한 차별적 인 대응 요소를 가질 필요는 없으며 그 반대도 마찬가지입니다. 예를 들면 다음과 같습니다.

• mcRBM

• ssRBM

• CRBM (CNN 사용 피드 포워드 아키텍처 는 차별적 인 유사 아키텍처 라고 주장 할 수는 있지만 )

또한 2010 년, 2011 년, 2009 년부터 알렉산드르는 분명하게 알 수있었습니다.

이것은 오래된 질문이지만, 실제로 기술적으로 가능한 것 (즉, 너무 많은 연구 초점이 필요하지 않음)보다는 '모범 사례'를 요구하기 때문에 현재 모범 사례는 다음과 같습니다.

• RBM은 현재 일반적으로 사용되지 않습니다
• 가능한 경우 선형 모델 (선형 회귀, 로지스틱 회귀)이 사용됩니다.
• 그렇지 않으면 완전히 연결된 레이어, 컨볼 루션 레이어와 같은 레이어를 가진 딥 피드 포워드 네트워크, 드롭 아웃 및 최근 배치 정규화와 같은 일종의 정규화 레이어 던지기
• 물론 ReLU 사이에 활성화 레이어가 있지만 tanh와 sigmoid도 사용됩니다.
• 아마도 일부 최대 풀링 (항상 그런 것은 아닙니다 : 평균 풀링 및 다른 풀링도 사용됨)

생성 사용법의 일반적인 기술은 다음과 같습니다.

• GAN 및 그 변형에 대한 http://www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• 자동 인코더이지만 최근에는 다음으로 대체되는 경향이 있습니다.
  • 변형 자동 인코더, VAE, https://arxiv.org/abs/1312.6114
  • 생성 CNN, wavenet : https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN, 예 : seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

최근에 RBM과 CNN을 생성 모델로 통합 한 "Boltzmann Encoded Adversarial Machines" 에서이 백서 를 발견 했습니다 .

저자는 수학적으로 어떤 방식 으로든 "더 낫다"는 것을 보여 주었고 BEAM이 다른 GAN 모델에 비해 데이터 분포를 훨씬 정확하게 학습 할 수있는 장난감 사례를 보여줍니다.

CelebA 얼굴의 "실제"벤치 마크는 그다지 인상적이지 않았습니다. BEAM이 다른 인기있는 GAN뿐만 아니라 더 나은지 또는 더 나은지 확실하지 않습니다. 그러나이 설정에서 RBM을 사용하는 것은 흥미 롭습니다.