신경망을 그래픽 모델로 수학적으로 모델링

12

신경망과 그래픽 모델을 수학적으로 연결하는 데 어려움을 겪고 있습니다.

그래픽 모델에서 아이디어는 간단합니다. 확률 분포는 그래프의 기울기에 따라 인수 분해되며, 일반적으로 전위는 지수 계열입니다.

신경망에 대한 동등한 추론이 있습니까? Restricted Boltzmann 기계 또는 CNN의 단위 (변수)에 대한 확률 분포를 에너지 또는 단위 간 에너지의 곱으로 나타낼 수 있습니까?

또한 확률 분포는 지수 군의 RBM 또는 Deep Faith 네트워크 (예 : CNN)에 의해 모델링됩니까?

Jordan & Wainwright가 그래픽 모델, 지수 가족 및 변형 추론을 사용하여 그래픽 모델 에 대해 수행 한 것과 같은 방식으로 이러한 현대 신경 네트워크 유형과 통계 간의 연결을 공식화하는 텍스트를 찾고 싶습니다 . 모든 포인터가 좋을 것입니다.

— 아멜리오 바스케스 레이나
소스

1

여기서 IM의 가장 큰 문제는 신경망이 실제로는 네트워크가 아니라는 것입니다. 실제로 고정 토폴로지가 있으므로 그 안에 정보를 저장할 기회가 적습니다.

이 최근 게시물을 보셨습니까 ?

— jerad

@ jerad 감사합니다, 나는 그 게시물을 읽지 못했습니다. 내 질문은 이러한 모델을 결합하는 방법 (예 : Yann이 말한 것처럼 "using deep nets as factors in an MRF")에 관한 것이 아니라 확률 적 요인 그래프로 딥 넷을 보는 방법에 대한 것입니다. Yann LeCun의 말에 따르면 "of course deep Boltzmann Machines are a form of probabilistic factor graph themselves", 그 연결을 수학적으로 보는 데 관심이 있습니다.

— Amelio Vazquez-Reina

@mbq에서 복잡한 이미지에는 숨겨진 레이어 노드로 표시되는 구성 요소 객체가 있다는 점에서 숨겨진 레이어 구성 요소 정보 저장 형식 https://distill.pub/2017/feature-visualization/( 예 : 신경망이 이미지를 이해하는 방법)을 보았습니다 . 가중치는 비 분리형 방식으로 '토폴로지'를 '변경'할 수 있습니다. 비록 그것을 보지 못했지만, 일부 방법은 가장자리를 제거하기 위해 수축 계수를 포함 할 수 있으므로 원래 토폴로지를 변경하십시오

— Vass

6

주제에 또 다른 좋은 소개는이다 CSC321의 토론토 대학의 과정, 그리고 neuralnets-2012-001 코 세라, 제프리 힌튼 가르침을 모두 과정.

Belief Nets 의 비디오 에서 :

그래픽 모델

초기 그래픽 모델은 전문가를 사용하여 그래프 구조와 조건부 확률을 정의했습니다. 그래프는 드물게 연결되었으며 학습에 초점을 맞추지 않고 올바른 추론을 수행하는 데 중점을 두었습니다 (전문가의 지식).

신경망

신경망의 경우 학습이 핵심이었습니다. 지식을 열심히 배선하는 것은 시원하지 않았습니다 (OK, 아마도 조금). 학습은 전문가가 아닌 교육 데이터를 학습하여 이루어졌습니다. 신경망은 추론을 쉽게하기 위해 스파 스 연결의 해석 성을 목표로하지 않았다. 그럼에도 불구하고 신경망 버전의 신념 망이 있습니다.

나의 이해는 신념 그물이 보통 너무 조밀하게 연결되어 있고, 그들의 도당이 너무 커서 해석 할 수 없다는 것이다. 신념 그물은 입력을 통합하기 위해 시그 모이 드 기능을 사용하는 반면 연속 그래픽 모델은 일반적으로 가우시안 기능을 사용합니다. 시그 모이 드는 네트워크를 쉽게 훈련 할 수 있지만 확률의 관점에서 해석하기가 더 어렵습니다. 나는 둘 다 지수 가족에 있다고 생각합니다.

나는 이것에 대해 전문가와는 거리가 멀지 만 강의 노트와 비디오는 훌륭한 자료입니다.

— 오스트 로카 치
소스

1

사이트에 오신 것을 환영합니다. 우리는 질문과 답변의 형태로 고품질 통계 정보의 영구 저장소를 구축하려고합니다. 따라서 우리는 linkrot으로 인해 링크 전용 답변에주의를 기울입니다. 링크가 종료 된 경우 링크에 정보를 요약하고 요약하여 게시 할 수 있습니까?

— gung-복직 모니카

정말 좋습니다. 이 정보를 추가하고 CV에 오신 것을 환영합니다.

— gung-복직 모니카

나는 당신의 대답의 전반부의 정보가 정확하지 않다는 것을 지적해야한다. 이것은 "초기 그래픽 모델"( "초기"이어야 함)의 사용에 의해 암시된다고 생각한다. 오랫동안 신경망과 동일한 방식으로 그래픽 모델을 사용하여 아키텍처의 모든 측면을 학습했습니다. 그러나 요인 그래프에서 가우시안을 대신하는 시그 모이 드에 대한 나중에 제안하는 것은 흥미 롭습니다!

— GuSuku

4

Radford Neal은이 영역에서 신경망과 베이지안 그래픽 모델을 동일시하는 직접적인 작업을 포함하여 여러분이 관심을 가질만한 약간의 작업을 수행했습니다. 그의 논문은 분명히이 특정 주제에 관한 것이었다.

나는이 작업에 대해 잘 알고 있지는 않지만 지능적인 요약을 제공하지만 도움이 될 경우를 대비 하여 포인터 를 제공하고 싶었습니다 .

— lmjohns3
소스

내가 Neal, Mackay 등의 작품에서 이해 한 바에 따르면 Bayesian Optimization을 사용하여 최적화 할 매개 변수가 신경 가중치 및 바이어스이며 신경 네트워크의 L2 정규화가 이전에 가우시안으로 보일 수 있음을 보여줍니다. 무게. 이 프로그램은 최적화 변수 중 숨겨진 레이어 수, 각 레이어 내의 뉴런 등을 계속 포함하고 있습니다.

— GuSuku

그러나 다음 실행에서 시도 할 신경망의 아키텍처를 설계하는 것은 베이지안 모델을 하이퍼 디자인 엔진으로 사용하는 실험 설계의 특별한 사례 중 하나이기 때문에 OP가 요청한 것과 다릅니다. OP가 요청한 것은 "동일한 수준"에서 신경망과 베이지안 모델링 간의 매핑이라고 생각합니다.

— GuSuku

4

이것은 오래된 스레드 일 수 있지만 여전히 관련 질문입니다.

신경망 (NN)과 확률 그래픽 모델 (PGM) 간의 연결에 대한 가장 두드러진 예는 Boltzmann Machines (및 제한 BM, Deep BM 등의 변형)과 Markov Random Field의 무 방향 PGM 간의 연결입니다.

마찬가지로 Belief Networks (및 Deep BN 등의 변형)는 베이지안 그래프의 지시 된 PGM 유형입니다.

자세한 내용은 다음을 참조하십시오.

Yann Lecun, " 에너지 기반 학습에 대한 자습서 "(2006)
Yoshua Bengio, Ian Goodfellow 및 Aaron Courville, "Deep Learning", Ch 16 & 20 (이 글을 쓸 당시의 책

— 구 스쿠
소스