그래픽 모델과 Boltzmann 기계는 수학적으로 관련이 있습니까?

물리 클래스에서 Boltzmann 기계로 실제로 프로그래밍을 수행했지만 이론적 특성에 익숙하지 않습니다. 대조적으로, 나는 그래픽 모델 이론 (Lauritzen 's Book Graphical Models 의 처음 몇 장에 관한)에 대해 적당히 알고있다 .

질문 : 그래픽 모델과 Boltzmann 머신간에 의미있는 관계가 있습니까? Boltzmann 기계는 그래픽 모델 유형입니까?

분명히 볼츠만 기계는 신경망의 한 유형입니다. 일부 신경망은 수학적으로 그래픽 모델과 관련이 있고 일부는 그렇지 않다는 것을 들었습니다.

내 질문에 대답하지 않는 CrossValidated 관련 질문 :
이전에 질문 한 이전 질문과 비슷합니다. 계층 적 모델, 신경망, 그래픽 모델, 베이지안 네트워크의 관계는 무엇입니까? 그러나 더 구체적입니다.

더구나, 그 질문에 대한 답은 신경망을 명확하게 해주지 않습니다. 신경망의 표준 그래픽 표현의 노드가 임의의 변수를 나타내지 않더라도 반드시 그런 표현이 존재하지 않는다는 의미는 아닙니다. 특히 Markov 체인의 일반적인 그래픽 표현의 노드가 무작위 변수 아닌 가능한 상태 세트를 나타내는 방법에 대해 생각하고 있지만 간의 조건부 의존 관계를 보여주는 그래프를 만들 수도 있습니다X $X_i$$X_i$이는 모든 Markov 체인이 실제로 Markov 랜덤 필드임을 보여줍니다. 대답은 또한 신경망 (아마 볼츠만 기계를 포함)은 "차별적"이지만 그 주장이 의미하는 바를 설명하기 위해 더 자세하게 설명하지도 않고, 명백한 후속 질문도 "차별적 모델이 차별적이지 않습니까?"라고 말합니다. 해결되었습니다. 마찬가지로, 허용 된 답변은 Kevin Murphy의 웹 사이트 (베이지 네트워크에 대해 배울 때 그의 박사 학위 논문 중 일부를 읽음)로 연결되지만,이 웹 사이트는 베이지 네트워크에 대해서만 논의 하고 신경 네트워크에 대해서는 언급하지 않습니다. 다르다.

이 다른 질문은 아마도 내 것과 가장 비슷할 것입니다. 신경망을 그래픽 모델로 수학적으로 모델링 그러나 대답은 받아들이지 않았으며 마찬가지로 참고 문헌 만 제공하지만 참고 문헌은 설명하지 않습니다 (예 : 이 답변 ). 언젠가 나는 참고 문헌을 이해할 수 있기를 희망하지만 지금은 기본 지식 수준에 있으며 가능한 한 단순화 된 답변을 가장 높이 평가합니다. 또한 최고 답변 ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) 에 링크 된 토론토 코스는 이 문제를 다루지 만 자세히 설명하지는 않습니다. 또한 내 질문 에 대답 할 수있는 한 강의에 대한 메모 는 대중에게 제공되지 않습니다.

3 월 25 일 강의 13b : 신념 그물 7:43. 이 슬라이드에서는 Boltzmann Machines를 명심하십시오. 또한 숨겨진 단위와 보이는 단위가 있으며 모두 확률 적입니다. BM과 SBN은 차이점보다 공통점이 더 많습니다. 9:16. 요즘 "그래픽 모델"은 때때로 신경망의 특수 범주로 간주되지만, 여기에 설명 된 역사에서는 서로 다른 유형의 시스템으로 간주되었습니다.

볼츠만 기계 vs. 볼츠만 기계

AFAIK Boltzmann 기계는 일종의 그래픽 모델이며 신경망과 관련된 모델은 제한된 Boltzmann 기계 (RBM)입니다.

Boltzmann 기계와 제한된 Boltzmann 기계의 차이점은 Machine Learning A Probabilistic Perspective 책에서

RBM과 신경망

$$p(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp(\sum a_iv_i+\sum b_jh_j + \sum v_ih_jw_{ij})$$ $$p(h_j=1|\mathbf{v})=\sigma(b_j+\sum v_iw_{ij})$$ $$p(v_i=1|\mathbf{h})=\sigma(a_i+\sum h_jw_{ij})$$ $\mathbf{v}$$\mathbf{h}$$\sigma()$

조건부 확률은 동일한 형태의 네트워크 계층으로 계산되므로 RBM의 훈련 된 가중치를 신경망의 가중치 또는 교육의 시작점으로 직접 사용할 수 있습니다.

RBM 자체는 신경망 유형보다 그래픽 모델에 가깝다고 생각합니다. 방향이 지정되지 않았기 때문에 조건부 독립성을 잘 정의하고 자체 훈련 알고리즘 (예 : 대조적 발산)을 사용하기 때문입니다.

이것은 Boltzmann 머신이 실제로 특수한 그래픽 모델이라는 것을 인정 된 답변을 확인 / 확인합니다. 구체적으로,이 질문은 박스 4.C에 있는 Friedman, 확률 론적 그래픽 모델 : 원리와 기술 의 Koller, 127-127 쪽에 설명되어있다.

Markov 네트워크 모델의 가장 초기 유형 중 하나는 상호 작용하는 원자 시스템을 포함하는 물리적 시스템의 에너지 모델로 통계 물리학에서 처음 발생한 Ising 모델입니다 ... Ising 모델과 관련된 것은 Boltzmann 기계 분포입니다. 결과 에너지는 Ising 모델 (운동 4.12)로 재구성 될 수있다.

원래 통계 역학 문헌의 개념 인 Ising 모델을 그래픽 모델로 공식화 할 수있는 방법은 예를 들어 Jordan의 Wainwright, 41-43 페이지의 그래픽 모델, 지수 에 대한 예제 3.1., 섹션 3.3.에 자세히 설명되어 있습니다. 가족 및 변형 추론 .

분명히 Ising 모델은 1970 년대 후반과 1980 년대 초반 그래픽 모델 분야의 기초에 도움이되었으며, Steffen Lauritzen이 서적과 서적 인 Graphical Models 에 대해 소개 한 내용에 근거한 것 입니다. 이 해석은 또한 Koller와 Friedman이 인용 한 4.8 절에 의해 뒷받침되는 것으로 보인다.

Ising 모델에서 Boltzmann 기계의 개발은 Koller와 Friedman의 동일한 섹션을 기반으로 한 독립적 인 발생 일 수 있습니다. 이 논문 뒤의 작업이 1983 년보다 훨씬 일찍 시작되었을 수도 있지만, Markov 랜덤 필드를 Ising 모델의 일반화로 개발 한 초기 작업 후에 발생했습니다.

---

이 관계에 대한 나의 혼란은 1 년 전에이 질문을 썼을 때 물리학 논문에서 내가 Ising 모델과 뉴런에 대한 Boltzmann 기계 모델을 처음 만난 사실에서 비롯되었습니다. 콜러와 프리드먼이 언급했듯이 통계 물리학 커뮤니티 내의 Ising 모델과 관련 개념에 대한 문헌은 실제로 방대합니다.

내 경험상 그래픽 모델을 연구하는 통계 학자와 컴퓨터 과학자들은이 분야가 통계 역학과 어떻게 관련되어 있는지 언급하지만 통계 물리학 문헌에서 찾은 참조는 다른 분야와의 연관성을 언급하지 않는다는 점에서 상당히 복잡합니다. 그것을 악용하려고합니다. (따라서 다른 분야와 관련이있을 수 있다는 생각에 의문을 품고 혼란스러워했다.)

Ising 모델과 Boltzmann 머신에 대한 물리학 자의 관점에 대한 예는 내가 처음 배운 코스 의 교과서 를 참조하십시오 . 또한 내가 올바르게 기억한다면 위에 언급 된 요르단과 웨인 라이트 기사에서도 논의 된 내용을 의미합니다.