계층 적 모델, 신경망, 그래픽 모델, 베이지안 네트워크의 관계는 무엇입니까?

그것들은 모두 노드에 의한 임의의 변수와 (아마도 지시 된) 가장자리를 통한 (의) 의존성을 나타내는 것처럼 보입니다. 나는 베이지안의 관점에 관심이 있습니다.

베이지안 네트워크는 일종의 그래픽 모델입니다. 다른 "큰"유형의 그래픽 모델은 Markov Random Field (MRF)입니다. 그래픽 모델은 추론, 추정 및 일반적으로 세계를 모델링하는 데 사용됩니다.

계층 적 모델이라는 용어는 다른 영역에서 많은 것을 의미하는 데 사용됩니다.

신경망에는 "그래프"가 제공되지만 일반적으로 의존성 정보를 인코딩하지 않으며 노드는 임의의 변수를 나타내지 않습니다. NN은 차별적이기 때문에 다릅니다. 인기있는 신경망은 분류 및 회귀에 사용됩니다.

Kevin Murphy는이 주제에 대한 훌륭한 소개를 제공합니다 .

마찬가지로 @carlosdc는 상기 베이지안 네트워크 그래픽 모델의 유형 (즉, 그 구조가 방향성 비순환 그래프 (directed acyclic graph) (DAG)는 조건부 독립 특성 세트를 정의한다). 계층 적 베이 즈 모델 은 DAG로 표현 될 수도 있습니다. Bellazzi 등의 불확실한 데이터에 대한 계층 적 Naive Bayes 분류기는 이러한 모델의 분류에 대한 좋은 소개를 제공합니다. 계층 적 모델에 대해서는 적절한 키워드로 인터넷 검색을 통해 많은 기사를 검색 할 수 있다고 생각합니다. 예를 들어, 나는 이것을 찾았습니다 :

CH Jackson, NG Best 및 S. Richardson. 변수가 다른 여러 데이터 세트에서 회귀 분석을위한 베이지안 그래픽 모델 . 생물 통계학 (2008) 10 (2) : 335-351.

Michael I. Jordan은 바이오 인포 매틱스 또는 자연어 처리 의 팩토리얼 히든 마르코프 (Hidden Markov) 모델 을 기반으로하는 다양한 애플리케이션과 함께 그래픽 모델 에 대한 훌륭한 튜토리얼을 제공합니다. 그의 저서 인 Learning in Graphical Models (MIT Press, 1998)도 읽을 가치가 있습니다 (GM에 버그 코드를 사용한 구조 모델링에 적용 , 575-598 페이지).

신경망은 사전을 요구하지 않지만 신경망의 각 숨겨진 노드 (뉴런)는 CPD-선형 노드의 경우 잡음이있는 OR / AND CPD-로지스틱 노드의 경우 시그 모이 드 CPD로 간주 될 수 있습니다.

따라서 신경망은 각각 선형 / 시그 모이 드 CPD가있는 다중 계층의 숨겨진 노드로 볼 수 있습니다.

Coursera 또는 그녀의 교과서에서 Koller의 수업은 CPD 유형에 대한 좋은 참고 자료가되어야합니다.