Bayes 네트워크, 신경망, 의사 결정 트리 및 Petri net의 차이점


30

신경망 , 베이지안 네트워크 , 의사 결정 트리페트리 넷 의 차이점 은 모두 그래픽 모델이지만 원인-효과 관계를 시각적으로 묘사하더라도 마찬가지입니다.


1
참고도 있다는 것을 베이지안 신경망 최대한 멀리 볼 수 기본적으로 매개 변수의 베이지안 치료 만 신경 네트워크입니다 (다만 혼동 될이).
naught101

답변:


27

와, 정말 큰 질문입니다! 대답의 짧은 버전은 도식적으로 유사한 시각적 표현을 사용하여 두 개의 모델을 표현할 수 있다고해서 그것이 구조적으로, 기능적으로 또는 철학적으로 원격으로 관련되어 있다는 의미는 아닙니다. 나는 FCM이나 NF에 익숙하지 않지만 다른 사람들과 조금 대화 할 수 있습니다.

베이지안 네트워크

베이지안 네트워크에서 그래프는 모델에서 다른 변수의 조건부 종속성을 나타냅니다. 각 노드는 변수를 나타내고 각 방향 모서리는 조건부 관계를 나타냅니다. 기본적으로 그래픽 모델은 체인 규칙의 시각화입니다.

신경망

신경망에서 각 노드는 시뮬레이션 된 "뉴런"입니다. 뉴런은 본질적으로 온 또는 오프이며, 그 활성화는 네트워크의 이전 "계층"에서 각 출력값의 선형 조합에 의해 결정된다.

의사 결정 트리

분류를 위해 의사 결정 트리를 사용한다고 가정 해 봅시다. 이 트리는 본질적으로 관측을 분류하는 방법을 설명하는 흐름도를 제공합니다. 우리는 나무의 뿌리에서 시작하고, 우리가 끝나는 잎이 예측 분류를 결정합니다.

보시다시피,이 세 가지 모델은 기본적으로 상자와 화살표로 표현할 수있는 것 외에도 서로 관련이 없습니다.


1
이론을 제외하고, 의사 결정 트리는 데이터를 분리하여 변수 간의 종속성을 처리하지 않습니까? 나는 기계 학습 분야에 익숙하지 않으며 어떤 시나리오에서 어떤 알고리즘을 사용해야하는지 직관적으로 이해하는 데 더 관심이 있습니다. 나에게 그것은 당신이 변수 사이의 정확한 관계를 알 때 베이지안 네트워크를 사용하는 것처럼 보이지만 어떤 변수는 다른 변수에 의존 할 수 있지만 정확히 어떤 변수를 알지 못한다고 생각할 때 결정 트리를 사용하는 것처럼 보입니다. 이것이 올바른지 또는 베이지안 네트워크 및 의사 결정 트리의 적용 가능성을 더 자세히 설명 할 수 있는지 알고 싶습니다.
Deepak Agarwal

저는 그 대답이 더 큰 그림을 스케치하기 위해 차이점과 유사점을 모두 지적해야한다고 생각합니다. "이 세 모델은 기본적으로 서로 관련이 없습니다." 의사 결정 트리와 신경망은 BN의 생성 방식과 비교하여 동일한 차별적 접근 방식을 취합니다. 나머지 두 기능은 기능을 나타내는 반면, 베이지안 네트워크는 일반화 된 기능 (분포)을 나타냅니다.
Lejafar

1
여기서 결정적인 것과 생성적인 차이가 잘못되었습니다. 신경망은 생성 모델을 구성하는 데 사용될 수 있습니다. 예를 들어 GAN을 고려하십시오. 질문은 "이 모델들은 시각적으로 비슷한 방식으로 표현됩니다. 그것이 구조적으로 유사하다는 것을 의미합니까?" 이 그래픽 표현이 어떻게 다른 정보를 인코딩하는지 설명했습니다.
David Marx

1
자신의 답변을 자유롭게 추가하십시오.
David Marx

2
@Lejafar, 다른 사람의 답변 내용을 변경하기 위해 편집을 사용하지 마십시오. 답변에 동의하지 않는 경우 의견을 남기거나 공감하거나 자신의 답변을 게시하십시오.
gung-복직 모니카

5

로지스틱 회귀는 제한되지 않은 그래픽 모델 인 조건부 랜덤 필드의 제한된 버전이며 베이지안 네트워크는 그래픽 모델이라는 것을 쉽게 알 수 있습니다 (Daphne Koller의 과정 참조 ). 그런 다음 로지스틱 회귀는 단일 계층 퍼셉트론으로 볼 수도 있습니다. 이것은 베이지안 네트워크와 신경 네트워크 사이에 그려 질 수 있다고 생각되는 유일한 링크입니다 (매우 느슨합니다).

나는 당신이 요구 한 다른 개념들 사이의 링크를 아직 찾지 못했습니다.


2
이 사이트에 오신 것을 환영합니다.이 기여에 감사드립니다. 이것을 쉽게 볼 수있는 방법을 자세히 설명해 주시겠습니까? 현재 이것은 사람들에게 명백하지 않은 주장 일뿐입니다. 정보가 링크에있을 수 있지만 링크가 중단 된 후에도이 스레드가 정보를 유지하기를 원합니다.
gung-복직 모니카

안녕 & 감사합니다! 나는 설명이 얼마나 세분화되어야하는지 잘 모르겠습니다 (다프네는 증거를 준비하는 데 적어도 30 분이 걸립니다). 그리고 그것은 내 마음에 특히 신선하지는 않지만, 일반적인 아이디어는 물류 모델이 단순화 된 버전이라는 것입니다. 깁스 분포 (Gibbs Distribution)는 CRF의 기초입니다.
Octavia-Maria Șulea

1
crf는 무엇을 의미합니까? crf = 조건부 임의 필드입니까?
생명의 테드 테일러

2

@David Marx의 훌륭한 답변. 분류 / 회귀 트리와 베이지안 네트워크의 차이점은 무엇인지 궁금합니다. 하나는 엔트로피를 기반으로 다른 예측 변수를 기반으로 결과를 클래스로 분류하고 다른 하나는 조건부 독립성과 확률 적 매개 변수 추정을 사용하여 그래픽 네트워크를 구축합니다.

베이지안 네트워크를 구축하는 방법론이 회귀 / 결정 트리에 비해 다르다고 생각합니다. 구조 학습 알고리즘, 모델 사용 목표 및 모델의 추론 기능이 다릅니다.

점수 기반 및 제한 기반 접근 방식은 의사 결정 트리 패밀리의 정보 획득 기준에 따라 도출 된 몇 가지 유사점으로 이해할 수 있습니다.


1

먼저 우리는 이러한 방법으로 해결하려고 시도한 문제의 본질을 진술하려고 시도합니다. 문제가 간단하거나 다항식 또는 NP 완료 인 경우 논리 규칙에 따라 공리를 간단히 재결합하여 결정 론적 답변을 제공 할 수있는 알고리즘을 플러그인 할 준비가되었습니다. 그러나 그렇지 않은 경우에는 추론 방법에 의존해야합니다. 여기서는 이질적인 것으로 간주하여 문제를 네트워크에 연결하려고 시도합니다. 노드는 평가 대상이고 에지는 구성 요소 사이의 경로입니다. .

모든 종류의 네트워크 기반 추론에서 우리는 선형 흐름의 논리 규칙에 따라 추상적 일반화와 조합을 사용하여 연역적으로 추론하지 않고 오히려 다른 방향으로 추론의 전파에 기반한 문제를 통해 작업함으로써 우리가 풀 수 있습니다. 한 번에 한 노드 씩 문제가 발생하여 향후 모든 노드와 관련된 새로운 사실을 발견하면 개선 될 수 있습니다. 이제 이러한 각 기술이 어떻게이 문제 해결 방법에 어떻게 접근하는지 살펴 보겠습니다.

신경망 : 신경망은 블랙 박스이며, 단순 노드 간의 연결이 반복되는 외부 보강에 의해 형성되고 강조된다고 믿어집니다 (시스템 외부에서는 확인할 수 없음). Connectionsitic 패러다임 의 문제에 접근합니다 . 문제가 해결되었을 가능성이 있지만 설명 할 방법이 거의 없습니다. 신경망은 이제 설명 문제가 간과되면 빠른 결과를내는 능력 때문에 널리 사용되었습니다.

베이지안 네트워크 : 베이지안 네트워크는 플로우 차트 만 순환 루프를 가질 수있는 플로우 차트와 유사한 방향성 비순환 그래프입니다. 흐름도와 달리 베이지안 네트워크는 시작점이 여러 개일 수 있습니다. 기본적으로 여러 모호한 지점에서 이벤트가 전파되는 것을 추적합니다. 분명히, 네트워크의 임의의 주어진 지점에서, 방문 될 노드의 확률은 선행 노드의 공동 확률에 의존한다. 베이지안 네트워크는 신경망과 다릅니다. 비록 확률론 적이므로 알고리즘처럼 법적인 가치 내에서 재검토되고 수정되는 각 단계에 기초하여 여러 안정적인 상태를 가질 수 있음에도 불구하고 명시 적 추론입니다. 확률 론적으로 추론하는 강력한 방법이지만 확률의 인코딩과 관련이 있습니다.

의사 결정 트리 : 의사 결정 트리는 다시 네트워크로, 신경망보다 베이지안 네트워크에 더 가까운 순서도와 비슷합니다. 각 노드는 신경망보다 더 많은 지능을 가지고 있으며 분기는 수학적 또는 확률 적 평가에 의해 결정될 수 있습니다. 결정은 확률이 높은 사건의 빈도 분포에 기초한 간단한 평가입니다. 그러나 베이지안 네트워크에서 결정은 이벤트 자체를 직접 관찰하는 것이 아니라 이벤트가 발생했음을 나타내는 '증거'분포에 근거합니다.

를 들어, 호랑이 보호 구역의 가장자리에있는 일부 히말라야 마을에서 사람을 먹는 호랑이의 움직임을 예측하려면 다음과 같이 두 가지 접근법 중 하나를 모델링 할 수 있습니다.

의사 결정 트리에서 우리는 호랑이가 열린 들판 중에서 선택할 것인지 아니면 강에서 선택할 것인지에 대한 전문가의 추정에 의존 할 것입니다. 베이지안 네트워크에서, 우리는 퍼그 마크로 호랑이를 추적하지만,이 퍼그 마크가 그 영토를 정기적으로 순찰하는 다른 비슷한 크기의 타이거의 마크 일 수 있음을 인정하는 방식으로 추론합니다. 신경망을 사용하려면 일반적으로 호랑이의 다양한 행동 특성, 예를 들어 수영 선호도, 열린 지역보다 덮인 지역의 선호도, 인간 거주지의 회피와 같은 다양한 행동 특성을 사용하여 모델을 반복적으로 훈련해야합니다. 호랑이가 취할 수있는 과정을 통해 네트워크가 일반적으로 추론 할 수 있도록합니다.


0

그래픽 모델과 관련하여 Petri Net은 시스템 동작을 공식화합니다. 그것은 언급 된 나머지 모델과 크게 다르기 때문에 판단이 어떻게 형성되는지에 관한 것입니다.

인용 된 이름의 대부분은 매우 포괄적 인 AI 개념을 나타냅니다. 예를 들어, 신경망을 사용하여 의사 결정 트리를 구축 할 수 있지만 신경망 자체는 앞서 언급 한 게시물로 베이지안에 의존 할 수 있습니다. 추론.


-3

좋은 질문이었고 나는 나 자신에게도 같은 질문을 해왔다. 신경망에는 두 종류 이상이 있으며 이전 답변은 경쟁 유형을 해결 한 것으로 보이지만 베이지안 네트워크는 경쟁 유형이 아닌 FFBP (feed-forward, back-propagation) 유형과 유사한 것으로 보입니다. 사실, 베이지안 네트워크가 FFBP의 일반화라고 말하고 싶습니다. 따라서 FFBP는 베이지안 네트워크의 한 유형이며 유사한 방식으로 작동합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.