답변:
와, 정말 큰 질문입니다! 대답의 짧은 버전은 도식적으로 유사한 시각적 표현을 사용하여 두 개의 모델을 표현할 수 있다고해서 그것이 구조적으로, 기능적으로 또는 철학적으로 원격으로 관련되어 있다는 의미는 아닙니다. 나는 FCM이나 NF에 익숙하지 않지만 다른 사람들과 조금 대화 할 수 있습니다.
베이지안 네트워크
베이지안 네트워크에서 그래프는 모델에서 다른 변수의 조건부 종속성을 나타냅니다. 각 노드는 변수를 나타내고 각 방향 모서리는 조건부 관계를 나타냅니다. 기본적으로 그래픽 모델은 체인 규칙의 시각화입니다.
신경망
신경망에서 각 노드는 시뮬레이션 된 "뉴런"입니다. 뉴런은 본질적으로 온 또는 오프이며, 그 활성화는 네트워크의 이전 "계층"에서 각 출력값의 선형 조합에 의해 결정된다.
의사 결정 트리
분류를 위해 의사 결정 트리를 사용한다고 가정 해 봅시다. 이 트리는 본질적으로 관측을 분류하는 방법을 설명하는 흐름도를 제공합니다. 우리는 나무의 뿌리에서 시작하고, 우리가 끝나는 잎이 예측 분류를 결정합니다.
보시다시피,이 세 가지 모델은 기본적으로 상자와 화살표로 표현할 수있는 것 외에도 서로 관련이 없습니다.
로지스틱 회귀는 제한되지 않은 그래픽 모델 인 조건부 랜덤 필드의 제한된 버전이며 베이지안 네트워크는 그래픽 모델이라는 것을 쉽게 알 수 있습니다 (Daphne Koller의 과정 참조 ). 그런 다음 로지스틱 회귀는 단일 계층 퍼셉트론으로 볼 수도 있습니다. 이것은 베이지안 네트워크와 신경 네트워크 사이에 그려 질 수 있다고 생각되는 유일한 링크입니다 (매우 느슨합니다).
나는 당신이 요구 한 다른 개념들 사이의 링크를 아직 찾지 못했습니다.
@David Marx의 훌륭한 답변. 분류 / 회귀 트리와 베이지안 네트워크의 차이점은 무엇인지 궁금합니다. 하나는 엔트로피를 기반으로 다른 예측 변수를 기반으로 결과를 클래스로 분류하고 다른 하나는 조건부 독립성과 확률 적 매개 변수 추정을 사용하여 그래픽 네트워크를 구축합니다.
베이지안 네트워크를 구축하는 방법론이 회귀 / 결정 트리에 비해 다르다고 생각합니다. 구조 학습 알고리즘, 모델 사용 목표 및 모델의 추론 기능이 다릅니다.
점수 기반 및 제한 기반 접근 방식은 의사 결정 트리 패밀리의 정보 획득 기준에 따라 도출 된 몇 가지 유사점으로 이해할 수 있습니다.
먼저 우리는 이러한 방법으로 해결하려고 시도한 문제의 본질을 진술하려고 시도합니다. 문제가 간단하거나 다항식 또는 NP 완료 인 경우 논리 규칙에 따라 공리를 간단히 재결합하여 결정 론적 답변을 제공 할 수있는 알고리즘을 플러그인 할 준비가되었습니다. 그러나 그렇지 않은 경우에는 추론 방법에 의존해야합니다. 여기서는 이질적인 것으로 간주하여 문제를 네트워크에 연결하려고 시도합니다. 노드는 평가 대상이고 에지는 구성 요소 사이의 경로입니다. .
모든 종류의 네트워크 기반 추론에서 우리는 선형 흐름의 논리 규칙에 따라 추상적 일반화와 조합을 사용하여 연역적으로 추론하지 않고 오히려 다른 방향으로 추론의 전파에 기반한 문제를 통해 작업함으로써 우리가 풀 수 있습니다. 한 번에 한 노드 씩 문제가 발생하여 향후 모든 노드와 관련된 새로운 사실을 발견하면 개선 될 수 있습니다. 이제 이러한 각 기술이 어떻게이 문제 해결 방법에 어떻게 접근하는지 살펴 보겠습니다.
신경망 : 신경망은 블랙 박스이며, 단순 노드 간의 연결이 반복되는 외부 보강에 의해 형성되고 강조된다고 믿어집니다 (시스템 외부에서는 확인할 수 없음). Connectionsitic 패러다임 의 문제에 접근합니다 . 문제가 해결되었을 가능성이 있지만 설명 할 방법이 거의 없습니다. 신경망은 이제 설명 문제가 간과되면 빠른 결과를내는 능력 때문에 널리 사용되었습니다.
베이지안 네트워크 : 베이지안 네트워크는 플로우 차트 만 순환 루프를 가질 수있는 플로우 차트와 유사한 방향성 비순환 그래프입니다. 흐름도와 달리 베이지안 네트워크는 시작점이 여러 개일 수 있습니다. 기본적으로 여러 모호한 지점에서 이벤트가 전파되는 것을 추적합니다. 분명히, 네트워크의 임의의 주어진 지점에서, 방문 될 노드의 확률은 선행 노드의 공동 확률에 의존한다. 베이지안 네트워크는 신경망과 다릅니다. 비록 확률론 적이므로 알고리즘처럼 법적인 가치 내에서 재검토되고 수정되는 각 단계에 기초하여 여러 안정적인 상태를 가질 수 있음에도 불구하고 명시 적 추론입니다. 확률 론적으로 추론하는 강력한 방법이지만 확률의 인코딩과 관련이 있습니다.
의사 결정 트리 : 의사 결정 트리는 다시 네트워크로, 신경망보다 베이지안 네트워크에 더 가까운 순서도와 비슷합니다. 각 노드는 신경망보다 더 많은 지능을 가지고 있으며 분기는 수학적 또는 확률 적 평가에 의해 결정될 수 있습니다. 결정은 확률이 높은 사건의 빈도 분포에 기초한 간단한 평가입니다. 그러나 베이지안 네트워크에서 결정은 이벤트 자체를 직접 관찰하는 것이 아니라 이벤트가 발생했음을 나타내는 '증거'분포에 근거합니다.
예 를 들어, 호랑이 보호 구역의 가장자리에있는 일부 히말라야 마을에서 사람을 먹는 호랑이의 움직임을 예측하려면 다음과 같이 두 가지 접근법 중 하나를 모델링 할 수 있습니다.
의사 결정 트리에서 우리는 호랑이가 열린 들판 중에서 선택할 것인지 아니면 강에서 선택할 것인지에 대한 전문가의 추정에 의존 할 것입니다. 베이지안 네트워크에서, 우리는 퍼그 마크로 호랑이를 추적하지만,이 퍼그 마크가 그 영토를 정기적으로 순찰하는 다른 비슷한 크기의 타이거의 마크 일 수 있음을 인정하는 방식으로 추론합니다. 신경망을 사용하려면 일반적으로 호랑이의 다양한 행동 특성, 예를 들어 수영 선호도, 열린 지역보다 덮인 지역의 선호도, 인간 거주지의 회피와 같은 다양한 행동 특성을 사용하여 모델을 반복적으로 훈련해야합니다. 호랑이가 취할 수있는 과정을 통해 네트워크가 일반적으로 추론 할 수 있도록합니다.