상호 정보와 상호 정보의 주요 차이점은 무엇입니까?

15

내 질문은 특히 네트워크 재구성에 적용됩니다

correlation mutual-information

25

상관 관계 는 두 변수 X와 Y 사이 의 선형 관계 (Pearson 's correlation) 또는 단조 관계 (Spearman 's correlation)를 측정합니다.

상호 정보가보다 일반적이며 X를 관찰 한 후 Y의 불확실성 감소를 측정합니다. 이는 결합 밀도와 개별 밀도의 곱 사이의 KL 거리입니다. 따라서 MI는 비단 조 관계 및 기타 복잡한 관계를 측정 할 수 있습니다.

— 롭 헨 드먼
소스

3

상관 관계는 반드시 선형 일 필요는 없습니다. Spearman의 rho는 단조 함수에 의존하지만 "상호 정보 계수"가 아닌 "상관 계수"라고합니다. 그리고 정당한 이유 : 두 변수 사이의 연관에 대한 정보를 제공합니다. 상호 정보, 중복 정보, 상호 분산, 상관 관계-이러한 용어는 매우 유사 하며이 질문은 네트워크 재구성 과 관련이 있으므로 올바른 용어로 잘못된 영역에 도달했다고 생각합니다. 이것은 매우 구체적인 질문입니다.

— aL3xa

1

좋은 지적. 단조로운 관계를 포함하도록 답변을 편집했습니다. 나는 네트워크 재구성에 대해 아무것도 모른다.

— Rob Hyndman

4

네트워크 리버스 엔지니어링과 관련하여 Rob의 대답에 추가하기 위해 네트워크에서 연관 링크가 아닌 인과 관계를 추출하려는 경우 상관 관계보다 MI가 선호 될 수 있습니다. 상관 관계 네트워크는 순전히 연관 적입니다. 그러나 MI의 경우 더 많은 데이터와 컴퓨팅 성능이 필요합니다.

— ars
소스