정보 획득, 상호 정보 및 관련 조치

Andrew More 는 정보 획득을 다음과 같이 정의합니다 .

$IG(Y|X) = H(Y) - H(Y|X)$

여기서 는 조건부 엔트로피 입니다. 그러나 Wikipedia는 위의 양 상호 정보를 호출합니다 .$H(Y|X)$

반면 Wikipedia는 정보 획득 을 두 개의 임의 변수 사이의 Kullback–Leibler 분기 (일명 정보 분기 또는 상대 엔트로피)로 정의합니다.

$D_{KL}(P||Q) = H(P,Q) - H(P)$

여기서 는 교차 엔트로피 로 정의됩니다 .$H(P,Q)$

이 두 정의는 서로 일치하지 않는 것 같습니다.

또한 다른 저자들이 두 가지 추가 관련 개념, 즉 차동 엔트로피와 상대 정보 획득에 대해 이야기하는 것을 보았습니다.

이 수량들 사이의 정확한 정의 또는 관계는 무엇입니까? 그들 모두를 다루는 좋은 교과서가 있습니까?

• 정보 획득
• 상호 정보
• 교차 엔트로피
• 조건부 엔트로피
• 차동 엔트로피
• 상대 정보 획득

Kullback-Leibler 발산을 "정보 게인"이라고 부르는 것은 비표준이라고 생각합니다.

첫 번째 정의는 표준입니다.

편집 : 그러나 는 상호 정보라고도 할 수 있습니다.$H(Y)−H(Y|X)$

표준화되고 정확하며 일관된 명명 체계를 가진 과학적 규율을 찾을 수 없다고 생각합니다. 따라서 수식은 일반적으로 더 나은 아이디어를 제공하기 때문에 항상 수식을 살펴 봐야합니다.

교과서 : "다른 종류의 엔트로피에 대한 좋은 소개"를 참조하십시오 .

또한 : Cosma Shalizi : 복잡한 시스템 과학의 방법 및 기법 : Thomas S. Deisboeck의 1 장 (33--114 페이지) 및 생물 의학의 복잡한 시스템 과학 (J. Yasha Kresh) (eds.), http : // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray : 엔트로피 및 정보 이론 http://ee.stanford.edu/~gray/it.html

David MacKay : 정보 이론, 추론 및 학습 알고리즘 http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

또한 "엔트로피와 정보 획득"이란 무엇입니까? "

와 사이의 Kullback-Leiber Divergence는 쉽게 도출 할 수있는 상호 정보와 동일합니다.$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

참고 :$p(y) = \sum_x p(x,y)$

상호 정보는 Kullback-Liebler를 로 사용하여 정의 할 수 있습니다

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

머신 러닝 모델을 훈련시키는 기능으로 텍스트 데이터 세트에서 상호 정보 추출

두 정의 모두 정확하고 일관성이 있습니다. 설명이 필요한 여러 지점을 지적 할 때 명확하지 않은 부분이 무엇인지 잘 모르겠습니다.

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$같은 것에 대해 모두 다른 이름입니다. 다른 맥락에서 이러한 이름 중 하나가 바람직 할 수 있습니다 . 여기서는 Information 이라고 부릅니다 .

$D_{KL}$$K_{LD}$$K_{LD}$독립적 . 우리는 그 수량 정보 라고 부릅니다 .

$\operatorname{H} (X,Y)$

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ $\operatorname{H}(X,Y)$$DKL(P||Q)=H(P,Q)−H(P)$$\operatorname{H}(P,Q)$

공동 엔트로피와 교차 엔트로피는 동일 하지 않습니다 .

$H_q(p)$

이 표기법이 받아 들여지고 위키 페이지가 업데이트되기를 바랍니다.