Kullback-Leibler 분기 분석

18

다음 두 확률 분포를 고려해 봅시다.

P       Q
0.01    0.002
0.02    0.004
0.03    0.006
0.04    0.008
0.05    0.01
0.06    0.012
0.07    0.014
0.08    0.016
0.64    0.928

나는 인 Kullback-Leibler 분기를 계산 했습니다. 일반적 으로이 숫자가 무엇을 보여주고 싶습니까? 일반적으로 Kullback-Leibler 분기는 하나의 확률 분포가 다른 확률 분포와 얼마나 멀리 떨어져 있는지 보여줍니다. 엔트로피 용어와 비슷하지만 숫자로 무엇을 의미합니까? 결과가 0.49 인 경우 대략 하나의 분포가 다른 분포와 50 % 떨어져 있다고 말할 수 있습니까? $0.492820258$

interpretation information-theory kullback-leibler

— 다토 다 투아시 빌리
소스

설명을 참조하십시오 여기에 일부 도움이 될 수있다.

— Glen_b-복지국 모니카

위키 백과 기사를 읽었습니까?

— Neil G

42

Kullback-Leibler Divergence는 대칭 적이 지 않고 삼각형의 부등식을 만족시키지 않기 때문에 미터법에 맞지 않습니다. 따라서 두 분포에서 수행되는 "역할"은 다르므로 연구중인 실제 현상에 따라 이러한 역할을 분포시키는 것이 중요합니다.

우리가 쓸 때 (OP는 밑이 2 인 로그를 사용하여 표현식을 계산했습니다)

K (P | | Q) = \sum_{i} \log_{2} (p_{i} / q_{i}) p_{i}

$\mathbb K\left(P||Q\right) = \sum_{i}\log_2 (p_i/q_i)p_i$

우리는 분포를 "목표 분포"(보통 실제 분포로 간주)로 간주하며, 분포 를 사용하여 근사합니다 . $P$ $Q$

지금,

\sum_{i} \log_{2} (p_{i} / q_{i}) p_{i} = \sum_{i} \log_{2} (p_{i}) p_{i} - \sum_{i} \log_{2} (q_{i}) p_{i} = - H (P) - E_{P} (\ln (Q))

$\sum_{i}\log_2 (p_i/q_i)p_i = \sum_{i}\log_2 (p_i)p_i-\sum_{i}\log_2 (q_i)p_i = -H(P) - E_P(\ln(Q))$

여기서 샤논 분포의 엔트로피 및 은 "교차 엔트로피라고 와 - 또한 비대칭은". $H(P)$ $P$ $-E_P(\ln(Q))$ $P$ $Q$

쓰기

K (P | | Q) = H (P, Q) - H (P)

$\mathbb K\left(P||Q\right) = H(P,Q) - H(P)$

(여기서도, 우리가 교차 엔트로피 문제의 표현에 분포를 쓰는 순서는 대칭이 아니기 때문에), KL-Divergence가 피할 수없는 분포 의 엔트로피에 대한 엔트로피의 증가를 반영한다는 것을 알 수 있습니다 . $P$

그래서, 더 , KL-차이가 낫다 되지 분포 사이의 "거리 측정"으로 해석, 오히려 같은 수 엔트로피 증가의 측정으로 인해 실제 유통이 아닌 진정한 유통 자체에 근사치의 사용에 .

그래서 우리는 정보 이론의 땅에 있습니다. 마스터 (Cover & Thomas)로부터 들으려면 "

... 임의 변수 의 실제 분포 를 알고 있다면 평균 설명 길이 로 코드를 구성 할 수 있습니다. 대신, 우리는 배포에 대한 코드를 이용하면 , 우리는 필요 평균적 비트 랜덤 변수를 설명하기. $P$ $H(P)$ $Q$ $H(P) + \mathbb K (P||Q)$

같은 현명한 사람들이 말합니다

분포가 대칭 적이 지 않고 삼각 부등식을 만족시키지 않기 때문에 분포 사이의 실제 거리는 아닙니다. 그럼에도 불구하고 상대 엔트로피를 분포 사이의 "거리"로 생각하는 것이 종종 유용합니다.

그러나이 후자의 접근법은 일부 추정 절차를 최적화하기 위해 KL- 분산 을 최소화 하려고 할 때 주로 유용하다 . 수치 자체를 해석하는 데는 유용하지 않으며 "엔트로피 증가"접근 방식을 선호해야합니다.

질문의 특정 분포 (항상 밑이 2 인 로그를 사용)

K (P | | Q) = 0.49282, H (P) = 1.9486

$\mathbb K\left(P||Q\right) = 0.49282,\;\;\;\; H(P) = 1.9486$

$Q$ $P$

— 알레 코스 파파도풀로스
소스

매우 유용하고 유익한 답변.

— MadHatter

1

KL Divergence는 Q의 기호를 사용하여 P의 기호를 나타내는 데 필요한 정보 손실을 측정합니다. 값이 0.49 인 경우 평균적으로 P의 두 개의 기호를 Q의 두 개의 해당 기호와 1 비트의 추가 정보로 인코딩 할 수 있습니다. .

— 아론
소스

1

배포 된 정보 소스를 고려하십시오 $P$ 배포 된 정보 소스에 이상적인 코드를 사용하여 인코딩 된 $Q$ . 이상적인 코드를 사용하여 얻을 수있는 최소 인코딩 비용 이상의 추가 인코딩 비용 $P$ 는 IS KL은 발산 .

— 닐 G
소스