Bhattacharyya 거리와 KL 발산의 차이점

33

다음 질문에 대한 직관적 인 설명을 찾고 있습니다.

통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까?

그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?

— JewelSue
소스

36

Bhattacharyya 계수 로 정의 및 거리로 전환 할 수있는 로서 호출된다Hellinger 거리. 이Hellinger 거리와Kullback-Leibler 발산간의 연결은

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ 여기에 이미지 설명을 입력하십시오

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— 시안
소스

2

훌륭한! 이 설명은 내가 간절히 찾고있는 것이어야합니다. 마지막 질문 : 불평등은 어떤 경우 (또는 어떤 종류의 P와 Q) 평등이 되는가?

— JewelSue

1

주어진

- \log (\cdot)

$-\log(\cdot)$ 함수는 엄격하게 볼록합니다. 평등의 유일한 경우는 비율이

p (x) / q (x)

$p(x)/q(x)$ 일정하다

x

$x$ .

— 시안

5

그리고 유일한 경우

p (x) / q (x)

$p(x)/q(x)$ 일정하다

x

$x$ 때

p = q

$p=q$ .

— Xi'an

8

나는 두 사람 사이의 명시적인 관계를 알지 못했지만 내가 찾을 수있는 것을보기 위해 그들에게 빠른 찌르기를하기로 결정했습니다. 따라서 이것은 많은 대답이 아니라 관심의 대상입니다.

간단하게하기 위해, 이산 분포에 대해 작업 해 봅시다. BC 거리를 다음과 같이 쓸 수 있습니다.

디_{기원전} (피, 큐) = - \ln \sum_{엑스} (피 (엑스) 큐 (엑스))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

KL 발산

디_{KL} (피, 큐) = \sum_{엑스} 피 (엑스) \ln \frac{피 (엑스)}{큐 (엑스)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

이제 우리는 합계에 로그를 넣을 수 없습니다. $\text{BC}$ 거리를 벗어나서 통나무 바깥쪽으로 통나무를 당겨 봅시다 $\text{KL}$ 분기:

디_{KL} (피, 큐) = - \ln \prod_{엑스} {(\frac{큐 (엑스)}{피 (엑스)})}^{피 (엑스)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

때 그들의 행동을 고려하자 $p$ 균일 한 분포로 고정 $n$ 가능성 :

디_{KL} (피, 큐) = - \ln 엔 - \ln {(\prod_{엑스} 큐 (엑스))}^{\frac{1}{엔}} 디_{기원전} (피, 큐) = - \ln \frac{1}{\sqrt{엔}} - \ln \sum_{엑스} \sqrt{큐 (엑스)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

왼쪽에는 기하 평균 과 형태가 비슷한 로그가 있습니다 . 오른쪽에는 산술 평균 의 로그와 비슷한 것이 있습니다 . 내가 말했듯이, 이것은 많은 대답이 아니지만 BC 거리와 KL 발산이 사이의 편차에 어떻게 반응하는지에 대한 깔끔한 직감을 제공한다고 생각합니다 $p$ 과 $q$ .

— 앤디 존스
소스