KL (Kullback-Leibler) 발산의 최대 값은 얼마입니까?

15

이 튜토리얼에서 KL 분기를 구현하는 것은 매우 간단합니다.

kl = (model * np.log(model/actual)).sum()

이해 된 바와 같이, 확률 분포 model및 actual<= 1이어야한다.

내 질문은 k의 최대 한계 / 최대 가능한 값은 무엇입니까?입니다. 내 코드의 최대 경계와 관련하여 kl 거리의 최대 값을 알아야합니다.

machine-learning distance kullback-leibler

— 사용자
소스

이 중 중복 stats.stackexchange.com/q/333877/103153

— 러너 장

19

또는 동일한 분포를 사용하더라도 한 분포가 다른 분포보다 꼬리가 더 뚱뚱 할 때. 취합니다 때

K L (P | | Q) = \int p (x) \log (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$

p (x) = \overset{Cauchy density}{\overset{⏞}{\frac{1}{π} \frac{1}{1 + x^{2}}}} q (x) = \overset{Normal density}{\overset{⏞}{\frac{1}{\sqrt{2 π}} \exp {- x^{2} / 2}}}

$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$

및

K L (P | | Q) = \int \frac{1}{π} \frac{1}{1 + x^{2}} \log p (x) d x + \int \frac{1}{π} \frac{1}{1 + x^{2}} [\log (2 π) / 2 + x^{2} / 2] d x

$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$

다음과 같이 경계를 유지하는 다른 거리가 있습니다

\int \frac{1}{π} \frac{1}{1 + x^{2}} x^{2} / 2 d x = + \infty

$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$

총 변동 거리에 해당 하는 거리 $L¹$
Wasserstein 거리
헬 링거 거리

— 시안
소스

1

아주 좋은 말 @ Xi'an

— Carlos Campos

감사합니다 @ Xi'an은 두 분포에 대한 모든 빈의 합조차도 1이고 kl 분기가 최대 한계가 없다는 것을 의미합니다. 최대 경계 / 정적 경계를 정의한 두 확률 분포에 대한 다른 옵션 거리 함수가 있습니까?

— user46543

이 경우 P는 Q와 관련하여 절대적으로 연속적입니까?

— Sangwoong Yoon

어떤 "경우"? KL은 내가 믿고 있다고해서 절대적으로 연속적이지 않은 분포에 대해서는 그렇게 정의되지 않았습니다.

— Xi'an

13

동일한 지원이없는 배포의 경우 KL 분기는 제한되지 않습니다. 정의를보십시오 :

K L (P | | Q) = \int_{- \infty}^{\infty} p (x) \ln (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$

P 및 Q는 동일하지 지지체가있는 경우, 어떤 시점이 존재 및 KL 무한대로 이동 만드는. 이것은 또한 개별 배포판에도 적용됩니다. $x'$ $p(x') \neq 0$ $q(x') = 0$

편집 : 어쩌면 확률 분포 사이의 발산을 측정하는 더 좋은 선택은 메트릭이며 KL 발산보다 더 나은 속성을 갖는 소위 Wasserstein 거리 일 것입니다. 딥 러닝 응용 프로그램으로 인해 인기가 높아졌습니다 (WGAN 네트워크 참조).

— 카를로스 캄포스
소스

고맙습니다 @ carlos-campos 실제 분포와 모델 분포 모두 동일한 빈의 합계 = 1 인 동일한 조건을 갖습니다. 즉, K1 분기가 여전히 최대 한계를 갖지 않습니까? wassertein 거리를 볼 것입니다

— user46543

Wasserstein 또는 Earth mover 거리에 명시적인 최대 한계가 있습니까? 내가 필요하기 때문에.

— user46543

@ user46543 Wasserstein 거리는 만큼 높을 수있다

\infty

$\infty$

— Mark L. Stone

안녕 @ MarkL.Stone 그래서 정적 최대 경계를 가진 두 확률 분포 사이의 거리를 계산하기위한 거리 함수가 없습니까? 예를 들어 두 확률 분포의 합은 1이고 거리의 최대 경계는 1입니다. 맞습니까?

— user46543

4

Carlos 와 Xi'an 의 탁월한 답변을 추가하기 위해 KL 발산이 유한하기에 충분한 조건은 임의의 변수가 동일한 소형지지를 가지며 참조 밀도가 제한되는 것입니다. . 이 결과는 또한 KL 발산의 최대치에 대한 암시 적 한계를 설정합니다 (아래의 정리 및 증명 참조).

정리 : 밀도 와 가 동일한 소형 지지대 를 갖고 밀도 가 해당 지지대에 한정되어있는 경우 (즉, 유한 상한이있는 경우) . $p$ $q$ $\mathscr{X}$ $p$ $KL(P||Q) < \infty$

증명 : 는 간단한 지원 때문에 긍정적 인 가치가 없음을 의미합니다. $q$ $\mathscr{X}$

\underline{q} \equiv inf_{x \in X} q (x) > 0.

$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$

마찬가지로, 는 대한 간단한 지원을 가지고 있기 때문에 긍정적 인 가치가 있음을 의미합니다. $p$ $\mathscr{X}$

\bar{p} \equiv sup_{x \in X} p (x) > 0.

$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$

또한 이들은 모두 동일한 지원에 대한 밀도이며 후자는 제한적이므로 있습니다. 이것은 다음을 의미합니다. $0 < \underline{q} \leqslant \bar{p} < \infty$

sup_{x \in X} \ln (\frac{p (x)}{q (x)}) ⩽ \ln (\bar{p}) - \ln (\underline{q}) .

$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$

이제시키는 후자의 상한, 우리는 분명히 가져야 그래서 그: $\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$ $0 \leqslant \underline{L} < \infty$

\begin{aligned} K L (P | | Q) & = \int_{X} \ln (\frac{p (x)}{q (x)}) p (x) d x \\ ⩽ sup_{x \in X} \ln (\frac{p (x)}{q (x)}) \int_{X} p (x) d x \\ ⩽ (\ln (\bar{p}) - \ln (\underline{q})) \int_{X} p (x) d x \\ = \underline{L} < \infty . \end{aligned}

$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$

이것은 필요한 상한을 정해 정리를 증명한다. $\blacksquare$

— 벤-복원 모니카
소스

결과는 정확하지만 제약이 심합니다. Beta 밀도는 때 소형 지원을받지 않습니다 .

B (α, β)

${\cal B}(\alpha,\beta)$

max (α, β) > 1

$\max(\alpha,\beta)>1$

— 시안

사실입니다. 결국 충분한 조건 일뿐입니다. 약한 조건은 환영합니다!

— 벤-복원 모니카