Kullback-Leibler 거리의 적응?

이 사진을보세요 :

적색 밀도에서 표본을 추출하면 일부 값은 0.25보다 작을 것으로 예상되지만 청색 분포에서 이러한 표본을 생성하는 것은 불가능합니다. 결과적으로 빨간색 밀도에서 파란색 밀도까지의 쿨백-레 블러 거리는 무한대입니다. 그러나 두 곡선은 "자연적인 의미"로는 그다지 뚜렷하지 않습니다.

여기 내 질문이 있습니다 :이 두 곡선 사이의 유한 거리를 허용하는 쿨백-라이버 거리의 적응이 있습니까?

1996 년 Springer, Springer, 1996 년 Devroe, Gyorfi, Lugosi 의 확률 론적 패턴 이론 3 장을 살펴볼 수있다 . 특히 분화 에 관한 부분을 보라.$f$

$f$ 분산은 Kullback--Leibler의 일반화로 볼 수 있습니다 (또는 KL은 발산 의 특수한 경우로 볼 수 있음 ).$f$

일반적인 형식은

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

여기서 는 및 와 관련된 측정 값을 지배하는 측정 값 이고 는 만족하는 볼록 함수 입니다. ( 와 가 Lebesgue 측정과 관련하여 밀도 인 경우 표기법 을 됩니다.)p q f ( ⋅ ) f ( 1 ) = 0 p ( x ) q ( x ) d x λ ( d x $\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

를 사용하여 KL을 복구 합니다. 우리는 를 통해 Hellinger의 차이를 얻을 수 있으며 를 취함으로써 총 편차 또는 거리를. 후자는f ( x ) = ( 1 − $f(x) = x \log x$L1f(x)=$f(x) = (1 - \sqrt{x})^2$$L_1$$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

이 마지막 것은 적어도 당신에게 유한 한 대답을줍니다.

Density Estimation : The View$L_1$ 라는 또 다른 작은 책 에서 Devroye는 많은 다른 불변성 속성으로 인해이 후자의 거리를 사용할 것을 강력하게 주장합니다. 이 후자의 책은 아마도 이전의 책보다 붙잡기가 다소 어려우며 제목에서 알 수 있듯이 조금 더 전문적입니다.

---

부록 : 이 질문을 통해 @Didier가 제안하는 측정 값이 Jensen-Shannon Divergence라고 알려진 것으로 나타났습니다. 해당 질문에 제공된 답변에 대한 링크를 따르면이 수량의 제곱근이 실제로 메트릭이며 이전에 문헌에서 divergence 의 특별한 경우로 인식 되었음을 알 수 있습니다 . 나는 우리가이 질문에 대한 토론을 통해 바퀴를 (재빨리) "재창조"한 것으로 흥미로웠다. @Didier의 답변 아래의 의견에서 내가 준 해석도 이전에 인정되었습니다. 실제로 모든 것이 깔끔합니다.$f$

쿨백 - 라이 블러 발산 의 에 대하여 경우 무한 에 대하여 반드시 연속적이지 측정 가능한 세트가 존재이며, 되도록 및 . 또한 KL 발산은 일반적으로 라는 의미에서 대칭이 아닙니다 . 그 리콜 여전히 KL 발산을 기반으로하는이 두 가지 결점에서 벗어나는 방법은 중간 점 을 도입하는 것 따라서P Q P Q A Q ( A ) = 0 P ( A ) ≠ 0 κ ( P ∣ Q ) ≠ κ ( Q ∣ P ) κ ( P ∣ Q ) = ∫ P 로그 ( $\kappa(P|Q)$$P$$Q$$P$$Q$$A$$Q(A)=0$$P(A)\ne0$$\kappa(P\mid Q)\ne\kappa(Q\mid P)$R=

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ RPQRPQRη(P,Q)=κ(P∣R)+κ(Q∣R). η(P,Q)PQηη(P,Q)=η(Q,P)PQη $$R=\tfrac12(P+Q).$$ $R$는 확률 측정 값이며 와 는 항상 대해 절대적으로 연속적입니다 . 따라서 하나 사이의 "거리"고려할 수 와 여전히 KL 발산 있지만 사용에 기초하여 로 정의 이어서 모든 대 비음 및 유한 와 , 점에서 대칭이 마다에 대한 및 및 IFF .$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ $\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$P = $\eta(P,Q)=0$$P=Q$

동등한 공식은

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

부록 1 개 의 중간 도입 와 점에서 임의 아니라고 여기서 최소값은 확률 측정 값 세트를 초과합니다.Q η ( P , Q ) = 최소 [ κ ( P ∣ ⋅ ) + κ ( Q ∣ ⋅ ) ] $P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

부록 2 @ 카디널 은 볼록 함수 대해 는 분산이라고 말합니다. $\eta$f ( x ) = x log ( x ) - ( 1 + x ) log ( 1 + x ) + ( 1 + x ) log ( 2 ) $f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

두 분포 와 사이 의 Kolmogorov 거리는 CDF의 최고 표준입니다. (이것은 CDF의 두 그래프 사이에서 가장 큰 수직 불일치입니다.) 는 가정 된 분포이고 는 데이터 세트의 경험적 분포 함수 인 분포 테스트에 사용됩니다 .Q P $P$$Q$$P$$Q$

이것을 KL 거리의 "적응"으로 특성화하기는 어렵지만 "자연스럽고 유한 한"다른 요구 사항을 충족합니다.

또한 KL 발산이 실제 "거리"가 아니기 때문에 거리의 모든 공리적 특성을 보존하는 것에 대해 걱정할 필요가 없습니다. 일부 유한 값 대해 단조 변환 를 적용하여 값을 유한하게 만들면서 비 음성 속성을 유지할 수 있습니다 . 예를 들어 역 탄젠트가 좋습니다.$\mathbb{R_+} \to [0,C]$$C$

그렇습니다. Bernardo와 Reuda는 "내재적 불일치"라는 것을 정의했는데, 이는 모든 목적을 위해 KL- 분산의 "대칭"버전입니다. KL 분기를 에서 로 취함 본질적 불일치는 다음과 같이 주어집니다.$P$$Q$$\kappa(P \mid Q)$

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

고유 불일치 (또는 베이지안 참조 기준)를 검색하면이 측정에 대한 기사가 제공됩니다.

귀하의 경우 유한 한 KL 발산을 취할 것입니다.

KL에 대한 또 다른 대안은 Hellinger 거리입니다.

편집 : 설명, 일부 의견 제기 한 밀도 0 다른 밀도가 아닐 때 본질적 불일치가 유한하지 않을 것이라고 제안했습니다. 제로 밀도를 평가하는 작업이 제한 또는 으로 수행되는 경우에는 해당되지 않습니다 . 한계는 잘 정의 되어 있으며 KL 분기 중 하나는 이고 다른 하나는 분기됩니다. 이 메모를 보려면$Q\rightarrow 0$ $P\rightarrow 0$ $0$

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

적분 영역에 대해 으로 제한을 취 하면 두 번째 적분이 분기되고 첫 번째 적분 이이 영역 에서 수렴합니다 (조건이 한계와 적분을 교환 할 수 있다고 가정). 이는 이기 때문 입니다. 와 의 대칭으로 인해 결과도 됩니다.$P\rightarrow 0$$0$$\lim_{z\rightarrow 0} z \log(z) =0$$P$$Q$$Q$