불연속 분포와 연속 분포간에 KL 분기를 적용 할 수 있습니까?

12

나는 수학자가 아닙니다. KL Divergence에 대한 인터넷을 검색했습니다. 내가 배운 것은 KL 분기는 입력 분포와 관련하여 모델의 분포를 근사 할 때 손실되는 정보를 측정한다는 것입니다. 나는 두 개의 연속 또는 이산 분포 사이에서 이것을 보았습니다. 연속과 불연속 또는 그 반대로 할 수 있습니까?

distributions mathematical-statistics kullback-leibler

— 프라 카쉬
소스

관련 : stats.stackexchange.com/q/6907/2970

— 추기경

4

아니요 : KL 분기는 공통 공간의 분포에만 정의됩니다. 및 두 가지 분포에서 점 의 확률 밀도에 대해 묻습니다 . 경우 에 분포 및 의 분포 다음, 점에 대한 이해하지 않는다 및 는 점에 적합하지 않습니다 . 실제로, 우리는 다른 차원 공간 (또는 이산 적 또는 기본 확률 공간이 일치하지 않는 경우)에 걸쳐 두 개의 연속 분포에 대해이를 수행 할 수도 없습니다. $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

특정한 경우를 염두에두고 있다면, 분포들 사이에 비슷한 정신적 비 유사성 척도를 생각해 낼 수 있습니다. 예를 들어, 불연속 코드 (예를 들어 정보가 손실 됨)에 대한 코드로 연속 분포를 인코딩하는 것이 합리적 일 수 있습니다 (예 : 불연속 경우 가장 가까운 지점으로 반올림).

— 더갈
소스

불연속 분포와 연속 분포 사이의 KL 분기가 잘 정의되어 있습니다.

— Olivier

@Olivier 일반적인 정의에는 공통적 인 지배력이 필요합니다.

— Dougal

1

P와 Q가 다른 공간에 정의되어 있으면 바로 맞습니다. 그러나 공통의 측정 가능한 공간에서 이러한 측정 값은 항상 존재하며 (예를 들어 P + Q 사용) KL 발산은 특정 측정 값 선택에 의존하지 않습니다.

— Olivier

8

그렇습니다. 연속 변수와 불연속 임의 변수 사이의 KL 차이는 잘 정의되어 있습니다. 경우 와 일부 공간에 분포되어 후 모두 및 유무 밀도 , 에 대해 와 $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

예를 들어, 경우 는 Lebesgue의 측도이고 은 의 점 질량 이고 , 및 $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— 올리비에
소스

가 지배력과 무관 하다는 것을 어떻게 증명 합니까?

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— 가브리엘 로몬

측정 정리 변경.

— Olivier

1

일반적으로 아닙니다. KL 발산은

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

이 제공 에 대해 절대적으로 연속 모두 및 이다 -finite (즉, 여기서 조건 잘 정의된다). $P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

일부 일반적인 공간에서 측정 값 사이의 '연속-이산'KL 발산의 경우 계수 측정과 관련하여 Lebesgue 측정 값이 절대적으로 연속적이지만 계수 측정 값이 -finite 가 아닙니다 . $\sigma$

— jtobin
소스