두 개의 일 변량 가우스 간의 KL 분기

두 가우스 간의 KL- 분산을 결정해야합니다. 나는 내 결과를 비교하고 이 있지만, 나는 그들의 결과를 재현 할 수 없습니다. KL (p, p)에 대해 KL이 0이 아니기 때문에 결과가 분명히 잘못되었습니다.

어디에서 실수를하는지 궁금해하고 누군가가 실수를 할 수 있는지 물어 봅니다.

하자 및 . 주교의 PRML에서 나는 $p(x) = N(\mu_1, \sigma_1)$ $q(x) = N(\mu_2, \sigma_2)$

케이 엘 (피, 큐) = - \int 피 (엑스) 로그 큐 (엑스) 디 엑스 + \int 피 (엑스) 로그 피 (엑스) 디 엑스

$KL(p, q) = - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx$

모든 실제 라인에서 통합이 이루어지고

\int 피 (엑스) 로그 피 (엑스) 디 엑스 = - \frac{1}{2} (1 + 로그 2 π σ_{1}^{2}),

$\int p(x) \log p(x) dx = -\frac{1}{2} (1 + \log 2 \pi \sigma_1^2),$

그래서 나는 스스로를 로 제한합니다. $\int p(x) \log q(x) dx$

- \int 피 (엑스) 로그 \frac{1}{(2 π σ_{2}^{2})^{(1 / 2)}} {이자형}^{- \frac{(엑스 - μ_{2})^{2}}{2 σ_{2}^{2}}} 디 엑스,

$-\int p(x) \log \frac{1}{(2 \pi \sigma_2^2)^{(1/2)}} e^{-\frac{(x-\mu_2)^2}{2 \sigma_2^2}} dx,$

그것은 분리 될 수있다

\frac{1}{2} 로그 (2 π σ_{2}^{2}) - \int 피 (엑스) 로그 {이자형}^{- \frac{(엑스 - μ_{2})^{2}}{2 σ_{2}^{2}}} 디 엑스 .

$\frac{1}{2} \log (2 \pi \sigma_2^2) - \int p(x) \log e^{-\frac{(x-\mu_2)^2}{2 \sigma_2^2}} dx.$

내가 얻는 로그를 복용

\frac{1}{2} 로그 (2 π σ_{2}^{2}) - \int 피 (엑스) (- \frac{(엑스 - μ_{2})^{2}}{2 σ_{2}^{2}}) 디 엑스,

$\frac{1}{2} \log (2 \pi \sigma_2^2) - \int p(x) \bigg(-\frac{(x-\mu_2)^2}{2 \sigma_2^2} \bigg) dx,$

여기서 합계를 분리 하고 적분에서 $\sigma_2^2$ 얻습니다 .

\frac{1}{2} 로그 (2 π σ_{2}^{2}) + \frac{\int 피 (엑스) {엑스}^{2} 디 엑스 - \int 피 (엑스) 2 엑스 μ_{2} 디 엑스 + \int 피 (엑스) μ_{2}^{2} 디 엑스}{2 σ_{2}^{2}}

$\frac{1}{2} \log (2 \pi \sigma^2_2) + \frac{\int p(x) x^2 dx - \int p(x) 2x\mu_2 dx + \int p(x) \mu_2^2 dx}{2 \sigma_2^2}$

분들께 아래의 기대 연산자 나타내는 , 나는대로이를 다시 작성할 수 있습니다 $\langle \rangle$ $p$

\frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{⟨ x^{2} ⟩ - 2 ⟨ x ⟩ μ_{2} + μ_{2}^{2}}{2 σ_{2}^{2}} .

$\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\langle x^2 \rangle - 2 \langle x \rangle \mu_2 + \mu_2^2}{2 \sigma_2^2}.$

우리는 알고 . 그러므로 $var(x) = \langle x^2 \rangle - \langle x \rangle ^2$

⟨ x^{2} ⟩ = σ_{1}^{2} + μ_{1}^{2}

$\langle x^2 \rangle = \sigma_1^2 + \mu_1^2$

따라서

\frac{1}{2} \log (2 π σ^{2}) + \frac{σ_{1}^{2} + μ_{1}^{2} - 2 μ_{1} μ_{2} + μ_{2}^{2}}{2 σ_{2}^{2}},

$\frac{1}{2} \log (2 \pi \sigma^2) + \frac{\sigma_1^2 + \mu_1^2 - 2 \mu_1 \mu_2 + \mu_2^2}{2 \sigma_2^2},$

내가 넣을 수있는

\frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} .

$\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2}.$

모든 것을 하나로 모아서

\begin{aligned} 케이 엘 (피, 큐) & = - \int 피 (엑스) 로그 큐 (엑스) 디 엑스 + \int 피 (엑스) 로그 피 (엑스) 디 엑스 \\ = \frac{1}{2} 로그 (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} (1 + 로그 2 π σ_{1}^{2}) \\ = 로그 \frac{σ_{2}}{σ_{1}} + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} . \end{aligned}

$\begin{align*} KL(p, q) &= - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx\\\\ &= \frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)\\\\ &= \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2}. \end{align*}$

두 개의 동일한 가우시안에 대해 과 같기 때문에 잘못되었습니다 .

1

$1$

누구든지 내 오류를 발견 할 수 있습니까?

최신 정보

정리를 해준 mpiktas에게 감사합니다. 정답은 다음과 같습니다.

$KL(p, q) = \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2}$

normal-distribution kullback-leibler

— 바이엘
소스

처음에 잘못된 답변을 게시 해 주셔서 감사합니다. 방금 보고 즉시 적분이 0이라고 생각했습니다. 그것이 제곱되었다는 요점은 내 마음을 완전히 놓쳤다 :)

x - μ_{1}

$x-\mu_1$

— mpiktas

다변량 사례는 어떻습니까?

연구 논문에서 kld는 $ KL (p, q) = ½ * ((μ₁-μ₂) ² + σ₁² + σ₂²) * ((1 / σ₁²) + (1 / σ₂²))-2

— skyde

귀하의 질문에 오타가 있다고 생각합니다. 왜냐하면 그것을 확인할 수 없으며 나중에 질문에서 올바른 버전을 사용한 것 같습니다. 다음과 같아야한다고 생각합니다 (빼기 참고). 귀하의 질문을 수정하려고했으나 금지되어 있으므로 직접 해보십시오.

\int 피 (엑스) 로그 피 (엑스) 디 엑스 = \frac{1}{2} (1 + 로그 2 π σ_{1}^{2})

$\int p(x) \log p(x) dx = \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)$

\int 피 (엑스) 로그 피 (엑스) 디 엑스 = - \frac{1}{2} (1 + 로그 2 π σ_{1}^{2})

$\int p(x) \log p(x) dx = -\frac{1}{2} (1 + \log 2 \pi \sigma_1^2)$

— y-spreen

답은 1996 년 내재적 손실에 관한 논문 에도 있습니다 .

— 시안

답변:

알았어. 오류는 마지막 방정식에 있습니다.

\begin{aligned} 케이 엘 (피, 큐) & = - \int 피 (엑스) 로그 큐 (엑스) 디 엑스 + \int 피 (엑스) 로그 피 (엑스) 디 엑스 \\ = \frac{1}{2} 로그 (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} (1 + 로그 2 π σ_{1}^{2}) \\ = 로그 \frac{σ_{2}}{σ_{1}} + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} \end{aligned}

$\begin{align} KL(p, q) &= - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx\\\\ &=\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)\\\\ &= \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} \end{align}$

누락 된 유의하십시오 . 및 때 마지막 줄은 0이됩니다 . $-\frac{1}{2}$ $\mu_1=\mu_2$ $\sigma_1=\sigma_2$

— mpiktas
소스

@mpiktas 나는 그 질문을 정말로 의미했다.-bayerj 잘 알려진 연구원이고 나는 학부생이다. 똑똑한 사람들조차도 가끔 인터넷에서

— 묻는다.

p 또는

μ_{1} σ_{1}

$\mu_1 \sigma_1$

μ_{2} σ_{2}

$\mu_2 \sigma_2$

— Kong

@Kong p는 질문에 명시된 바와 같이 입니다.

N (u_{1}, σ_{1})

$N(u_1, \sigma_1)$

— zplizzi

나는 당신의 계산을 보지 못했지만 여기에 많은 세부 사항이 있습니다. 가정하자 평균이 정상 확률 변수의 밀도 과 분산 , 그리고 평균이 정상 확률 변수의 밀도 과 분산 . 에서 까지의 Kullback-Leibler 거리는 다음과 같습니다. $p$ $\mu_1$ $\sigma^2_1$ $q$ $\mu_2$ $\sigma^2_2$ $q$ $p$

$\int \left[\log( p(x)) - log( q(x)) \right] p(x) dx$

$=\int \left[ -\frac{1}{2} \log(2\pi) - \log(\sigma_1) - \frac{1}{2} \left(\frac{x-\mu_1}{\sigma_1}\right)^2 + \frac{1}{2}\log(2\pi) + \log(\sigma_2) + \frac{1}{2} \left(\frac{x-\mu_2}{\sigma_2}\right)^2 \right]$ $\times \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{1}{2}\left(\frac{x-\mu_1}{\sigma_1}\right)^2\right] dx$

$=\int \left\{\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2} \left[ \left(\frac{x-\mu_2}{\sigma_2}\right)^2 - \left(\frac{x-\mu_1}{\sigma_1}\right)^2 \right] \right\}$ $\times \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{1}{2}\left(\frac{x-\mu_1}{\sigma_1}\right)^2\right] dx$

$=E_{1} \left\{\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2} \left[ \left(\frac{x-\mu_2}{\sigma_2}\right)^2 - \left(\frac{x-\mu_1}{\sigma_1}\right)^2 \right]\right\}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} E_1 \left\{(X-\mu_2)^2\right\} - \frac{1}{2\sigma_1^2} E_1 \left\{(X-\mu_1)^2\right\}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} E_1 \left\{(X-\mu_2)^2\right\} - \frac{1}{2}$

( ) $(X - \mu_2)^2 = (X-\mu_1+\mu_1-\mu_2)^2 = (X-\mu_1)^2 + 2(X-\mu_1)(\mu_1-\mu_2) + (\mu_1-\mu_2)^2$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} \left[E_1\left\{(X-\mu_1)^2\right\} + 2(\mu_1-\mu_2)E_1\left\{X-\mu_1\right\} + (\mu_1-\mu_2)^2\right] - \frac{1}{2}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \frac{1}{2}$

— 옥람
소스