이 현명한 신사,
Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001). Laplace 배포 및 일반화 : 커뮤니케이션, 경제, 엔지니어링 및 재무에 대한 응용 프로그램을 통한 재 방문 (No. 183). 봄 병아리.
운동으로 우리에게 도전하십시오 :
증명은 주어진 평균과 분산에 대해 법선이 최대 엔트로피라는 정보 이론적 증거를 따를 수 있습니다. 구체적으로, 상기 라플라스 밀도로하고, 다른 밀도로 두되, 평균 및 평균 절대 편차는 동일합니다. 이것은 다음과 같은 평등을 의미합니다.f(x)g(x)
Eg(|X−c1|)=∫g(x)|x−c1|dx=c2=∫f(x)|x−c1|dx=Ef(|X−c1|)[1]
이제 두 밀도 의
Kullback-Leibler Divergence 를 고려하십시오 .
0≤DKL(g||f)=∫g(x)ln(g(x)f(x))dx=∫g(x)lng(x)dx−∫g(x)lnf(x)dx[2]
첫 번째 적분은 의 (차동) 엔트로피의 음수입니다 . 표시하십시오 . 두 번째 적분은 (명백하게 Laplacian pdf 작성)g−h(g)
∫g(x)ln[f(x)]dx=∫g(x)ln[12c2exp{−1c2|x−c1|}]dx
=ln[12c2]∫g(x)dx−1c2∫g(x)|x−c1|dx
첫 번째 적분은 단위에 적분하고 eq도 사용합니다. 우리는 얻는다
[1]
∫g(x)ln[f(x)]dx=−ln[2c2]−1c2∫f(x)|x−c1|dx=−(ln[2c2]+1)
그러나 이것은 라플라시안의 차분 엔트로피의 음수입니다 . 표시하십시오 .
−h(f)
이 결과를 eq.에 삽입 우리는
가짐 는 임의적 이기 때문에 Laplacian의 밀도는 위의 처방으로 모든 분포에서 최대 엔트로피입니다.[2]
0≤D(g||f)=−h(g)−(−h(f))⇒h(g)≤h(f)
g