고정 공분산 행렬을 사용한 최대 엔트로피 분포가 가우스임을 증명


13

가우시안이 최대 엔트로피를 가지고 있다는 다음 증거를 둘러 보려고합니다.

별표 표시된 단계는 어떤 의미가 있습니까? 특정 공분산은 두 번째 순간 만 수정합니다. 셋째, 넷째, 다섯 번째 순간 등은 어떻게됩니까?

여기에 이미지 설명을 입력하십시오

답변:


13

별표 표시된 단계는 (a) q 가 0과 2 차 모멘트를 동일하게하고 (b) log ( p ) 는 항의 총 차수가 0 또는 2x 의 성분에 대한 다항식 함수이므로 유효 합니다.pqlog(p)x02


평균이 0 인 다변량 정규 분포에 대해 두 가지만 알아야합니다.

  1. 선형 항이없는 x = ( x 1 , x 2 , , x n ) 의 2 차 함수입니다. 즉, 상수가있는 C P의 난의 J가 있는 로그 ( P ( X ) ) = C + N Σ I , J = 1 P의 난의 Jlog(p)x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    CpijΣ

  2. Σ

    Σij=Ep(xixj)=p(x)xixjdx.

우리는이 정보를 사용하여 적분을 해결할 수 있습니다.

(q(x)p(x))log(p(x))dx=(q(x)p(x))(C+i,j=1npijxixj)dx.

두 부분의 합으로 나뉩니다.

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0q(x)xixjdxp(x)xixjdxΣij

(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.


1

q(x)p(x)σijxixjp(x)p(x)q(x)

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.