별표 표시된 단계는 (a) 및 q 가 0과 2 차 모멘트를 동일하게하고 (b) log ( p ) 는 항의 총 차수가 0 또는 2 인 x 의 성분에 대한 다항식 함수이므로 유효 합니다.피큐로그( p )엑스02
평균이 0 인 다변량 정규 분포에 대해 두 가지만 알아야합니다.
는선형 항이없는 x = ( x 1 , x 2 , … , x n ) 의 2 차 함수입니다. 즉, 상수가있는 C 및 P의 난의 J가 있는 로그 ( P ( X ) ) = C + N Σ I , J = 1 P의 난의 J로그( p )x =( x1, x2, … , x엔) 씨피나는 j
로그( p ( x ) ) = C+ ∑i , j = 1엔피나는 j엑스나는엑스제이.
씨피나는 jΣ
Σ
Σ나는 j= E피( x나는엑스제이) = ∫p ( x )엑스나는엑스제이디x .
우리는이 정보를 사용하여 적분을 해결할 수 있습니다.
=∫( q( x ) − p ( x ) ) 로그( p ( x ) ) d엑스∫( q( x ) − p ( x ) ) ( C+ ∑i , j = 1엔피나는 j엑스나는엑스제이) dx .
두 부분의 합으로 나뉩니다.
∫( q( x ) − p ( x ) ) C디x =C( ∫큐( x ) dx −∫p ( x ) dx ) =C( 1 − 1 ) = 0큐피
∫( q( x ) − p ( x ) ) ∑엔i , j = 1피나는 j엑스나는엑스제이디x = ∑엔i , j = 1피나는 j∫( q( x ) − p ( x ) ) x나는엑스제이디x =0∫큐( x ) x나는엑스제이디엑스∫p(x)xixjdxΣij
∫(q(x)−p(x))log(p(x))dx=0∫q(x)log(p(x))dx=∫p(x)log(p(x))dx.