고정 공분산 행렬을 사용한 최대 엔트로피 분포가 가우스임을 증명

13

가우시안이 최대 엔트로피를 가지고 있다는 다음 증거를 둘러 보려고합니다.

별표 표시된 단계는 어떤 의미가 있습니까? 특정 공분산은 두 번째 순간 만 수정합니다. 셋째, 넷째, 다섯 번째 순간 등은 어떻게됩니까?

entropy information-theory maximum-entropy

— 타라 레
소스

13

별표 표시된 단계는 (a) 및 가 0과 2 차 모멘트를 동일하게하고 (b) 는 항의 총 차수가 또는 인 의 성분에 대한 다항식 함수이므로 유효 합니다. $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

평균이 0 인 다변량 정규 분포에 대해 두 가지만 알아야합니다.

는선형 항이없는 의 2 차 함수입니다. 즉, 상수가있는 및 있는 $\log(p)$ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
$C$ $p_{ij}$ $\Sigma$
$\Sigma$
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

우리는이 정보를 사용하여 적분을 해결할 수 있습니다.

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

두 부분의 합으로 나뉩니다.

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— 우버
소스

1

$q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. 터셀
소스