Fisher Information 매트릭스가 양의 반올림 한 이유는 무엇입니까?

18

보자 . Fisher 정보 매트릭스는 다음과 같이 정의됩니다. $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

Fisher Information Matrix가 양의 반올림임을 어떻게 증명할 수 있습니까?

inference linear-algebra fisher-information

— 매 드롭
소스

7

점수 자체의 외부 제품에 대한 기대 값이 아닙니까?

— Neil G

19

이것을 확인하십시오 : http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

정의에서 우리는

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$

위한 , 여기서 . 대한 표현은 규칙적인 조건에서이 표현을 따릅니다.

i, j = 1, \dots, k

$i,j=1,\dots,k$

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$

I_{i j}

$I_{ij}$

널이 아닌 벡터 의 경우 $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$

\sum_{i, j = 1}^{k} u_{i} I_{i j} u_{j} = \sum_{i, j = 1}^{k} (u_{i} E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] u_{j}) = E_{θ} [(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\sum_{j = 1}^{k} u_{j} \partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] = E_{θ} [{(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ))}^{2}] \geq 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

이 컴포넌트 현명한 표기 너무 추한 경우, 피셔 정보 행렬 참고 과 같이 쓸 수있다 ,되는 점수 벡터 는 $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

에스 = {(\partial_{1} 로그 {에프}_{엑스 ∣ Θ} (엑스 ∣ θ), \dots, \partial_{케이} 로그 {에프}_{엑스 ∣ Θ} (엑스 ∣ θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

따라서 우리는 하나의 라이너

유^{⊤} H 유 = 유^{⊤} {이자형}_{θ} [에스 {에스}^{⊤}] 유 = {이자형}_{θ} [유^{⊤} 에스 {에스}^{⊤} 유] = {이자형}_{θ} [| | {에스}^{⊤} 유 | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— 선
소스

3

(+1) 정답과 답장을 환영합니다, 젠. 우리는 당신의 공허한 길이로 인해 당신을 영원히 잃어 버릴지도 모른다는 걱정을하고있었습니다. 그것은 진짜 부끄러운 일이었을 것입니다!

— 추기경

5

경고 : 일반적인 답변이 아닙니다!

경우 전체 순위 지수 족에 대응하고 로그 우도의 음 독일인은 충분한 통계치의 공분산 행렬이다. 공분산 행렬은 항상 양의 반 정밀도입니다. Fisher 정보는 양의 반 정밀도 행렬의 볼록한 조합이므로 양의 반 정밀도 여야합니다. $f(X|\theta)$

— 구슬
소스