헤 시안 행렬과 공분산 행렬의 관계

최대 우도 추정을 공부하는 동안 최대 우도 추정을 추론하려면 분산을 알아야합니다. 분산을 찾으려면 Cramer의 Rao Lower Bound를 알아야합니다.이 곡선은 곡률에 두 번째 편차가있는 Hessian Matrix와 같습니다. 공분산 행렬과 헤 시안 행렬 간의 관계를 정의하기 위해 혼합되어 있습니다. 질문에 대한 설명을들을 수 있기를 바랍니다. 간단한 예가 이해 될 것이다.

— 사용자 122358
소스

먼저 Fisher Information 매트릭스와 Hessian 및 표준 오류와의 관계에 대한 이 기본 질문을 확인해야 합니다.

통계 모델 (분포 계열) 가 있다고 가정 합니다. 가장 일반적인 경우에 가 패밀리는 로 매개 변수화됩니다 . 특정 규칙 조건 하에서 $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

여기서 는 Fisher Information 매트릭스 ( 함수 )이고 는 관측 값 (샘플)입니다. $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

따라서 Fisher Information 매트릭스는 일부 에서 로그 확률에 대한 Hesian의 부정 된 예상 값입니다. $\theta$

이제 알려지지 않은 매개 변수 의 벡터 함수를 추정한다고 가정 해 봅시다 . 일반적으로 추정기 는 편향되지 않아야합니다. $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Lower Bound는 모든 편향되지 않은 대해 만족 한다고 말합니다. $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

여기서 행렬 수단은 인 포지티브 세미 확정적 , 단순히 코비안이고 . 참고로, 우리가 예상되는 경우에 이라고 단순화 위 $A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

그러나 그것은 우리에게 실제로 무엇을 말합니까? 예를 들어

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

모든 양의 반 정규 행렬에 대각선 요소는 음이 아닙니다. $A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

위에서 우리는 각 추정 된 요소의 분산이 행렬 의 대각선 요소에 의해 구속된다는 결론을 내릴 수 있습니다. $B(\theta)$

\forall_{i} v a r_{θ} (T_{i} (X)) \geq [B (θ)]_{i, i}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

따라서 CRLB는 추정기의 분산을 알려주지 않지만 추정기가 최적 인지 여부에 상관없이 최적 입니다.

— 우카 쉬 그라드
소스

귀하의 설명에 감사드립니다. 나는 수학적인 사람이 아니지만 수학을 진지하게 배우는 길에 있습니다. 그러나 그것은 여전히 나에게 너무 추상적으로 보입니다. 간단한 숫자가있는 부드러운 예가 있기를 바랍니다. 확실히 이해할 것입니다.

— user122358