관찰 된 Fisher 정보가 정확히 사용되는 이유는 무엇입니까?

17

표준 최대 우도 설정 (iid 샘플 은 밀도 $Y_{1}, \ldots, Y_{n}$ 과 정확하게 지정된 모델의 경우에 피셔 정보가 주어진다)) $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

데이터를 생성 한 실제 밀도와 관련하여 기대되는 부분. 관찰 된 Fisher 정보를 읽었습니다.

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

(예상) 피셔 정보 계산에 포함 된 적분이 일부 경우에 실행 가능하지 않을 수 있으므로 일차적으로 사용됩니다. 나를 혼란스럽게하는 것은 적분이 가능하더라도 알 수없는 매개 변수 값 과 관련된 실제 모델에 대한 기대가 취해 져야한다는 것입니다 . 이 경우 을 모르면 를 계산할 수 없는 것으로 보입니다 . 이것이 사실입니까? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— 사용자 2249626
소스

13

진정한 매개 변수 : 현재 네 quanties있어 , 일관된 추정 , 예상 정보 에서 와 관찰 된 정보 에서 . 이 수량은 무증상 일 뿐이지 만 일반적으로 사용되는 방식입니다. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

관측 정보 은 예상 정보
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ 할 때에서 IID 샘플 인 . 여기서을 나타내는 기대 w / R / t에 의해 인덱스 분포:. 이 수렴은 많은 수의 법칙으로 인해 유지되므로 $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ 은 여기서 중요합니다. $Y \sim f(\theta_0)$
당신이 추정있어 때 실제 매개 변수 확률에 수렴는 것을 (즉, 일치) 다음은 어디 그것을 대체 할 수 있습니다 당신은 볼 본질적으로 인해 지속적인 매핑 이론의로, 위 , 모든 수렴 중 계속 유지됩니다. $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

실제로는 미묘한 것 같습니다. $^*$

말

추측 한 바와 같이, 통합보다 차별화가 더 쉬우므로 관측 된 정보는 일반적으로 작업하기가 더 쉬우 며 일부 숫자 최적화 과정에서 이미 평가했을 수도 있습니다. 어떤 상황 (정규 분포)에서는 동일합니다.

Efron and Hinkley (1978)의 "최대 가능성 추정기의 정확도 평가 : 예상 피셔 정보에 대한 관찰"기사는 유한 표본에 대한 관측 된 정보를지지하는 주장을합니다.

— 앤드류 M
소스

4

앤드류의 답변에서 언급 된 Efron & Hinkley의 이론적 관찰을지지하는 것으로 보이는 시뮬레이션 연구가 있습니다. 올바른 모형 형식을 알 수없는 경우 모형 기반 신뢰 구간의 성능 비교 역학, 5, 171-182. 나는 충돌하는 연구를 본 적이 없다. 내가 알고있는 표준 GLM 패키지가 Wald 간격을 계산하기 위해 예상 정보를 사용한다는 것은 흥미 롭습니다. 물론 이것은 (자연 매개 변수에서 선형 인 GLM에서와 같이) 관찰되고 기대되는 정보 매트릭스가 동일한 경우에는 문제가되지 않습니다.

— Sander Greenland
소스