관찰 된 정보 매트릭스는 예상되는 정보 매트릭스의 일관성있는 추정기입니까?

나는 약하게 일관된 최대 가능성 추정기 (MLE)에서 평가 된 관측 된 정보 매트릭스가 기대되는 정보 매트릭스의 약하게 일관된 추정기임을 증명하려고 노력하고있다. 이것은 널리 인용 된 결과이지만 아무도 참조 또는 증거를 제공하지 않습니다 (Google 결과의 첫 20 페이지와 통계 교과서가 소진되었다고 생각합니다)!

약하게 일관된 MLE 시퀀스를 사용하면 약한 수의 법칙 (WLLN)과 연속 매핑 정리를 사용하여 원하는 결과를 얻을 수 있습니다. 그러나 연속 매핑 정리를 사용할 수 없다고 생각합니다. 대신 나는 많은 수의 균일 법칙 (ULLN)을 사용해야한다고 생각한다. 아무도 이것에 대한 증거가있는 참조를 알고 있습니까? ULLN에 대한 시도가 있지만 간략히하기 위해 지금은 생략합니다.

이 질문의 길이에 대해 사과하지만 표기법을 도입해야합니다. 표기법은 다음과 같습니다 (내 증거는 끝났습니다).

밀도가 인 임의 변수 의 iid 샘플이 있다고 가정합니다 . 여기서 (여기서 는 샘플 멤버 중 하나와 밀도가 같은 일반적인 랜덤 변수입니다). 벡터 는 모든 대해 인 모든 샘플 벡터의 벡터입니다. . 밀도의 실제 매개 변수 값은 이며 는 의 약한 일관된 최대 가능성 추정기 (MLE)입니다$\{Y_1,\ldots,Y_N\}$$f(\tilde{Y}|\theta)$$\theta\in\Theta\subseteq\mathbb{R}^{k}$$\tilde{Y}$$Y=(Y_1,\ldots,Y_N)^{T}$$Y_{i}\in\mathbb{R}^{n}$$i=1,\ldots,N$θ N ( Y는 ) θ $\theta_{0}$$\hat{\theta}_{N}(Y)$$\theta_{0}$. 규칙적인 조건에 따라 Fisher 정보 매트릭스는 다음과 같이 쓸 수 있습니다.

$$I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right]$$

여기서 는 헤 시안 행렬입니다. 이에 상응하는 샘플은${H}_{\theta}$

$$I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta),$$

여기서 . 관찰 된 정보 매트릭스는 다음과 같습니다.$I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(일부 사람들은 매트릭스가 평가 되길 요구 하지만 그렇지 않은 사람들도 있습니다). 관찰 된 정보 매트릭스는 다음과 같습니다.$\hat{\theta}$

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

여기서 .$J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$

추정량 ~ 확률로 수렴을 증명할 수 있지만 를 . 여기까지 내 증거가 있습니다.I ( θ ) N - 1 J N ( θ N ( Y ) ) I ( θ 0$N^{-1}J_N(\theta)$$I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))$$I(\theta_{0})$

이제 는 요소 의 , 대해, 표본이 iid이면 큰 수의 약한 법칙 (WLLN)에 의해 이러한 소환 자의 평균은 이므로 모든 대해 등 . 불행히도 ( r , s ) J N ( θ ) r , s = 1 , … , k − E θ [ ( H θ ( log f $(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$$(r,s)$$J_N(\theta)$$r,s=1,\ldots,k$ N - 1 ( J N ( θ ) ) (R) 의 P → ( I ( θ ) ) R S , R , s = 1 , … , k $-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$$N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$$r,s=1,\ldots,k$ N - 1 J N ( θ N (Y)) P → I( θ 0 ) N - 1 J N (⋅)I(⋅$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$ 은 와 동일한 기능이 아니므로 연속 매핑 정리를 사용합니다 .$N^{-1}J_{N}(\cdot)$$I(\cdot)$

이에 대한 도움을 주시면 감사하겠습니다.

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

나는 많은 수의 균일 한 법칙을 직접 확립하는 것이 하나의 가능한 접근법이라고 생각합니다.

여기 또 다른 것이 있습니다.

우리가 보여주고 싶은 그 .$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(당신이 말했듯이, 우리는 WLLN에 의해 입니다. 그러나 이것은 우리에게 직접적인 도움이되지 않습니다.)$\frac{J^N(\theta)}{N} \convp I(\theta)$

가능한 전략 중 하나는

$$|I(\theta^*) - \frac{J^N(\theta^*)}{N}| \convp 0.$$

과

$$|\frac{J^N(\theta_{MLE})}{N} - \frac{J^N(\theta^*)}{N}| \convp 0$$

두 결과가 모두 결합하여

$$|I(\theta^*) - \frac{J^N(\theta_{MLE})}{N}| \convp 0,$$

정확히 우리가 보여주고 싶은 것입니다.

첫 번째 방정식은 많은 수의 약한 법칙을 따릅니다.

두 번째는 거의 연속적인 매핑 정리에 따르지만 불행히도 우리 가 따라 CMT를 적용하려는 함수 : 는 실제로 . 따라서 CMT를 사용할 수 없습니다.$g()$$N$$g$$g_N(\theta) := \frac{J^N(\theta)}{N}$

(의견 : Wikipedia에서 CMT의 증거를 살펴보면, 우리를 위해 정의한 세트 도 이제 따라 달라집니다 . 우리는 본질적으로 함수 대해 에서 일종의 등가 )$B_\delta$$n$$\theta^*$$g_N(\theta)$

다행히도 는 에서 확률 적으로 동일 하고 , $\mathcal{G} = \{g_N | N=1,2,\ldots\}$$\theta^*$$\theta_{MLE} \convp \theta^*$

$$\begin{align*} |g_n(\theta_{MLE}) - g_n(\theta^*)| \convp 0. \end{align*}$$

에서의 확률 적 동등성에 대한 정의 와 위의 사실에 대한 증거는 http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf 를 참조하십시오 . )$\theta^*$

따라서 가 SE 라고 가정하면 원하는 결과가 유지되고 경험적인 Fisher 정보가 Fisher Fisher 정보로 수렴됩니다.$\mathcal{G}$$\theta^*$

이제 핵심 질문은, SE를 얻기 위해 에 어떤 종류의 조건을 부과해야 하는가입니다. 이를 수행하는 한 가지 방법은 함수의 전체 클래스에서 Lipshitz 조건을 설정하는 것입니다 (여기 참조 : http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic) -equicontinuity.original.pdf ).$\mathcal{G}$$\mathcal{G}$

확률 적 동등성을 사용하는 위의 대답은 매우 잘 작동하지만 여기서는 관측 된 정보 매트릭스가 정보 매트릭스의 강력하고 일관된 추정기임을 나타내는 많은 수의 균일 한 법칙을 사용하여 내 자신의 질문에 대답하고 있습니다 (예 : 강력하고 일관된 추정기 시퀀스를 플러그인하는 경우. 모든 세부 사항이 정확하기를 바랍니다.$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

우리는 사용 일시적으로 표기 채택 인덱스 세트로, 우리를하자 랜덤 벡터 에 대한 의 의존성을 명시하기 위해 . 또한 및 이 토론을위한 , 함수 는 세트에서 실제 값 이며 Lebesgue라고 가정합니다. 모든 대해 측정 가능$I_{N}=\{1,2,...,N\}$$J(\tilde{Y},\theta):=J(\theta)$$J(\theta)$$\tilde{Y}$$(J(\tilde{Y},\theta))_{rs}$$(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$$r,s=1,...,k$$(J(\cdot,\theta))_{rs}$$\mathbb{R}^{n}\times\Theta^{\circ}$$\theta\in\Theta^{\circ}$. 많은 수의 균일 한 (강한) 법률은 일련의 조건을 정의합니다.

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

(1) 보유하기 위해 충족되어야하는 조건은 (a) 는 소형 세트입니다. (b) 는 에서 확률 1 의 연속 함수입니다 . (c) 각 는 함수 의해 지배됩니다. 즉 ; 및 (d) 각 ; 이러한 조건은 Jennrich (1969, Theorem 2)에서 왔습니다.$\Theta^{\circ}$$(J(\tilde{Y},\theta))_{rs}$$\Theta^{\circ}$$\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$$h(\tilde{Y})$$|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$$\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$

이제 , 및 에 대해 다음과 같은 부등식이 분명히 나타납니다.$y_{i}\in\mathbb{R}^{n}$$i\in I_{N}$$\theta'\in S\subseteq\Theta^{\circ}$

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

한다고 가정 위한 추정기 강하게 일관된 시퀀스 인 및하자 은 에서 반지름이 인 열린 공이어야합니다. 로 을 지정 하고 가 컴팩트 가정 합니다. 그런 다음 대해 충분히 큰 경우 충분히 큰 대 . (2)와 함께 이것은 의미합니다$\{\hat{\theta}_{N}(Y)\}$$\theta_{0}$$\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$$\mathbb{R}^{k}$$\delta_{N_{1}}\rightarrow 0$$N_{1}\rightarrow\infty$$K$$\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$$N$$P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$$N$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

이제 는 Jennrich (1969, 정리 2)의 (a)-(d) 조건이 적용됨을 합니다. 따라서 (1)과 (3)은 암시$\Theta_{N_{1}}\subseteq\Theta^{\circ}$$\Theta_{N_{1}}$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

사람 다음 (4)을 의미 . (3) 그러나 작은 보유 유의 이며, (4)에 결과 있도록가의 선택과 무관 이외 선택해야되도록 입니다. 이 결과는 모든 에 대해 유지되므로 행렬 관점에서 .$(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$$N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$$\Theta_{N_{1}}$$N_{1}$$N_{1}$$\Theta_{N_{1}}\subseteq \Theta^{\circ}$$r,s=1,...,k$$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$