모형이 사실이 아니더라도 MLE 추정이 무증상 적으로 정상적이고 효율적입니까?

전제 : 이것은 어리석은 질문 일 수 있습니다. MLE 점근 적 특성에 대한 진술 만 알고 있지만 증거를 연구 한 적이 없습니다. 내가했다면 아마도이 질문을하지 않을 수도 있고, 또는 나는이 질문이 이해가되지 않는다는 것을 깨달을 것입니다 ... 그래서 나에게 쉽게 가십시오 :)

나는 종종 모델 파라미터의 MLE 추정기가 무의식적으로 정상적이고 효율적이라는 진술을 보았습니다. 진술은 일반적으로 다음과 같이 작성됩니다

N→$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ 을$N\to\infty$

여기서 은 샘플 수이고 는 Fisher 정보이며 은 매개 변수 (벡터) true 값 입니다. 이제 실제 모델에 대한 참조가 있으므로 모델이 참이 아닌 경우 결과가 유지되지 않습니까?I θ $N$$\mathbf{I}$$\theta_0$

예 : 풍속 와 가산 가우스 노이즈 의 함수로 풍력 터빈 전력 출력을 모델링한다고 가정 합니다.$P$$V$

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

적어도 두 가지 이유로 인해 모델이 잘못되었다는 것을 알고 있습니다 .1) 는 실제로 의 3 제곱에 비례 하고 2) 풍속과 관련이없는 다른 예측 변수를 무시했기 때문에 오류는 부가되지 않습니다 (나도 알고 있습니다) 것을 0이어야한다 0 풍속에) 힘은 생성되지 않습니다,하지만 여기에 관련이없는 때문에. 이제 풍력 터빈의 전력 및 풍속 데이터에 대한 무한 데이터베이스가 있다고 가정합니다. 원하는 크기의 샘플을 원하는만큼 그릴 수 있습니다. 크기가 각각 100 인 1000 개의 샘플을 그리고 \ boldsymbol {\ beta} = (\ beta_0, \ beta_1, \ beta_2) 의 MLE 추정치 인 \ hat {\ boldsymbol {\ beta}} _ {100}을 계산한다고 가정하겠습니다.V β $P$$V$$\beta_0$$\hat{\boldsymbol{\beta}}_{100}$$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$(제 모델에서는 OLS 추정치입니다). 따라서 \ hat {\ boldsymbol {\ beta}} _ {100} 분포에서 1000 개의 표본이 있습니다 $\hat{\boldsymbol{\beta}}_{100}$. N = 500,1000,1500, \ dots로 운동을 반복 할 수 있습니다 $N=500,1000,1500,\dots$. $N\to\infty$ 와 같이 , \ hat {\ boldsymbol {\ beta}} _ {N} 의 분포 $\hat{\boldsymbol{\beta}}_{N}$는 명시된 평균과 분산으로 무증상으로 나타나는 경향이 있습니까? 또는 모델이 잘못되었다는 사실이이 결과를 무효화합니까?

내가 묻는 이유는 응용 프로그램에서 모델이 "진정한"경우가 거의 없기 때문입니다. 모형이 사실이 아닐 때 MLE의 점근 적 특성이 상실되면, 다른 추정 원리를 사용하는 것이 합리적 일 수 있는데, 이는 모형이 올바른 설정에서는 덜 강력하지만 다른 경우에는 MLE보다 더 잘 수행 될 수 있습니다.

편집 : 의견에서 진정한 모델의 개념은 문제가 될 수 있다고 언급되었습니다. 내가 마음에 다음과 같은 정의를 가지고 : 모델의 가족 주어진 매개 변수 벡터에 의해 indicized , 가족의 각 모델에 대한 당신이 할 수 항상 쓰기 $f_{\boldsymbol{\theta}}(x)$$\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

간단히 정의하여 으로 . 그러나 일반적으로 오류는 직교하지 않으며 평균 0을 가지며 모델의 파생에서 분포가 가정 된 것은 아닙니다. 값이 존재하면 있도록 이러한 두 가지 속성뿐만 아니라 가정 된 분포를, 나는 모델이 참 말할 것입니다. 나는 이것이 분해의 오류 항 때문에 라고 말하는 것과 직접 관련이 있다고 생각합니다.$\epsilon$$Y-f_{\boldsymbol{\theta}}(X)$$X$$\boldsymbol{\theta_0}$$\epsilon$$f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

위에서 언급 한 두 가지 속성이 있습니다.

이 질문에 대한 답이 하나도 없다고 생각합니다.

최대 우도 추정을 적용하는 동안 가능한 분포 미스 팩션을 고려할 때 "Quasi-Maximum Likelihood"추정기 (QMLE)를 얻습니다. 어떤 경우에는 QMLE이 일관되고 무증상으로 정상입니다.

확실하게 잃는 것은 점근 효율입니다. 이 때문에의 점근 분산 (이 점근 분포 아니라 갖는 양이다 )이고, 모든 경우에,$\sqrt n (\hat \theta - \theta)$$\hat \theta$

$$\text{Avar}[\sqrt n (\hat \theta - \theta)] = \text{plim}\Big( [\hat H]^{-1}[\hat S \hat S^T][\hat H]^{-1}\Big) \tag{1}$$

여기서 는 로그 우도의 헤 시안 행렬이고 는 기울기이며 모자는 표본 추정치를 나타냅니다.$H$$S$

이제 우리가 정확한 사양 을 가지고 있다면 , 먼저

$$\text{Avar}[\sqrt n (\hat \theta - \theta)] = (\mathbb E[H_0])^{-1}\mathbb E[S_0S_0^T](\mathbb E[H_0])^{-1} \tag{2}$$

여기서 " "아래 첨자는 실제 매개 변수에서의 평가를 나타내며 (중간 용어는 Fisher Information의 정의 임) 두 번째로 " 정보 매트릭스 평등 "은 는 점근 적 분산이 최종적으로$0$$-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

$$\text{Avar}[\sqrt n (\hat \theta - \theta)] = -(\mathbb E[H_0])^{-1} \tag{3}$$

이는 Fisher 정보의 역수입니다.

그러나 우리는 misspecification, 표현이있는 경우 식으로 이어질하지 않습니다 (의 제 1 및 제 2 파생 상품 때문에 잘못된 가능성에 기초하여 유도 된)를. 이는 정보 매트릭스 불평등이 유지되지 않고 식 끝나지 않으며 (Q) MLE이 완전한 점근 효율을 달성하지 못한다는 것을 의미합니다.$(1)$$(2)$$(1)$$(3)$