유사 최대 우도 추정 (QMLE)의 아이디어와 직관

17

질문 : 유사 최대 가능성 추정 (QMLE; 의사 최대 가능성 추정, PMLE이라고도 함)의 아이디어와 직관은 무엇입니까? 실제 오차 분포가 가정 된 오차 분포와 일치하지 않을 때 추정기가 작동하는 이유는 무엇입니까?

QMLE 의 Wikipedia 사이트 는 훌륭하지만 (간결하고 직관적이며 요점까지는) 좀 더 직관과 세부 사항, 아마도 그림을 사용할 수 있습니다. 다른 참조가 가장 환영합니다. (나는 QMLE에 대한 자료를 찾고 꽤 계량 경제학 교과서를 통해 갈 기억, 그리고 놀랍게도, QMLE은 하나 또는 그 두 가지 예 Wooldridge에 덮여 있었다 "단면 및 패널 데이터의 계량 경제 분석" ,) 2010 (제 13 장 섹션 11, pp. 502-517.)

— 리차드 하디
소스

2

이것에 대한 White의 논문을 읽었습니까?

— hejseb

2

@ hejseb, 어쩌면 적어도 나는 그것을 기억하지 못합니다. 그것은인가 이 하나?

— Richard Hardy

1

그렇습니다. 물론 그는 Huber (1967) 에 크게 기반을두고 있으며이를 완전히 인식하고있다. 그러나 계량 경제학에서는 다음과 같은 일이 거의 없다. 그리고 Huber의 논문은 모든 수준의 기술 수준에서 간결하게 읽을 수 있습니다. Hal White는 분명히이 문제를 쉽게 소화하는 데 기여했습니다.

— StasK

7

"실제 오차 분포가 가정 된 오차 분포와 일치하지 않을 때 추정기가 작동하는 이유는 무엇입니까?"

원칙적으로 QMPLE은 "좋은"견적이라는 의미에서 "작동" 하지 않습니다 . QMLE을 중심으로 개발 된 이론은 잘못된 시험으로 이어 졌기 때문에 유용합니다.

QMLE이 확실히하는 것은 실제 분포와 지정된 분포 사이의 쿨백-리버 분산을 최소화하는 모수 벡터를 지속적으로 추정하는 것입니다. 이 소리는 좋지만이 거리를 최소화한다고해서 최소화 된 거리가 크지 않다는 의미는 아닙니다.

그럼에도 불구하고, QMLE이 실제 모수 벡터에 대한 일관된 추정 기인 많은 상황이 있다는 것을 읽었습니다 . 이것은 사례별로 평가되어야하지만, 매우 일반적인 상황을 하나 보여 주겠습니다. QMLE에 내재 된 것이 없어서 실제 벡터와 일치하는 것은 없습니다.

... 오히려 그것은 항상 일관된 (인체 적-정적 표본 추정을 유지하는) 다른 추정기와 일치 한다는 사실입니다 : 구식의 방법론 추정기.

다시 말해, 분포에 대해 의문이있는 경우 고려해야 할 전략은 "관심 매개 변수에 대한 최대 우도 추정기 가 항상 모멘트 방법 추정기와 일치하는 분포를 지정하는 것"입니다 . 당신의 분포 가정, 추정기는 적어도 일관성이있을 것입니다.

이 전략을 어리석은 극단으로 가져갈 수 있습니다. 모든 값이 양수인 랜덤 변수의 매우 큰 iid 샘플이 있다고 가정합니다. 계속해서 랜덤 변수가 정규 분포를 따르고 평균과 분산에 대한 최대 가능성을 적용한다고 가정하십시오. QMLE은 실제 값과 일치합니다.

물론 이것은 우리가 본질적으로하고있는 일이 MOD를 적용하는 척하는 이유가 방법의 강점에 의존하고 숨기고있는 이유입니다 (점근 적 정상을 보장합니다).

더 정제 된 다른 경우에는 조건부 평균 함수를 올바르게 지정했지만 분포는 지정하지 않았다고 말할 수있는 경우 QMLE이 관심있는 매개 변수와 일치하는 것으로 표시 될 수 있습니다 (예 : 풀링 된 포아송 QMLE의 경우-Wooldridge 참조). .

— 알레 코스 파파도풀로스
소스

이것은 흥미 롭다. 그러한 이론에 대한 참고 문헌을 광고 해 주시겠습니까?

— kjetil b halvorsen

1

@kjetilbhalvorsen 이것은 매우 기본적인 결과를 명백한 방식으로 합성하기 때문에 개발 된 이론적 프레임 워크가 아닙니다. 잘못된 사양의 결과에 대해 괴로워하는 동안 합성은 내 머리에 나타납니다. 그리고 저는 연구 논문에서 크게 언급되지 않은 "정치적"측면이 있다고 믿습니다. 우리는 이제 MLE 왕을 무찌르고 싶지 않을까요?

— Alecos Papadopoulos

8

0 = \sum_{i = 1}^{n} S (β, X_{i}, Y_{i}) = D^{T} W (Y - g^{- 1} (X^{T} β))

$0 = \sum_{i=1}^n \mathbf{S}(\beta, X_i, Y_i) = \mathbf{D}^{T} W \left( Y - g^{-1} (\mathbf{X}^T \beta)\right)$

D = \frac{\partial}{\partial β} g^{- 1} (X^{T} β)

$\mathbf{D} = \frac{\partial}{\partial \beta} g^{-1} ( \mathbf{X}^T \beta)$

W = V^{- 1}

$W = \mathbf{V}^{-1}$

그러나 흥미롭게도,이 공식은 괄호로 묶은 표현의 RHS에서 단순히 "추정하고자하는 것을 설정"하고 표현이 "관심있는 것"으로 수렴 될 것이라는 믿음을 갖는 순간적인 방식 추정기에 귀를 기울였습니다. 의회". 그것은 추정 방정식의 프로토 형식이었습니다.

추정 방정식은 새로운 개념이 아니 었습니다. 실제로 1870 년대와 1900 년대 초반까지 EE를 올바르게 제시하려는 시도는 Taylor 확장을 사용하여 EE로부터 이론을 제한했지만, 확률 적 모델과의 연결이 부족하여 비판적 검토 자들 사이에서 논쟁의 원인이되었습니다.

$S$

그러나 위의 답변과 달리 준 유사성 은 광범위하게 사용되었습니다. McCullogh와 Nelder에서 아주 좋은 토론은 말굽 게의 인구 모델링을 다루고 있습니다. 인간과 달리 짝짓기 습관은 단순히 기괴합니다. 많은 남성들이 측정되지 않은 "클러스터"에서 한 여성에게 몰려들 수 있습니다. 생태학 자의 관점에서 볼 때 실제로 이러한 클러스터를 관찰하는 것은 그들의 작업 범위를 훨씬 뛰어 넘지 만 그럼에도 불구하고 캐치 앤 릴리스에서 인구 규모 예측에 도달하는 것은 중요한 도전을 제기했습니다. 이 결합 패턴은 분산이 유의미한 분산 즉 평균이 아니라 포아송 모형을 생성한다는 것이 밝혀졌습니다.

분산은 우리가 일반적으로 그들의 가치에 대한 추론을 기본으로하지 않는다는 점에서 성가신 매개 변수로 간주되며, 단일 가능성으로 함께 추정하면 매우 불규칙적 인 가능성이 발생합니다. 준우도는 통계의 매우 유용한 영역으로, 특히 일반화 된 추정 방정식 에 대한 후자의 연구에 비추어 볼 때 매우 유용합니다 .

— AdamO
소스

1

(+1) 매우 유용한 답변.

— Alecos Papadopoulos 0시 4 분에서

2

나는 Richard Hardy가 여기에 게시 한 것과 비슷한 질문을했습니다. 저의 혼란은 quasi-ML로부터 추정 된 매개 변수가 알려지지 않은 "true"분포에 존재하지 않을 수 있다는 것입니다. 이 경우 "일관성"이란 정확히 무엇을 의미합니까? 추정 된 매개 변수는 무엇으로 수렴합니까?

일부 참조 확인한 후 ( 화이트 (1982) 원래의 기사 중 하나를해야하지만 문이있다. 내가 발견 도움이 박람회는 http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ) 평범한 영어로 된 내 생각은 다음과 같습니다. 우리가 가정하는 분포가 알 수없는 실제 값에 대한 근사치라는 것을 인정한 후에는 실제 거리는 최소화하기 위해 매개 변수 값을 찾는 것입니다 ( Kullback-Leibler distance정확해야합니다). 이론의 장점은 실제 분포를 알 필요없이 quasi-ML의 추정 된 매개 변수가이 거리 최소화 매개 변수로 수렴된다는 것입니다 (물론 추정치의 점근 분포와 같은 이론의 다른 유용한 결과가 있습니다) 매개 변수 등이 있지만 여기에서 내 질문의 초점이 아닙니다).

Alecos Papadopolous가 상기 답변에서 언급 한 것처럼, 최소화 된 거리는 여전히 클 수 있습니다. 따라서 우리가 가정 한 분포는 실제 분포에 대한 근사치가 될 수 있습니다. quasi-ML이 할 수있는 모든 것은 우리의 추정 분포를 알 수없는 실제 분포에 최대한 가깝게 만드는 것입니다. 여기에 나와있는 나의 경험이 비슷한 혼란을 겪는 다른 사람들에게 도움이되기를 바랍니다.

— 솔직한
소스