순간의 방법은 무엇이며 MLE과 어떻게 다릅니 까?

13

일반적으로 모멘트 방법은 관측 된 샘플 평균 또는 분산을 이론적 모멘트와 일치시켜 모수 추정치를 얻는 것처럼 보입니다. 이것은 종종 지수 가족의 MLE과 동일합니다.

그러나 가능성 함수의 모드를 찾는 것이 까다로울지라도 모멘트 방법에 대한 명확한 정의와 MLE가 일반적으로 선호되는 이유에 대한 명확한 논의를 찾기는 어렵습니다.

이 질문 은 MLE가 Moment 방법보다 더 효율적입니까? 도널드 루빈 교수 (하버드)는 40 대 이후 MLE이 MoM을 능가한다고 알고 있지만, 이에 대한 역사나 추론에 관심이 있다고 말합니다.

maximum-likelihood method-of-moments

— Frelk
소스

2

다음은 MLE / MoM의 장단점을 설명하는 프레젠테이션입니다. gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Jon

모멘트 방법을 논의 하는 현장의 몇 가지 답변은 이해하는 데 도움이 될 수 있습니다.

— Glen_b-복원 모니카

참조 : stats.stackexchange.com/a/129188/28746

— Alecos Papadopoulos

1

@ 존 : 죽은 링크.

— 벤-복원 모니카

7

MoM에서 추정기는 일부 함수의 조건부 기대 값이 0이되도록 선택됩니다. 예를 들어 이다. 종종 기대는 에 대한 조건부입니다 . 일반적으로 이것은 가중치 매트릭스를 사용하여 이러한 기대에서 2 차 형태를 최소화하는 문제로 변환됩니다. $E[g(y,x,\theta)] = 0$ $x$

MLE에서 추정기는 로그 우도 함수를 최대화합니다.

광범위한 일반화에서 MLE은 더 엄격한 가정 (전체 밀도)을 수행하므로 가정이 충족되면 일반적으로 덜 강력하지만 더 효율적입니다 (점근 적 분산에서 Kramer Rao 하한을 달성 함).

어떤 경우에는 두 가지가 일치합니다. OLS는 분석 솔루션이 동일하고 추정기가 동일한 방식으로 작동하는 주목할만한 예입니다.

어떤 의미에서, 추정기는 로그 우도 함수의 기울기의 예상 값을 0으로 설정하기 때문에 MLE (거의 모든 경우)을 MoM 추정기로 생각할 수 있습니다. 그런 의미에서, 밀도는 부정확하지만 1 차 조건이 여전히 만족되기 때문에 MLE이 여전히 일관된 경우가 있습니다. 그런 다음 MLE을 "quasi-ML"이라고합니다.

— 슈퍼 프론 커
소스

4

일반적으로, MoM은 함수 g가 약간의 거듭 제곱 인 경우를 나타내므로 기대치는 순간입니다. 이것은 "일반적인 순간의 방법"처럼 보입니다.

— kjetil b halvorsen

3

OLS는 MoME (모멘트 추정기) 방법입니다. 또한 최대 우도 추정치 (MLE)이지만 특수 우도 인 경우에만 해당됩니다. 다른 배포판의 경우 OLS는 MLE이 아니지만 여전히 MoME입니다.

— Richard Hardy

2

순간의 방법은 무엇입니까?

Wikipedia에 이것에 관한 좋은 기사가 있습니다.

https://ko.m.wikipedia.org/wiki/Method_of_moments_ (통계)

이는 모집단 분포에 표본의 관측 모멘트와 동일한 모멘트가 있도록 모수를 선택하여 모집단 모수를 추정하고 있음을 의미합니다.

MLE와 다른 점

최대 우도 추정치는 우도 함수를 최소화합니다. 경우에 따라 모집단 모수를 표본 모수와 동일하게 설정하는 측면에서이 최소값을 표현할 수도 있습니다.

$\mu = \bar{x}$ $\mu$

μ = 1 / n \sum l n (x_{i}) = \bar{l n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

MoM 솔루션이 해결되는 반면

e x p (μ + \frac{1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

μ = l n (\bar{x}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

따라서 MoM은 모수를 추정하는 실용적인 방법으로 종종 MLE과 동일한 결과를 가져옵니다 (샘플의 모멘트는 종종 모집단의 모멘트와 일치하기 때문에, 예를 들어 표본 평균이 모집단 평균 주위에 분포되어 있으므로) 일부 요인 / 바이어스까지는 잘 작동합니다). MLE는 더 강력한 이론적 기초를 가지고 있으며 예를 들어 Fisher 행렬 (또는 그 추정치)을 사용하여 오류를 추정 할 수 있으며 회귀 문제의 경우 훨씬 더 자연스러운 접근 방식입니다 (시도하지는 않았지만 추측합니다) 간단한 선형 회귀 분석 에서 모수를 풀기위한 MoM쉽게 작동하지 않아 나쁜 결과를 초래할 수 있습니다. superpronker의 대답에서 이것은 함수의 최소화로 수행되는 것처럼 보입니다. MLE의 경우이 최소화는 더 높은 확률을 나타내지 만 MoM과 비슷한 것을 나타내는 지 궁금합니다).

— Sextus Empiricus
소스

1

죄송합니다, 나는 과거의 의견을 말할 수 없습니다 ..

MLE은보다 엄격한 가정 (전체 밀도)을 가정하므로 일반적으로 가정이 충족되면 덜 강력하지만 더 효율적입니다.

실제로 MITx " 통계 기본 사항" 에서는 MoM이 특정 순간 방정식에 의존하고, 잘못된 밀도를 선택하면 완전히 잘못하고, MLE는 더 탄력적이며, 모든 경우에 최소화합니다. KD 발산

— 안토 넬로
소스

평판 부족은 의견에 답을위한 공간을 사용한다는 정당한 변명이 아닙니다.

— Michael R. Chernick