최대 가능성은 언제 작동합니까?

예를 들어 산술 평균 계산과 비교할 때 최대 우도 방법에 대해 혼란 스럽습니다.

최대 가능성이 언제 그리고 왜 산술 평균보다 "더 나은"추정치를 생성합니까? 어떻게 확인할 수 있습니까?

maximum-likelihood

— 마 바빌
소스

+1 통계 절차를 물어 보는 것이 좋습니다.

— whuber

이 질문이 너무 명확하지 않다고 생각합니다. 확실히 OP는 확실하지 않지만, 이것이 그들이 요구하는 이유입니다. MLE 및 산술 수단의 특성에 관한 문제는 정답으로 해결해야합니다.

— gung-복직 모니카

"더 나은"은 무엇을 의미합니까? 그리고 산술 평균이 왜 임의의 매개 변수를 잘 평가할 수 있습니까?

— 시안

먼저 "더 나은"정의, 즉 손실 함수 또는 추정값을 비교할 수있는 다른 기준에 대한 정의 없이는 질문에 대답 할 수 없습니다. 예를 들어, MLE는 효율적이며, 이는 (일부 규칙적 조건 하에서) 더 작은 점근 적 분산을 갖는 추정기가 없다는 것을 의미합니다. 예를 들어, Stein effect에 의해 입증 된 바와 같이 MLE는 허용되지 않을 수 있는데, 이는 샘플의 분포 및 파라미터의 치수에 대한 일부 제약 하에서 파라미터의 모든 값에 대해 2 차 위험이 더 작은 추정기가 존재 함을 의미한다.

— 시안

@ Xi'an 그것은 답변의 기초처럼 들립니다.

— whuber

답변:

산술 평균 는 "자연스러운"추정기로 들릴 수 있지만 MLE보다 선호되어야하는 이유를 물을 수 있습니다! 산술 평균과 관련된 유일한 확실한 속성은 이 기대 값이 정의 될 때 의 편향 추정치라는 것입니다 . (Cauchy 분포를 반례로 생각하십시오.) 후자는 실제로 우도 함수의 규칙적인 조건 하에서 광범위한 속성을 즐깁니다. wikipedia 페이지 에서 빌리려면 MLE은 $\bar{x}$ $\mathbb{E}[X]$

일관된
무증상 정상
최소 점근 분산을 달성한다는 점에서 효율적
bijective 변환에서 불변
제한된 매개 변수 세트의 경우에도 매개 변수 세트 내

산술 평균과 비교할 때 이러한 속성의 대부분은 정기적으로 충분한 분포에 만족됩니다. 4와 5를 제외하고 지수 패밀리의 경우 MLE과 산술 평균은 평균 모수화에서 모수를 추정하기 위해 동일하지만 다른 모수화에서는 동일하지 않습니다. 그리고 MLE는 Cauchy 분포의 표본에 대해 존재합니다.

그러나, 최소 또는 허용 성과 같은 유한 샘플 최적 특성으로 전환 할 때 MLE이 최소 또는 허용 가능하지 않을 수 있습니다. 예를 들어, Stein 효과 는 표본 분포 및 모수의 차원에 대한 일부 제약 조건 하에서 모수의 모든 값에 대해 2 차 위험이 더 작은 추정기가 존재 함을 보여줍니다. 이러한 경우 일 때 및 . $x\sim\mathcal{N}_p(\theta,I_p)$ $p\ge 3$

— 시안
소스

mle에 대해 명확히하기 위해-나열된 5 가지 속성은 모두 모집단에 대한 가정 모델의 맥락에 있습니다.

— probabilityislogic

@CagdasOzgenc : 그렇습니다 지배는 무의식적으로 무시할 수 있지만 모든 위해 ..! 그러나 수축 상수가 과 여기서 는 차원이고 는 하나의 관측 성분의 분산 이므로 James-Stein minimax 추정기의 범위는 줄어 듭니다 . 그러나 점근 적 극소성에 대해서는 들어 본 적이 없습니다.

n^{'} s

$n's$

n

$n$

0

$0$

2 (p - 2) σ^{2} / n

$2(p-2)\sigma^2/n$

p

$p$

σ^{2}

$\sigma^2$

— 시안

"산술 평균 계산"을 MoMo (Method of Moments)를 사용한 추정으로 해석해 봅시다. 이 방법이 이론적 평균을 표본 평균으로 대체하기 때문에 원래 질문에 충실하다고 생각합니다. 또한 임의 모델에 대한 @ Xi'an의 임의 매개 변수에 대한 우려를 해결합니다.

당신이 여전히 나와 함께 있다면, 갈만한 곳은 작은 표본에서 순간의 방법이 최대 가능성을 능가 할 수있는 예 라고 생각합니다 . 질문 본문은 "최대 가능 추정량 (MLE)은 점진적으로 효율적이며, 우리는 그들이 모멘트 방법 (MoM) 추정치 (차이가있을 때)보다 더 나은 점에서 실질적인 결과를 본다"고 지적하고 MoM 추정자가 구체적인 사례를 찾는다 MLE 대응보다 작은 평균 제곱 오차를 달성합니다. 제공되는 몇 가지 예는 선형 회귀, 2 모수 역 가우스 분포 및 비대칭 지수 전력 분포와 관련이 있습니다.

"점근 효율 (asymptotic efficiency)"이라는 개념은 최대 우도 추정값이 데이터를 최대한 활용하여 (문제의 모수를 추정하기 위해) 가까운 시점에 접근 할 수 있다는 것을 의미합니다. 최대 가능성이 항상 평균을 사용하는 것보다 "더 나은"것은 아니지만,이 효율성 속성 (한계에만있는 경우)은 대부분의 빈번한 사람들에게 적합한 방법입니다. 물론, 반대자들은 데이터 세트의 크기가 커질수록 평균의 함수로 올바른 목표를 가리키고 있다면 함께 갈 것이라고 주장 할 수 있습니다.

— 벤오고 렉
소스

ML (Maximum Likelihood)이 최상의 솔루션을 제공하지 않는 몇 가지 유명한 예가 있습니다. Lucien Le Cam의 1990 년 논문 : "Maximum Likelihood : Introduction" [1] 은 Univ에서 초대 된 강의에서 나온 것입니다. 메릴랜드

가장 간단하기 때문에 내가 가장 좋아하는 예는 다음과 같습니다.

독립적 인 랜덤 변수의 두 시퀀스 고려 $X_j$ 및 $Y_j$ 에 의해 인덱싱 $j = 1,...,n$ . 하자가 가정이 $X_j\sim N(\mu_j,\sigma^2)$ 와 $Y_j\sim N(\mu_j,\sigma^2)$ . 각 즉, $j$ 쌍 $X_j$ 및 $Y_j$ 동일한 평균과 분산으로 동일하게 분포되며 평균은 $j$ 의 함수입니다 . $\sigma^2$ 의 ML 추정치는 무엇입니까 ?

나는 당신에게 답을함으로써 재미를 망치지 않을 것이지만, 놀랍지 않게 ML을 사용하여 이것을 해결하는 두 가지 방법이 있으며 그들은 다른 해결책을 제시합니다. 하나는 제곱 잔차의 "산술 평균"(하나는 예상 한대로)이고 다른 하나는 산술 평균의 절반입니다. 당신은 답을 찾을 수 있습니다 여기에 내 Github의 페이지에.

— 이드 나비 드
소스