MLE 문제에 대한 최대화가 항상 있습니까?

23

최대 (로그) 우도 추정 문제에 항상 최대 값이 있는지 궁금합니다. 다시 말해서, MLE 문제에 최대화가없는 분포와 매개 변수가 있습니까?

내 질문은 MLE의 비용 함수 (가능성 또는 로그 가능성, 의도 된 것인지 확실하지 않음)가 항상 오목하고 항상 최대화되어 있다는 엔지니어의 주장에서 비롯됩니다.

감사합니다.

maximum-likelihood optimization

— 팀
소스

8

(+1) 귀하의 질문에 명시되지 않은 자격이 없습니까? 엔지니어의 진술은 여러 가지면에서 허위로, 어디서부터 시작해야하는지 알기가 거의 어렵다. :)

— 추기경

@ cardinal : 나는 기본적으로 내가들은 것을 썼습니다. 그러나 나는 무언가를 놓칠 수 있음을 인정합니다.

— Tim

5

반대 예 (볼록도) : 을 iid . 고유 한 MLE이 있지만 가능성이나 로그 가능성은 에서 볼록하지 않습니다 .

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— 추기경

3

@Tim 로지스틱 회귀 는 MLE이 항상 존재하지 않는 기본 예입니다. 또한 일부 링크 기능의 경우 로그 우도는 오목하지 않습니다.

30

아마도 엔지니어는 정규 지수 패밀리를 염두에 두었을 것입니다. 자연 매개 변수화에서 매개 변수 공간은 볼록하고 로그 우도는 오목합니다 (Bickel & Doksum의 수학 통계, 1 권 Thm 1.6.3 참조 ). 또한 일부 경미한 기술 조건 (기본적으로 모델이 "풀 랭크"이거나 동등하게 식별 가능한 자연 매개 변수 임)에서 로그 우도 함수는 엄격하게 오목하며 고유 한 최대화 기가 있음을 의미합니다. (동일한 참고 문헌의 목록 1.6.2) [또한 @biostat가 인용 한 강의 노트도 같은 내용을 담고있다.]

표준 지수 군의 자연적인 매개 변수화는 일반적으로 표준 매개 변수화와 다릅니다. 그래서 동안 가족에 대한 로그 - 우도 것을 @cardinal 점 하지 볼록에 , 그것에는 자연 파라미터 오목 것이다 및 입니다. $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— DavidR
소스

2

(+1) 좋은 대답입니다. OP에 대한 내 의견에서 암시 된 것처럼, 이것은 내가 게시하기를 바랐던 대답입니다 (반대 예는이를 염두에두고 신중하게 선택되었습니다). :)

— 추기경

2

다변량 가우시안 모델로 이것을 보여줄 수 있습니까?

— Royi

6

우도 함수는 종종 관심 모수의 추정을 위해 최대를 달성합니다. 그럼에도 불구하고, 가우스 혼합 분포 또는 비모수 함수 (예 : 둘 이상의 피크 (bi 또는 multi-modal))를 포함하여 MLE가 존재하지 않는 경우가 있습니다. 나는 종종 집단 유전학 미지의 매개 변수, 즉 재조합 속도, 자연 선택의 영향을 추정하는 문제에 직면합니다.

@cardinal이 지적한 이유 중 하나는 무한한 파라 메트릭 공간입니다.

또한 다음 기사를 권장합니다 (섹션 3 (기능) 및 그림 3 참조). 그러나 MLE에 대한 매우 유용하고 편리한 문서 정보가 있습니다.

— 바이오 스탯
소스

3

나는 당신이 언급 한 예를 오해해야한다고 생각합니다. 어떤 이차 함수에 피크가 두 개 이상 있습니까?

— 추기경

@cardinal : 설명하려고합니다. 제한되지 않은 모수에 대한 지적은 정규 분포의 간단한 예에서도 우도 함수가 최대 값을 얻지 못하는 이유 중 하나입니다. 그러나 필자의 요점은 최적화 관점에서 로컬 및 글로벌 최대 값에 대한 대중적인 문제가 있다는 것입니다. 나는 재조합 율을 추정하면서 인구 유전학에서이 문제에 자주 직면했다. 또한이 기사 섹션 3 (기능) 및 그림 3을 참조하십시오. 기사 URL : citeseerx.ist.psu.edu/viewdoc/…

— Biostat

"두 개 이상의 피크를 갖는 이차 함수"는 가우스 혼합 모델과 관련이 있다고 생각하십니까? 그렇다면 편집으로 인해 혼란이 사라질 수 있습니다.

— 추기경

이제 업데이트되었습니다.

— Biostat

2

(+1) 업데이트 용. 가우시안 혼합 모델 에서는 일반적으로 무한한 가능성 과 여러 국소 최대 값이 모두 존재합니다. 설상가상으로, 특히 병리학 적 해결책에서 가능성은 무한합니다. 일반적으로 다중 최대 값은 문제가되지 않을 수 있습니다. 어떤 경우에는, 이들 최대 값은 그것들 중 하나를 고르면 여전히 관심있는 파라미터의 무의미한 합리적인 (심지어 효율적인) 추정값을 얻을 수있을 정도로 서로 빠르게 수렴합니다.

— 추기경

3

뭔가 빠졌을 수도 있지만

이것이 추정 문제이고 목표가 알려지지 않은 모수를 추정하는 것이며 모수가 일부 폐쇄 및 경계 세트에서 나온 것으로 알려져 있고 우도 함수가 연속적이면이 모수에 대한 값이 최대화되어야합니다. 우도 함수. 즉, 최대 값이 존재해야합니다. (고유 일 필요는 없지만 적어도 하나의 최대 값이 존재해야합니다. 모든 로컬 최대 값이 전역 최대 값이라는 보장은 없지만 최대 값이 존재하기위한 필수 조건은 아닙니다.)

우도 함수가 항상 볼록해야하는지 여부는 알 수 없지만 최대 값이 존재하는 데 필요한 조건은 아닙니다.

내가 간과 한 것을 본 적이 있다면 그것이 무엇을 잃어 버렸는지를 환영합니다.

— DW
소스

4

추가 가정이 없으면 최대 값에 대한 설명이 거짓입니다. 파라미터 공간이 닫혀있는 경우, 예를 들어, 그리고 경계와 우도 함수는 연속 변수에 다음 최대가 존재한다. 이러한 추가 조건 중 하나가 없으면 결과를 유지할 필요가 없습니다. 볼록성과 관련하여 가장 단순하고 일반적인 예에서도 실패합니다. :)

— 추기경

2

(+1) 매개 변수 공간의 경계는 단순한 경우에도 많지 않습니다. 그러나 실제적인 목적으로 우리는 일반적으로 우리의 매개 변수가 제한되어 있음을 알고 있습니다. :)

— 추기경

3

아마도 다음과 같은 간단한 예가 유용 할 것입니다.

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & 헤드 \\ 1 - θ & 꼬리 \end{cases} .

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

— mef
소스