MLE은 항상 데이터의 기본 PDF를 알고 있다는 의미입니까, EM은 그렇지 않다는 의미입니까?

MLE (Maximum Likelihood Estimation) 및 EM (Expectation Maximization)과 어떤 관련이 있는지에 대한 간단한 개념적 질문이 있습니다.

내가 이해하는 것처럼 누군가 "우리는 MLE를 사용했습니다"라고 말하면 데이터 PDF의 명시 적 모델을 가지고 있다는 의미입니까? 이것에 대한 대답은 그렇습니다. 다른 말로하면, 누군가 "MLE"이라고 말하면 어떤 PDF를 사용하는지 물어 보는 것이 좋습니다. 이것이 맞습니까?

마지막으로, EM에 대한 이해는 EM에서 데이터의 기본 PDF를 실제로 알지 못하거나 알 필요가 없다는 것입니다. 이것은 나의 이해입니다.

감사합니다.

estimation maximum-likelihood expectation-maximization

— 크레아 트론
소스

EM에서 "M"은 가능성의 최대화를 의미합니다. 가능성을 기록하려면 pdf가 필요합니다. EM은 어떤 의미에서 (E-step에서 채워지는) 'unobservables'가있는 곳에서 MLE를 찾는 방법입니다. 즉, EM을 사용하려면 명시 적 모델이 필요합니다.

— Glen_b-복원 모니카

@Glen_b 감사합니다 Gleb_b. 따라서 1) EM에서는 MLE에서와 같이 항상 데이터의 일부 PDF 모델을 가정한다고 가정 하는 것이 옳은가 ? "누군가"우리가 MLE / EM을 사용했다 "고 말하는 경우" 2) 마지막으로, EM과 관련하여, 당신이 언급 한 관찰 할 수없는 것은 혼합을 구성하는 특정 PDF의 확률이 정확하다고 생각합니다.

— Creatron

비모수 최대 우도 방법이 있습니다. Kaplan-Meier를 찾으십시오.

— soakley

Creatron-on (1) EM은 처리하기 어려운 MLE을 계산 하는 알고리즘 입니다. 어느 경우이든, 모델이 단일 pdf보다 더 복잡 할 가능성이 있기 때문에 약간 더 일반적인 질문 인 '모델이 무엇입니까?'를 묻습니다. 켜짐 (2) EM 알고리즘은 혼합물에만 적용되는 것은 아닙니다. 그보다 더 일반적입니다.

— Glen_b-복지 주 모니카

답변:

MLE 방법은 누군가가 pdf 의 기본 기능 형태 (예 : 가우시안, 로그 정규, 지수 또는 기타)를 알고 있지만 기본 매개 변수가 아닌 경우에 적용 할 수 있습니다. 예를 들어, 그들은 PDF에서 와 의 값을 모른다 : $\mu$ $\sigma$ 또는 다른 유형의 PDF로 가정합니다. MLE 방법의 역할은 특정 데이터 측정고려하여 알려지지 않은 매개 변수에 가장 적합한 (즉, 가장 그럴듯한) 값을 선택하는 것실제로 관찰되었습니다. 따라서 첫 번째 질문에 대답하기 위해, 귀하는 항상최대 가능성 추정치에 대해어떤형태의 pdf형식을 요구할 권리가 있습니다. 실제로, 그들이 당신에게 말하는 추정 된 매개 변수 값은 그들이 그 상황을 먼저 전달하지 않으면 의미가 없습니다.

f (x | μ, σ) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [\frac{- (x - μ)^{2}}{2 σ^{2}}]

$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$

f (x | A_{1}, . . ., A_{N}, μ_{1}, . . ., μ_{N}, σ_{1}, . . . σ_{N}) = \sum_{k = 1}^{N} \frac{A_{k}}{\sqrt{2 π σ_{k}^{2}}} \exp [\frac{- (x - μ_{k})^{2}}{2 σ_{k}^{2}}]

$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$

A_{k}

$A_{k}$

N

$N$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$ 너무?

$N$ $N=1$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=2$ $A_{1}$ $A_{2}$ $\mu_{1}$ $\mu_{2}$ $\sigma_{1}$ $\sigma_{2}$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=1$ $N=2$

$N$ $N$

$N=1$ $N=2$ $N=3$

— 스타 키라
소스

\sum A_{k} = 1

$\sum A_k = 1$

N

$N$

N

$N$

\sum A_{k} = 1

$\sum A_{k} = 1$

N

$N$

N

$N$

N = 4

$N=4$

N = 5

$N=5$

— stachyra

스타 키라에게 감사합니다. 마지막으로, 혼합 데이터의 PDF (가중 PDF로 구성된 두 번째 방정식에서 제공됨) 는 모든 데이터 샘플의 공동 PDF 와 동일하지 않습니다. ? (데이터 샘플이 IID라고 가정).

— Creatron

아뇨, 전혀 다릅니다. 완전히 다른 두 가지입니다. 설명하는 공동 PDF는 MLE에서 사용되는 가능성 함수의 형태와 훨씬 더 비슷하게 들립니다. 교과서가 도움이 될 수 있습니다. MLE의 경우 필립 R. 베 빙턴 (Philip R. Bevington)과 D. 키이스 로빈슨 (D. Keith Robinson)의 "물리 과학에 대한 데이터 감소 및 오류 분석"10 장 또는 Glen Cowan의 "통계 데이터 분석"섹션 6.1을 좋아합니다. 하나의 특정 유형의 EM 구현을 수행하는 방법에 대한 구체적인 예를 위해, 나는 이 설명, 섹션 2에서 5를 좋아 한다.

— stachyra

MLE는 최소한 한계 분포에 대한 지식이 필요합니다. MLE를 사용할 때는 일반적으로 iid 가정을 한 다음 관절 분포를 한계 값의 곱으로 고려하여 관절 분포의 모수를 추정합니다. 변형이 있지만 대부분의 경우에 대한 아이디어입니다. MLE는 파라 메트릭 방법입니다.

EM 알고리즘은 MLE 알고리즘의 일부로 나타나는 가능성 함수를 최대화하는 방법입니다. 수치 솔루션에 종종 사용되는 경우가 많습니다 (보통?).

MLE를 사용할 때마다 최소한 한계 분포와 조인트가 한계 (독립성 등)와 어떻게 관련되는지에 대한 가정이 필요합니다. 따라서 두 방법 모두 분포에 대한 지식에 의존합니다.

— 찰스 펠리 비안
소스

말이되는 @Charles에게 감사합니다. 사람들이 "비모수 적 MLE"에 대해 이야기 할 때의 의미는 무엇입니까? 이 문구는 언뜻 이해가되지 않습니다. MLE은 항상 분포 의 모수 를 추정합니다 .

— Creatron

그들은 ELE (Empirical Likelihood Estimation)에 대해 이야기하고있을 것입니다. 나는 그것을 사용한 적이 없다. 필요한 경우 설명하려고 노력할 것입니다. 그렇지 않으면 확실하지 않습니다.

— Charles Pehlivanian