기대 최대화 알고리즘이 사용되는 이유는 무엇입니까?

22

내가 아는 것으로부터 EM 알고리즘을 사용하여 가능성의 매개 변수와 관련하여 부분 도함수를 0으로 설정할 때 최대 가능성을 찾기 위해 분석적으로 해결할 수없는 일련의 방정식이 제공됩니다. 그러나 언급 된 일련의 방정식의 제약과 관련하여 최대한의 가능성을 찾기 위해 수치 기술을 사용하는 대신 EM 알고리즘이 필요합니다.

expectation-maximization

— 사용자
소스

20

문제는 합법적이며 EM 알고리즘을 처음 배웠을 때도 같은 혼란을 겪었습니다.

일반적으로 EM 알고리즘은 모델의 일부 변수가 "잠재적"이거나 알 수없는 경우 파라 메트릭 모델의 가능성 함수를 최대화 할 수있는 반복 프로세스를 정의합니다.

이론적으로 동일한 목적으로 최소화 알고리즘을 사용하여 모든 모수에 대한 최대 우도 함수를 수치 적으로 찾을 수 있습니다. 그러나 실제 상황에서이 최소화는 다음과 같습니다.

훨씬 더 계산 집약적
덜 견고

EM 방법의 가장 일반적인 적용은 혼합 모델을 맞추는 것입니다. 이 경우 각 샘플을 컴포넌트 중 하나에 "잠재적 인"변수로 할당하는 변수를 고려하면 문제가 크게 단순화됩니다.

예를 보자. 2 개의 정규 분포의 혼합물에서 추출한 N 개의 샘플 있습니다. EM이없는 파라미터를 찾으려면 다음을 최소화해야합니다. $s = \{s_i\}$

- 로그 엘 (엑스, θ) = - 로그 [{에이}_{1} 특급 (\frac{(엑스 - μ_{1})^{2}}{2 σ_{1}^{2}}) + {에이}_{2} 특급 (\frac{(엑스 - μ_{2})^{2}}{2 σ_{2}^{2}})]

$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$

반대로 EM 알고리즘을 사용하여 먼저 각 샘플을 구성 요소에 "할당"하고 ( E 단계 ) 각 구성 요소를 개별적으로 적합 (또는 가능성 을 최대화 )합니다 ( M 단계 ). 이 예에서 M 단계 는 단순히 및 를 찾기위한 가중 평균 입니다. 이 두 단계의 반복을 최소화 할 수있는 간단하고 강력한 방법입니다 . $\mu_k$ $\sigma_k$ $-\log \mathcal{L}(x,\theta)$

— 사용자
소스

12

EM도 수치 방법이기 때문에 일부 수치 기술을 사용하는 대신 EM이 필요하지 않습니다. 따라서 Newton-Raphson을 대체하지 않습니다. EM은 데이터 매트릭스에 결 측값이있는 특정 경우를위한 것입니다. 샘플 고려 조건부 밀도를 갖는 . 그런 다음 이의 로그 우도는 $X = (X_{1},...,X_{n})$ $f_{X|\Theta}(x|\theta)$ 이제 가 관측 된 데이터 와 누락 된 (또는 잠재 된) 변수 로 구성되어 와 같은 완전한 데이터 세트가 없다고 가정합니다. 관측 된 데이터의 로그 우도는

엘 (θ; 엑스) = 엘 영형 지 {에프}_{엑스 | Θ} (엑스 | θ)

$l(\theta;X) = log f_{X|\Theta}(X|\theta)$

X

$X$

Y

$Y$

Z

$Z$

X = (Y, Z)

$X=(Y,Z)$

일반적으로 직접이 적분을 계산할 수 있으며위한 폐쇄 형 솔루션을 얻을 것이다

. 이를 위해 EM 방법을 사용합니다.

번반복되는 두 단계가 있습니다. 이

단계에서 이들은

를 계산하는 예상 단계입니다

엘_{영형 비 에스} (θ, 와이) = 엘 영형 지 \int {에프}_{엑스 | Θ} (와이, 지 | θ) ν_{지} (디 지)

$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$

l_{o b s} (θ, Y)

$l_{obs}(\theta,Y)$

i

$i$

(i + 1)^{t h}

$(i + 1)^{th}$

여기서,

는

단계에서의

의 추정치이다. 이어서 극대화가 최대화되는 계산 단계

과 관련하여하기

및 세트

큐 (θ | θ^{(나는)}) = {이자형}_{θ^{(나는)}} [엘 (θ; 엑스 | 와이]

$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$

θ^{(i)}

$\theta^{(i)}$

Θ

$\Theta$

i^{t h}

$i^{th}$

Q (θ | θ^{(i)})

$Q(\theta|\theta^{(i)})$

θ

$\theta$

θ^{(i + 1)} = m a x Q (θ | θ^{i})

$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ . 그런 다음 방법이 예상 값이 될 때까지이 단계를 반복하십시오.

방법에 대한 자세한 정보가 필요하면 해당 속성, 증명 또는 응용 프로그램에서 해당 Wiki 기사를 살펴보십시오 .

— 앤디
소스

1

+1 ... EM은 결 측값만을위한 것이 아닙니다.

— Glen_b-복지 주 모니카

@Andy : 누락 된 데이터의 경우를 고려하더라도 부분 파생 상품이 0 인 지점을 찾기 위해 일반 수치 방법을 사용하는 이유가 여전히 이해되지 않습니다.

— user782220

감사합니다 글렌, 나는 결 측값 / 잠재적 변수의 맥락에서만 그것을 알고있었습니다. @ user782220 : 로그 우도 도함수의 닫힌 양식 솔루션을 가질 수없는 경우 도함수를 0으로 설정하면 모수를 식별 할 수 없습니다. 이 경우 숫자 방법을 사용하는 이유입니다. 설명과 예는 여기 강의를 참조하십시오 : people.stat.sfu.ca/~raltman/stat402/402L5.pdf

— Andy

1

EM 은 종종 해당 모델에서 주어진 데이터 세트의 확률을 최대화하는 모델의 매개 변수를 직접 계산하는 것이 불가능하거나 불가능하기 때문에 사용됩니다.

— TheGrimmScientist
소스