가우스 혼합을 계산하는 것이 직접 계산하기 어려운 이유는 무엇입니까?

가우스 혼합의 로그 가능성을 고려하십시오.

왜 그 방정식을 직접 최대화하는 것이 계산 상 어려운지 궁금했습니다. 나는 왜 어려운지 또는 왜 어려운지에 대한 더 엄격한 설명이 분명한 이유에 대한 명확한 직관을 찾고있었습니다. 이 문제가 NP-complete입니까, 아니면 아직 해결 방법을 모르십니까? 이것이 우리가 EM ( 기대 극대화 ) 알고리즘 을 사용하는 이유 입니까?

표기법:

$S_n$ = 훈련 데이터.

$x^{(t)}$ = 데이터 포인트.

$\theta$ = 가우스, 그 평균, 표준 편차 및 각 군집 / 클래스 / 가우시안에서 점을 생성 할 확률을 지정하는 매개 변수 세트.

$p_i$ = 군집 / 클래스 / 가우시안에서 점을 생성 할 확률 i.

먼저 GMM은 클러스터링을위한 특정 알고리즘으로, 관측치에 대한 최적의 레이블을 찾으려고합니다 . 갖는 K 가능한 클래스를, 거기 것을 의미 K N 훈련 데이터의 수 labellings. 이것은 k 와 n 의 중간 값에 대해 이미 커집니다 .$n$$k$$k^n$$k$$n$

둘째, 최소화하려는 기능은 볼록하지 않으며 문제의 크기와 함께 매우 어렵습니다. 나는 k- 평균 (GMM은 kme의 소프트 버전으로 볼 수 있음)이 NP-hard라는 것을 알고 있습니다. 그러나 GMM에서도 입증되었는지는 알 수 없습니다.

문제가 볼록 아니라고 보려면 일차원 경우 고려해야 및 보장 할 수 있는지를 점검 D 2

볼록하지 않은 문제가 발생하면 로컬 최소값에 갇힐 수 있습니다. 일반적으로 볼록 최적화에 대한 강력한 보증은 없으며 솔루션 검색도 훨씬 어렵습니다.

juampa의 요점 외에도 다음과 같은 어려움을 알려 드리겠습니다.

• $l(\theta|S_n)$$+\infty$$\hat\mu^{(i)}=x_1$$\hat\sigma_i=0$
• $k^n$$l(\theta|S_n)$$\theta$

내 책 에서 가져 왔습니다 .

추가 설명 : EM 알고리즘을 호출하지 않고 한 번에 하나의 매개 변수, 즉 Newton-Raphson과 같은 표준 최적화 알고리즘을 사용할 수 있습니다.

• 찾기 $\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
• $\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
• ...
• 찾기$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$$l(\theta|S_n)$