EM 알고리즘은 Gaussian Mixture 모델의 파라미터를 일관되게 추정합니까?


9

Gaussian Mixture 모델을 연구하고 있으며이 질문을 직접 제기합니다.

기본 데이터가 가우시안 분포 의 혼합에서 생성 되고 각각의 평균 벡터가 이고 여기서 1 \ leq k \ leq K 와 각각 동일한 co- 분산 행렬 \ Sigma이며이 \ Sigma 가 대각선 행렬 이라고 가정합니다 . 그리고 혼합 비율이 1 / K 라고 가정합니다 . 즉, 각 클러스터의 무게는 동일합니다.KμkRp1kKΣΣ1/K

따라서이 이상적인 예에서 유일한 작업은 K 평균 벡터 \ mu_k \ in \ mathbb {R} ^ p 를 추정하는 것입니다 μkRp. 여기서 1kK 및 공분산 행렬 Σ 입니다.

내 질문은 : EM 알고리즘을 사용하면 μk\ Sigma 를 일관되게 추정 할 수 있습니까Σ , 즉 샘플 크기 n 일 때 EM 알고리즘으로 생성 된 추정기는 μk\ 의 실제 값을 달성 합니까? 시그마Σ ?

답변:


1

알고리즘이 매번 임의의 값으로 초기화되면, 아니오, 수렴이 반드시 일치하지는 않습니다. 비 랜덤 초기화는 아마도 매번 같은 결과를 낳을 것이지만, 이것이 의 "올바른"값을 생성 할 것이라고는 생각하지 않습니다 .μk

또한 혼합비를 로 고정하고 를 대각선으로 고정 함으로써 means 알고리즘 과 매우 유사 해집니다 . 또한 임의 초기화에 따라 일관성없는 수렴이 있습니다.1/KΣk


적어도 2 개의 독립적 인 정규 분포에 대해 수치 적으로 실험 한 결과 EM은 클래스 평균의 일관된 추정치를 생성합니다. 그러나 K는 그렇게 할 수 없습니다. 수학적으로 증명했습니다
KevinKim

1
자세한 내용을 알려주시겠습니까? 예를 들어 어떤 데이터를 사용했는지, 어떻게 매개 변수를 초기화했는지 등
dcorney

@dcorney에 동의하십시오. 실제로 선택한 초기 값에 따라 다릅니다. 적어도 실제로는 초기 값을 잘못 선택하면 일관성이없는 추정으로 이어진다 (mixtools R 패키지를 사용한다)
German Demidov
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.