그라디언트 디센트를 사용하여 k- 평균이 최적화되지 않는 이유는 무엇입니까?

k- 평균 이 일반적으로 Expectation Maximization을 사용하여 최적화 된다는 것을 알고 있습니다. 그러나 다른 최적화 방법과 동일하게 손실 기능을 최적화 할 수 있습니다!

실제로 대규모 k- 평균에 확률 론적 경사 하강 을 사용하는 일부 논문을 찾았 지만 질문에 대한 답변을 얻을 수 없었습니다.

왜 그런지 아는 사람이 있습니까? 기대 극대화가 더 빨리 수렴 되기 때문 입니까? 특별한 보증이 있습니까? 아니면 역사적인 이유 입니까?

— 엘 소니 도크
소스

최대화 단계는 이미 가능성 단계 (예상 단계에서 선택한 값에 따라)를 올라갑니다.

— David J. Harris

@ DavidJ.Harris 나는 OP가 EM처럼 행동한다고 논쟁하지 않지만 한 방법이 널리 사용되는 것처럼 보이는 이유 와 다른 방법이 많이 사용되지 않는 이유를 묻습니다 . 귀하의 의견은 EM이 선호되는 이유를 직접 다루지 않는 것 같습니다.

— Glen_b-복지 주 모니카

안녕하세요 @ DavidJ.Harris, Glen_b와 마찬가지로 두 알고리즘 모두 우도 (EM) 또는 로그 우도 (그라데이션 강하)를 최적화한다는 것을 알고 있습니다. 구글과 친구들을 파헤친 후에이 질문에 대한 답을 찾을 수 있는지이 종이 링크 를 보았습니다. 내가 이해하지 못했다면 EM은 기울기 하강보다 더 나은 솔루션을 얻습니다.

— elsonidoq

k- 평균이 최적화 할 목적 함수는 무엇입니까? 차별화 할 수 있습니까?

— Vladislavs Dovgalecs

매개 변수 (클러스터 평균)에서 부드럽게 차별화 할 수 있지만 클러스터 할당 (다항식 표시기 변수)에서는 확실하지 않습니까?

— Ruben van Bergen

답변:

OP가 언급했듯이 그라디언트 디센트를 사용하여 k- 평균을 해결할 수 있으며 이는 대규모 문제의 경우 유용 할 수 있습니다.

k- 평균을 풀기위한 EM 스타일 알고리즘의 보급에 대한 역사적 이유가 확실히있다 (즉, 로이드의 알고리즘). 로이드의 알고리즘은 사람들이 가끔 "k- 평균 알고리즘"이라고 부르며 다른 접근법이 존재한다는 것을 알지 못할 수도 있습니다. 그러나이 인기는 가치가 없습니다.

Bottou와 Bengio (1995)는 Lloyd의 알고리즘이 Newton의 방법을 사용하여 k- 평균 비용 함수를 최적화하는 것과 동등 함을 보여주었습니다. 일반적인 최적화 문제에서 Newton의 방법과 같은 2 차 방법은 목적 함수의 곡률에 대한 정보를 이용하기 때문에 기울기 하강과 같은 1 차 방법보다 빠르게 수렴 할 수 있습니다 (1 차 방법은 그렇지 않습니다). 잘 알려진 아이리스 데이터 세트에 대한 실험에서 그들은 로이드 알고리즘이 실제로 경사 하강보다 빠르게 수렴한다는 것을 보여주었습니다. 보다 다양한 데이터 세트에서이 비교를 보는 것이 흥미로울 것입니다.

참고 문헌 :

Bottou and Bengio (1995) . k- 평균 알고리즘의 수렴 속성.

— 사용자 20160
소스

K- 평균 군집화는 감독되지 않으며 EM을 사용하는 가장 가까운 감독되지 않은 기술은 모델 기반 군집 (가우스 혼합 모델, GMM)입니다. 많은 피쳐가 상관 될 때 GMM 모델 기반 클러스터링의 성가신 문제가 발생하여 피쳐 기반 공분산 (상관) 매트릭스에서 거의 특이점이 발생합니다. 이 상황에서 우도 함수는 불안정 해지고 조건 인덱스가 무한대에 도달하여 GMM이 완전히 분해됩니다.

따라서 EM과 kNN의 개념은 감독되지 않은 분석을위한 공분산 (상관) 행렬을 기반으로하기 때문에 삭제합니다. 최적화에 대한 문의는 Sammon 매핑, 클래식 메트릭 및 비 메트릭 다차원 스케일링 (MDS)과 매우 유사합니다. Sammon 매핑은 미분 반복 기반이며, 다양한 형태의 MDS는 일반적으로 반복 또는 1 단계 고유 분해이며, 그럼에도 불구하고 1 단계 매트릭스 연산 동안 최적화 할 수 있습니다.

귀하의 요청을 다시 되돌아 보면 대답은 이미 Sammon 매핑에서 수행 된 것입니다.

— JoleT
소스