10 ^ 10 포인트에 대한 알고리즘과 같은 빠른 k- 평균?

10 차원 포인트 집합에서 k- 평균 군집화를 수행하려고합니다. 캐치 : 10 ^ 10 포인트가 있습니다.

나는 가장 큰 클러스터의 중심과 크기만을 찾고 있습니다 (10 ~ 100 개의 클러스터라고합시다). 각 지점이 어떤 클러스터로 끝나는 지 상관하지 않습니다. k- 평균을 사용하는 것은 특별히 중요하지 않습니다. 나는 비슷한 효과를 찾고 있는데, 대략적인 k- 평균 또는 관련 알고리즘이 훌륭 할 것입니다 (minibatch-SGD 평균, ...). GMM은 k- 평균과 같은 문제이므로 동일한 크기의 데이터에 대해 GMM을 수행하는 것도 흥미 롭습니다.

이 스케일에서 데이터를 서브 샘플링해도 결과가 크게 변경되지 않을 수 있습니다. 1/10000 번째 데이터 샘플을 사용하여 동일한 상위 10 개 클러스터를 찾을 확률은 매우 좋습니다. 그러나 그때조차도 그것은 다루기 힘든 가장자리에 있거나 넘어있는 10 ^ 6 포인트 문제입니다.

k- 평균 은 평균을 기준으로 합니다 .

평균을 사용하여 군집을 모델링하므로 더 많은 데이터를 추가하여 개선하는 것은 미미합니다. 평균 추정의 오차는 1 / sqrt (n)으로 줄어 듭니다. 더 많은 데이터를 추가하면 더 적은 비용을 지불 할 수 있습니다.

이러한 대용량 데이터의 전략은 항상 샘플링과 관련이 있습니다.

하위 선형 런타임을 원하면 샘플링을 수행해야합니다!

실제로 Mini-Batch-Kmeans 등은 데이터 세트에서 반복적으로 샘플링합니다.

그러나 샘플링 (특히 바이어스되지 않은 샘플링)도 정확히 무료가 아닙니다. 일반적으로 개별 레코드에 무작위로 액세스 할 수 없으므로 샘플링하기 위해 데이터를 선형으로 읽어야합니다.

나는 MacQueen의 알고리즘으로 갈 것입니다. 온라인입니다. 기본적으로 데이터를 한 번만 전달합니다 (반복하는 것이 인기가 있지만). 배포하기는 쉽지 않지만 SSD에서 데이터를 10 번 선형으로 읽을 수 있다고 생각하십니까?

부수적으로 10D 데이터에 K- 평균을 사용 하면 차원의 저주에 따라 아무데도 없을 수 있습니다 . 물론 데이터의 특성에 따라 조금씩 다르지만 K-Means가 차원과 관련하여 이상하게 행동하기 시작하는 임계 값을 결정하려고하면 7D와 같은 것을 얻었습니다. 7 차원 후 올바른 클러스터를 놓치기 시작했습니다 (내 데이터는 4 개의 잘 분리 된 가우시안 분포에 따라 수동으로 생성되었으며 작은 실험에 MATLAB kmeans 함수를 사용 했습니다).