k- 평균에 대해 구체적으로 갭 통계를 사용할 수 있습니다. 기본적으로 아이디어는 점점 더 많은 클러스터에 대한 참조 분포와 비교하여 평균 분산을 기반으로 클러스터링 측정의 우수성을 계산하는 것입니다. 자세한 내용은 원본 용지에 나와 있습니다.
Tibshirani, R., Walther, G. 및 Hastie, T. (2001). 간격 통계를 통해 데이터 세트의 군집 수 추정 . JR 통계 학자. Soc. B, 63 (2) : 411-423.
내가 관련 질문에 제공 한 답변 은 주어진 데이터 세트가 어떤 종류의 구조를 나타내는 지 여부를 확인하는 데 사용할 수있는 다른 일반적인 유효성 지수를 강조합니다.
노이즈 만 있는지 알아낼 것이 무엇인지 모른다면 리샘플링을 사용하고 클러스터 안정성을 연구하는 것이 좋습니다. 즉, 부트 스트랩을 통해 또는 작은 노이즈를 추가하여 데이터를 다시 샘플링하고 Jaccard 유사성 으로 측정 된 결과 파티션의 "근접도"를 계산하십시오 . 즉, 데이터에서 유사한 클러스터가 복구되는 빈도를 추정 할 수 있습니다. 이 방법은 fpc R 패키지에서 다음과 같이 쉽게 사용할 수 있습니다 clusterboot(). 원시 데이터 또는 거리 행렬을 입력으로 사용하며 광범위한 클러스터링 방법 (계층 적, k- 평균, 퍼지 방법)을 적용 할 수 있습니다. 이 방법은 링크 된 참조에서 논의됩니다.
Hennig, C. (2007) 클러스터 안정성에 대한 클러스터 별 평가 .
전산 통계 및 데이터 분석 , 52, 258-271.
Hennig, C. (2008) 용해 지점 및 격리 견고성 : 일반적인 클러스터 분석 방법에 대한 견고성 기준 . 다변량 분석 저널 , 99, 1154-1176.
아래는 k- 평균 알고리즘을 사용한 작은 데모입니다.
sim.xy <- function(n, mean, sd) cbind(rnorm(n, mean[1], sd[1]),
rnorm(n, mean[2],sd[2]))
xy <- rbind(sim.xy(100, c(0,0), c(.2,.2)),
sim.xy(100, c(2.5,0), c(.4,.2)),
sim.xy(100, c(1.25,.5), c(.3,.2)))
library(fpc)
km.boot <- clusterboot(xy, B=20, bootmethod="boot",
clustermethod=kmeansCBI,
krange=3, seed=15555)
3 개의 군집 ( krange) 중 어느 것도 시료에 용해 되지 않았 으며 모든 군집에 대한 평균 군집 자카드 유사성은> 0.95 이기 때문에 결과는이 인공 (및 구조화 된) 데이터 집합에서 상당히 긍정적입니다 .
다음은 20 개의 부트 스트랩 샘플에 대한 결과입니다. 알 수있는 바와 같이, 통계 단위는 동일한 군집으로 그룹화되는 경향이 있지만 그 사이에있는 관측치에 대한 예외는 거의 없습니다.
물론이 아이디어를 모든 유효성 지수로 확장 할 수 있습니다. 부트 스트랩 (대체 포함)을 통해 새로운 일련의 관측 값을 선택하고, 통계 범위 (예 : 실루엣 너비, cophenetic 상관 관계, 허버트 감마, 제곱합 내)를 계산합니다. 군집 번호 (예 : 2-10)를 100 회 또는 500 회 반복 한 다음 군집 수의 함수로 통계의 상자 그림을보십시오.
여기 동일한 시뮬레이션 데이터 세트로 얻을 수 있지만 Ward의 계층 적 클러스터링을 사용하고 cophenetic 상관 관계 (결과 파티션에서 거리 정보가 얼마나 잘 재현되는지 평가)와 실루엣 너비 (클러스터 내부 동질성 및 인터 인터를 평가하는 조합 측정)를 고려하십시오. 클러스터 분리).
cophenetic 상관 관계는 0.6267에서 0.7511까지이며 중앙값은 0.7031 (500 부트 스트랩 샘플)입니다. 3 개의 군집 (중앙 0.8408, 범위 0.7371-0.8769)을 고려할 때 실루엣 폭이 최대 인 것으로 보입니다.
