군집 솔루션을 평가하기위한 두 가우스 혼합 간의 거리

11

다른 클러스터링 방법을 비교하기 위해 빠른 시뮬레이션을 실행 중이며 현재 클러스터 솔루션을 평가하려고 시도 중입니다.

다양한 유효성 검사 메트릭 ( R의 cluster.stats () 에서 발견 됨)에 대해 알고 있지만 예상 클러스터 수가 실제 클러스터 수와 같으면 가장 잘 사용된다고 가정합니다. 원래 시뮬레이션에서 올바른 수의 클러스터를 지정하지 않은 경우 클러스터링 솔루션의 성능을 측정하는 기능을 유지하려고합니다 (즉, 4 개의 클러스터를 갖도록 시뮬레이션 된 3 개의 클러스터 솔루션 모델 데이터가 얼마나 잘 수행되는지) 해결책). 참고로 클러스터는 동일한 공분산 행렬을 갖도록 시뮬레이션됩니다.

가우시안의 두 혼합물 간의 KL 확산은 구현하는 데 유용하지만 폐쇄 형 솔루션은 존재하지 않으며 ( Hershey and Olson (2007) ) Monte Carlo 시뮬레이션 구현은 계산 비용이 많이 들기 시작했습니다.

구현하기 쉬운 다른 솔루션이 있습니까 (근사치조차도)?

clustering kullback-leibler gaussian-mixture

— 드 마틴
소스

두 가우스 혼합 간의 L2 거리는 닫힌 형태로 제공됩니다. 이것을 사용하면 모든 준비가 완료됩니다.

나는 당신이 어떻게 할 것인지 모르겠지만 좋은 생각처럼 들리지 않습니다. 혼합물을 취하고 성분을 퍼 미트하고 (p (x)로 변경하지 마십시오) L2 거리는 무엇이든 될 수 있습니다. 또한 공분산 행렬에서는 L2 거리가 좋지 않습니다.

— bayerj

보류 된 테스트 데이터 세트의 사후 예측 확률. k에 대한 사전 요구 사항이 필요하다고 생각합니다.

— 추측

첫 번째 링크가 끊어짐

— ttnphns 2016 년

6

에 두 개의 가우스 혼합이 있다고 가정합니다 . 밀도 및 을 각각 하고 , 구성 요소 , 의 밀도를 각각 나타냅니다 . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

다음 거리는 닫힌 형태로 제공됩니다.

$L_2$ 의 의견에서 제안한 거리. 이것은 참고 해당 섹션 8.1.8에서와 같이, 예를 들면 매트릭스 요리 책 : 이므로 시간 내에 쉽게 평가할 수 있습니다 .
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
가우스 RBF 커널과의 최대 평균 불일치 (MMD). 이것은 통계 커뮤니티에서 아직 잘 알려져 있지 않은 시원한 거리이며 정의하는 데 약간의 수학이 필요합니다.

시키는 힐베르트 공간 정의 등을 재생 커널 힐베르트 공간에 대응하는 : .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

정의 평균지도 커널 로서
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

그러면 MMD는
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

우리의 혼합물 와 경우 및 및 와 유사합니다 . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

이것은 대와 유사한 기법을 사용하여 밝혀 것을 이다 $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

마찬가지로 상기의 배수 명확 수렴 거리. 그러나 일반적으로 데이터 변형의 규모에 따라 다른 를 사용하려고합니다 . $\sigma \to 0$ $L_2$ $\sigma$

닫힌 형태는 MMD의 다항식 커널 에도 사용할 수 있습니다 . 보다 $k$

Muandet, Fukumizu, Dinuzzo 및 Schölkopf (2012). 지지대 측정기를 통한 분포로부터 학습. 신경 정보 처리 시스템의 발전 ( 공식 버전 ). arXiv : 1202.6504 .

이 거리의 많은 좋은 속성을 보려면

Sriperumbudur, Gretton, Fukumizu, Schölkopf 및 Lanckriet (2010). 확률 측정에 대한 힐버트 공간 임베딩 및 메트릭 기계 학습 연구 저널, 11, 1517–1561 . arXiv : 0907.5309 .
이차 Jensen-Rényi 분기. Rényi- 엔트로피는 의 한계 는 Shannon 엔트로피입니다. Jensen-Rényi 분기는 여기서 는 와 사이의 동일한 혼합물을 나타냅니다 . 그것은 그 밝혀 때 언제 와 (여기로) 가우시안 혼합물이며, 당신이 닫힌 형태 계산할 수 . 이것은에 의해 이루어졌다 $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer 및 Rangarajan (2009). 가우시안과 그룹-와이즈 모양 등록을위한 애플리케이션의 혼합을위한 폐쇄 형 Jensen-Renyi 분기. Med Image Comput Comput Assist Interv., 12 (1), 648–655. ( 무료 출판 버전 )

— 더갈
소스

0

당신의 클러스터가 실제로 있다면 하지 가우시안 혼합하지만, 임의의 모양, 결과는 실제로 훨씬 더 좋을 수는 훨씬 더 클러스터를 생성 할 때, 다시 나중에 일부를 병합합니다.

많은 경우에, k는 임의로 높은 데이터를 선택합니다 (예 : 큰 데이터 세트의 경우 1000). 특히 모델에 관심이 없지만 벡터 양자화를 통해 데이터 세트의 복잡성을 줄이려고 할 때 특히 그렇습니다.

— 종료-익명-무스
소스

가우스 혼합에서 클러스터가 그려 지도록 시뮬레이션했기 때문에 가정이 유효하다고 생각합니다. 여기서 목표는 복잡성을 줄이거 나 k를 선택하기위한 결정 기준을 제시하는 것이 아니라 k가 실제로 부정확 할 때 k 클러스터가 데이터를 얼마나 잘 모델링하는지 비교하는 것입니다. 일부 잘못된 선택은 다른 것보다 데이터를 더 잘 모델링 할 수 있으며 KL 분기와 같은 일부 계산 으로이 정도의 부적합을 정량화하려고하지만 가우시안 혼합에 대해 구현하기가 쉽습니다.

— dmartin

0

Fisher Kernel 방법 및 기타 기술을 사용하여 Mahalanobis D를 GMM으로 일반화합니다.

팁, Michael E. "가우시안 혼합 모델에서 클러스터 분석 거리 함수 도출" (1999) : 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

또한보십시오 : Mahalanobis 거리의 multi-Gaussian 버전이 있습니까?

— 레나 호이트
소스