k- 평균이 왜 세계 최소값을 제공하지 않습니까?

k- 평균 알고리즘은 전역 최소값이 아닌 로컬 최소값으로 만 수렴된다는 것을 읽었습니다. 왜 이런거야? 논리적으로 초기화가 최종 클러스터링에 영향을 줄 수있는 방법을 생각할 수 있으며 하위 최적 클러스터링의 가능성이 있지만 수학적으로 증명할 수있는 것은 찾지 못했습니다.

또한 k- 평균은 왜 반복 과정입니까? 목적 함수 wrt를 중심과 부분적으로 구별 할 수없고,이 함수를 최소화하는 중심을 찾기 위해 0과 동일시 할 수 있습니까? 최소 단계에 도달하기 위해 왜 경사 하강을 사용해야합니까?

k- 평균을 EM 알고리즘의 특수 버전으로 볼 수 있는데, 이는 약간 도움이 될 수 있습니다.

공분산 행렬이 모두에 대해 항등 행렬로 고정 된 각 군집에 대한 다변량 정규 분포를 추정한다고 가정하지만 변수 평균 여기서 i 는 군집 지수입니다. 모수 { μ i } 를 알고 있다면, 각 점 p 에 최대 우도 군집 (즉 , 최소 거리가 p 인 μ i) 을 지정할 수 있습니다 . 이 문제에 대한 EM 알고리즘은 k- 평균과 거의 같습니다.$\mu_i$$i$$\{\mu_i\}$$p$$\mu_i$$p$

다른 방법으로 어떤 점이 어떤 군집에 속하는지 알면 최적의 추정 할 수 있습니다 . (글로벌 최적의 발견)이에 폐쇄 된 형태의 솔루션은 기본적으로 그 최대의 가능성 모델을 찾기 위해 말한다 { μ 내가 } 당신이 클러스터 포인트의 가능한 모든 할당을 통해 통합 할 수 있습니다. 30 개 지점과 2 개의 클러스터로도 약 10 억 개의 할당이 가능하기 때문에 계산하기가 불가능합니다.$\mu_i$$\{\hat\mu_i\}$

대신 숨겨진 매개 변수 (또는 모델 매개 변수)를 추측하고 두 단계를 반복 할 수 있습니다 (로컬 최대로 끝날 가능성이 있음). 각 군집이 한 점에 대해 부분적으로 책임을 지도록 허용하면 EM으로 끝나고 최적의 군집 만 할당하면 k- 평균을 얻게됩니다.

따라서 요약 : 확률 적으로 보면 글로벌 솔루션이 있지만 가능한 모든 클러스터링을 반복해야합니다. 분명 목적 함수가있는 경우에도 마찬가지입니다. 모든 솔루션을 반복하고 목적 함수를 최대화 할 수 있지만 반복 횟수는 데이터 크기에 따라 기하 급수적으로 증가합니다.

이것은 해결하려는 문제입니다.

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - c_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ & c_j\textit{ is the centroid of cluster j}\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ \end{align}$$

The binary variable $x_{ij}$ indicates whether or not point $i$ is assigned to cluster $j$. Symbols $p_i$ and $c_j$ denote the coordinates of $i$th point and centroid of $j$th cluster, respectively. They are both located in $\mathbb{R}^d$, where $d$ is the dimensionality of data points.

The first group of constraints say that each point should be assigned to exactly one cluster. The second group of constraints (which we have not defined mathematically) say that the coordinates of centroid of cluster $j$ actually depend on values of $x_{ij}$ variables. We can for example express this constraint as follows:

$$\begin{equation} c_j = \frac{\sum_{i} x_{ij} p_{ij}}{\sum_{i} x_{ij}} \end{equation}$$

However, instead of dealing with these non-linear constraints, in K-Means we (approximately) solve a different problem which has the same optimal solution as our original problem:

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - y_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ &y_j \in \mathbb{R}^d \quad \forall j \end{align}$$

Instead of minimizing the distance to centroids, we minimize the distance to just any set of points that will give a better solution. It turns out that these points are exactly the centroids.

Now to solve this problem, we iterate in steps 2-3 of this algorithm, until convergence:

1. Assign some values to $y_j$ variables
2. Fix the values for $y_{j}$ variables and find the optimal values for $x_{ij}$ variables.
3. Fix the values of $x_{ij}$ variables, and find the optimal values for $y_{j}$ variables.

In each step the objective function improves (or remains the same when the algorithm converges), since the solution found in the previous step is in the search space of current step. However, since we are fixing some of the variables in each step, this is a local search procedure which does not guarantee optimality.

Luckily, the optimization problems in steps 2 and 3 can be solved in closed form. If we know $x_{ij}$ (i.e. if we know to which cluster each point is assigned), the best values for $y_j$ variables are the centroids of clusters. If we know values for $y_j$, obviously best choice for $x_{ij}$ variables is to assign each point to the closest $y_j$.

A simple example might help..

Let us define the set of points to be clustered as A = {1,2,3,4}.

Say you're trying to find 2 appropriate clusters for A (2-means). There are (at least) two different settings which satisfy the stationary condition of k-means.

Setting 1:

Center1 = 1, Cluster1 = {1}
Center2 = 3, Cluster1 = {2,3,4}

Here the objective is 2. As a matter of fact this is a saddle point (try center1 = 1 + epsilon and center1 = 1 - epsilon)

Setting 1:

Center1 = 1.5, Cluster1 = {1,2}
Center2 = 3.5, Cluster1 = {3,4}

here the objective is 1/4.

If k-means would be initialized as the first setting then it would be stuck.. and that's by no means a global minimum.

You can use a variant of previous example to create two different local minima. For A = {1,2,3,4,5}, setting cluster1={1,2} and cluster2={3,4,5} would results in the same objective value as cluster1={1,2,3} and cluster2={4,5}

Finally, what would happen if you choose

A = {1,2,3,4,6}
center1={2.5} cluster1={1,2,3,4} and 
center1={6} cluster1={6}

vs

center1={2} cluster1={1,2,3} and 
center1={5} cluster1={4,6}

?

[This was before @Peter answered]
After a small discussion (in the comments section), I feel I have to answer my own question.

I believe that when I partially differentiate the objective function with respect to one centroid, the points in the cluster of another centroid vanish in the derivative. So, the centroid we can get will minimize only the sum of squared distances of only the particular cluster.

@whuber adds:

That's partly it, but does not really explain the behavior. Of more import is the fact that the assignment of points to centroids is the big part of what k-means is doing. (Once the assignment is made, the centroids are easily computed and there's nothing left to do.) That assignment is discrete: it's not something that can be differentiated at all.

It would be awesome if anybody has more to add.

Everybody has explained everything, but I would like to add that if a sample data is not distributed as a Gaussian distribution then it can stuck to a local minima. In the K-means algorithm we are actually trying to get that.