t-SNE가 군집화 또는 분류를위한 차원 축소 기술로 사용되지 않는 이유는 무엇입니까?

최근 과제에서 MNIST 숫자에 PCA를 사용하여 크기를 64 (8 x 8 이미지)에서 2로 줄이라는 지시를 받았습니다. 그런 다음 가우스 혼합 모델을 사용하여 숫자를 클러스터링해야했습니다. 2 개의 주요 구성 요소 만 사용하는 PCA는 별개의 군집을 생성하지 않으므로 모델이 유용한 그룹화를 생성 할 수 없습니다.

그러나 2 개의 구성 요소와 함께 t-SNE를 사용하면 클러스터가 훨씬 더 잘 분리됩니다. Gaussian Mixture Model은 t-SNE 구성 요소에 적용될 때 더 뚜렷한 군집을 생성합니다.

MNIST 데이터 세트에 변환이 적용된 다음 이미지 쌍에서 2 개의 구성 요소가있는 PCA와 2 개의 구성 요소가있는 t-SNE의 차이를 확인할 수 있습니다.

나는 t-SNE 가이 답변 과 같은 고차원 데이터의 시각화에만 사용되지만, 생성 된 별개의 클러스터를 고려할 때 왜 분류 모델에 사용되거나 차원 모델로 사용되는 차원 축소 기술로 사용되지 않는지 읽었습니다. 독립형 클러스터링 방법?

$t$$t$

$t$$t$

$t$$t$1 s 클러스터를 함께 "는 말과는 거리가 먼 말을 할 수 없다면 큰 가치를 제공하지 못한다는 . 우리가 방금 찾고 싶었다면1우리는 분류를 사용하여 시작했을 수도 있습니다 (자동 엔코더 사용으로 돌아갑니다).

t-SNE는 거리를 유지하지 않지만 기본적으로 확률 분포를 추정합니다. 이론적으로 t-SNE 알고리즘은 입력을 2 차원 또는 3 차원의 맵 공간에 매핑합니다. 입력 공간은 가우스 분포이고지도 공간은 t 분포라고 가정합니다. 사용 된 손실 함수는 구배 하강을 사용하여 최소화되는 두 분포 사이의 KL 분기입니다.

t-SNE의 공동 저자 인 Laurens van der Maaten에 따르면

t-SNE는 거리가 아니라 확률을 유지하므로 high-D와 low-D에서 유클리드 거리 사이의 일부 오차를 측정하는 것은 쓸모가 없습니다.

참고:

https://lvdmaaten.github.io/tsne/

https://www.oreilly.com/learning/an-illustrated-introduction-to-the-t-sne-algorithm

일반적인 진술 : 충분히 강력한 (/ 적합한) 분류 자 ​​또는 클러스터-클래스가 주어지면 적용되지 않습니다 있는 경우 차원 축소를 하지 .

차원 축소는 정보를 잃습니다.

그러한 클러스터 또는 분류기 (esp 분류기, 덜 클러스터 러)는 내부적으로 이미 의미있는 공간에 어떤 형태의 투영을 통합합니다. 또한 차원 축소는 의미있는 공간에 대한 투영입니다.

그러나 차원 축소는 정보가없는 방식으로 수행해야합니다. 어떤 작업을 축소할지 모릅니다. 이것은 감독 감독 정보가있는 분류에 특히 해당됩니다. 그러나 클러스터링에도 적용하고자하는 공간이 "이 알고리즘을 위해"더 작은 차원을 갖는 것보다 더 잘 정의되는 클러스터링에도 적용됩니다. @ usεr11852의 대답은 이것에 대해 이야기합니다. 줄일 작업-원하는 차원 축소 알고리즘을 선택하여 알려줍니다.

클러스터링 / 분류 전에 사전 처리로 차원 축소 단계를 추가하는 대신 유용한 프로젝션을 통합하는 다른 분류기 / 클러스터를 사용하는 것이 좋습니다.

이 점에서 dimentionality 감소가 한 가지 일이 있었지만 (희망적으로) 의미있는 공간에 대한 투영을 만드는 데 감독되지 않은 특성입니다. 레이블 데이터가 거의없는 경우에 유용합니다. 그러나 분류 자와 밀접하게 연결된 다른 방법들 (예 : 신경망의 경우 자동 엔코더를 사용하는 것과 같은 딥 신념 네트워크 프리 트레이닝)은 최종 작업을 염두에두고 설계 되었기 때문에 더 잘 작동합니다. 보다 일반적인 차원 축소 작업이 아닙니다.