t-SNE 대 MDS

최근 t-SNE ( t-Distributed Stochastic Neighbor Embedding ) 에 대한 질문을 읽고 MDS ( Multidimensional Scaling )에 대한 질문도 방문했습니다 .

그것들은 종종 유사하게 사용되므로 여기에 별도로 (또는 PCA 와 비교하여 ) 둘 다에 많은 질문이 있음을 보는 것이 좋습니다 .

요컨대 t-SNE와 MDS의 차이점은 무엇입니까? 예. 그들이 탐구하는 데이터 계층의 장점, 다른 가정 등

수렴 률? 커널 사용은 어떻습니까? 둘 다 준수합니까?

PCA는 N 데이터 포인트 자체의 eigenanalysis에 의해 영향력있는 차원을 선택하는 반면, MDS는 pairwise distance matrix 의 데이터 포인트의 eigenanalysis에 의해 영향력있는 차원을 선택합니다 . 이는 분포의 균일 성 편차를 강조하는 효과가 있습니다. 거리 행렬을 응력 텐서와 유사한 것으로 간주하면, MDS는 "강제 지향"레이아웃 알고리즘으로 간주 될 수 있으며, 실행 복잡도는 여기서 입니다. $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

반면에 t-SNE는 필드 근사법을 사용하여 일반적으로 Barnes-Hut을 통해 다소 다른 형태의 force-directed 레이아웃을 실행하여 그라디언트 기반 복잡성을 이지만 수렴 속성은이 반복 확률 론적 근사법 (내가 아는 한)에 대해 잘 이해되지 않으며, 일반적으로 관찰되는 런타임은 일반적으로 . 다른 치수 감소 방법보다 길다. 결과는 종종 순진한 eigenanalysis보다 시각적으로 해석 가능하며 분포에 따라 종종 t-SNE에 의해 유지되는 로컬 구조를 희생하면서 글로벌 구조를 유지하는 경향이있는 MDS 결과보다 더 직관적입니다.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS는 이미 커널 PCA를 단순화 한 것으로, 대체 커널로 확장 가능해야하지만 커널 t-SNE는 Gilbrecht, Hammer, Schulz, Mokbel, Lueks et al. 나는 실제로 그것에 익숙하지 않지만 아마도 다른 응답자가있을 수 있습니다.

문맥 적 목표에 따라 MDS와 t-SNE를 선택하는 경향이 있습니다. 강조 표시에 관심이있는 구조를 설명하는 것은 어느 쪽이든 설명력이 큰 구조, 즉 내가 사용하는 알고리즘입니다. 이것은 자유도의 한 형태이기 때문에 함정으로 간주 될 수 있습니다. 그러나 현명하게 사용 된 자유는 그렇게 나쁜 것이 아닙니다.