현재 t-SNE를 사용하여 고차원 데이터의 시각화를 조사하고 있습니다. 이진 및 연속 변수가 혼합 된 일부 데이터가 있으며 이진 데이터를 너무 쉽게 클러스터링하는 것처럼 보입니다. 물론 이것은 스케일 된 (0과 1 사이) 데이터에 대해 예상됩니다. 유클리드 거리는 이진 변수 사이에서 항상 가장 크거나 작습니다. t-SNE를 사용하여 혼합 이진 / 연속 데이터 세트를 어떻게 처리해야합니까? 이진 열을 삭제해야합니까? metric우리가 사용할 수 있는 다른 것이 있습니까?
예를 들어이 파이썬 코드를 고려하십시오.
x1 = np.random.rand(200)
x2 = np.random.rand(200)
x3 = np.r_[np.ones(100), np.zeros(100)]
X = np.c_[x1, x2, x3]
# plot of the original data
plt.scatter(x1, x2, c=x3)
# … format graph내 원시 데이터는 다음과 같습니다.
여기서 색상은 세 번째 피처 (x3)의 값입니다. 3D에서 데이터 포인트는 두 평면 (x3 = 0 평면 및 x3 = 1 평면)에 있습니다.
그런 다음 t-SNE를 수행합니다.
tsne = TSNE() # sci-kit learn implementation
X_transformed = StandardScaler().fit_transform(X)
tsne = TSNE(n_components=2, perplexity=5)
X_embedded = tsne.fit_transform(X_transformed)결과 플롯과 함께 :
데이터는 물론 x3에 의해 클러스터됩니다. 내 직감은 이진 피처에 대한 거리 메트릭이 잘 정의되어 있지 않기 때문에 t-SNE를 수행하기 전에이를 제거해야한다는 점입니다. 이러한 피처는 클러스터 생성에 유용한 정보를 포함 할 수 있으므로 부끄러운 일입니다.
1
참고 : 나는 이것에 대한 의견을 듣고 여전히이 공간에 UMAP의 적용 가능성에 관심이 있습니다.
—
FChm
현상금에 대한 감사, 다시 여전히 관심이 있지만 공정하기 위해 이것을 조사하는 데 많은 시간을 소비하지 않았습니다. 오늘 약간의 초기 조사를 수행 할 시간이있을 수 있으며 해당되는 경우 업데이트를 추가 할 것입니다.
—
FChm
실제로이 문제가 발생했습니다. 나는 그것이 tSNE에만 국한된 것이 아니라 거리 기반의 감독되지 않은 학습 알고리즘 (클러스터링 포함)에 동일하게 영향을 줄 것이라고 생각합니다. 또한 적절한 솔루션은 바이너리 기능이 무엇을 나타내는 지, 그리고 그것이 얼마나 중요한지 전문가의 판단에 크게 좌우 될 것이라고 생각합니다. 그래서 나는 다양한 가능한 상황에 대해 토론 할 답을 찾고 있습니다. 나는 여기에 하나의 크기에 맞는 솔루션이 없다고 확신합니다.
—
amoeba