[1]에서와 같이 t-SNE는 특정 조건이 충족 될 때까지 KL (Kullback-Leibler) 발산을 점진적으로 줄임으로써 작동합니다. t-SNE의 제작자는 KL 분기를 시각화의 성능 기준으로 사용하도록 제안합니다.
Kullback-Leibler가 t-SNE가보고 한 차이점을 비교할 수 있습니다. t-SNE를 10 번 실행하고 KL 발산이 가장 낮은 솔루션을 선택하는 것이 좋습니다 [2]
t-SNE의 두 가지 구현을 시도했습니다.
- 파이썬 : sklearn.manifold.TSNE ().
- R : 라이브러리에서 tsne (tsne).
이 두 가지 구현 모두 상세도가 설정되면 각 반복에 대한 오류 (Kullback-Leibler divergence)를 인쇄하십시오. 그러나 그들은 사용자 가이 정보를 얻도록 허용하지 않습니다.
예를 들어 코드는 다음과 같습니다.
import numpy as np
from sklearn.manifold import TSNE
X = np.array([[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
model = TSNE(n_components=2, verbose=2, n_iter=200)
t = model.fit_transform(X)
생산 :
[t-SNE] Computing pairwise distances...
[t-SNE] Computed conditional probabilities for sample 4 / 4
[t-SNE] Mean sigma: 1125899906842624.000000
[t-SNE] Iteration 10: error = 6.7213750, gradient norm = 0.0012028
[t-SNE] Iteration 20: error = 6.7192064, gradient norm = 0.0012062
[t-SNE] Iteration 30: error = 6.7178683, gradient norm = 0.0012114
...
[t-SNE] Error after 200 iterations: 0.270186
이제 내가 이해하는 한 0.270186 은 KL 발산이어야합니다. 그러나 모델 이나 t (간단한 numpy.ndarray) 에서이 정보를 얻을 수 없습니다 .
이 문제를 해결하기 위해 나는 : i) 스스로 KL 발산을 계산한다. ii) TSNE () 함수의 출력을 캡처하고 파싱하기 위해 파이썬에서 불쾌한 일을한다 [3]. 그러나 : i) TSNE ()가 이미 계산했을 때 KL 발산을 다시 계산하는 것은 매우 어리석은 일입니다. ii) 코드 측면에서 약간 이례적입니다.
다른 제안이 있습니까? 이 라이브러리를 사용하여이 정보를 얻는 표준 방법이 있습니까?
나는 R 의 tsne 라이브러리를 시도했지만 언급했지만 파이썬 sklearn 구현 에 중점을 두는 대답을 선호합니다 .
참고 문헌
[2] http://homepage.tudelft.nl/19j49/t-SNE.html
[3] /programming/16571150/how-to-capture-stdout-output-from-a-python-function-call