t-sne 치수가 의미가 있습니까?

t-sne embedding의 치수에 대한 의미가 있습니까? PCA와 마찬가지로 우리는 선형 적으로 변형 된 분산 최대화에 대한 감각을 가지고 있지만 t-sne의 경우 KL 거리의 매핑 및 최소화를 위해 정의한 공간 외에 직관이 있습니까?

dimensionality-reduction tsne

— 니트로
소스

이것이 실제로 당신이 요구하는 것을 얻었는지 확실하지 않지만, 나는 t-sne의 차원이 실제로 데이터의 분리 가능성에만 달려 있다고 생각합니다. 비선형 변환이므로 동일한 데이터 세트에서 치수를 변경할 수 있습니다. 따라서 차원은 주어진 인스턴스의 컨텍스트 내에서만 실제로 해석 될 수 있습니다. 내가 틀렸다면 알려주십시오. 흥미로운 질문입니다.

— Hobbes

어쩌면 그냥 지루한 ℝ3입니까?

— Nitro

저 차원 공간의 치수는 의미가 없습니다. t-SNE 손실 함수는 점 사이의 거리 ( 및 )와 해당 거리에 대한 확률 분포 ( 및 ) 에만 기반합니다 . $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{i}} = 4 \sum_{j} (p_{i j} - q_{i j}) (y_{i} - y_{j}) (1 + | | y_{i} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

따라서, 전체 고차원 공간으로부터 저 차원 공간으로의 투영이없고, t-SNE는 특정 고차원 포인트 세트로부터 특정 저 차원 포인트 세트로의 맵핑만을 발견한다. 한 공간에서 다른 공간으로 기능이 없기 때문에 축의 고유 한 의미도 없습니다.

이것을 설명하기 위해 상상할 수있는 것들 :

고차원 또는 저 차원 공간을 회전 시키거나 번역해도 점 사이의 거리에는 영향을 미치지 않습니다. 따라서, t-SNE는 두 공간에서의 회전 또는 병진에 신경 쓰지 않습니다. 따라서 축에 대한 절대 해석은 없습니다.
t- 학생 분포에는 꼬리가 굵습니다. 이것은 저 차원 표현이 고차원 공간에서 멀리 떨어진 지점의 변화에 변하지 않게한다. 이것은 또한 고차원 공간에서 멀리 떨어진 지점들이 저 차원 공간에서 상당히 멀리, 멀리 또는 실제로 멀리 떨어져있을 수있게한다. 이런 의미에서 저 차원 축의 특정 부분을 임의의 방향으로 늘입니다.

즉, t-SNE는 주로 시각화 기술이며 다른 목적을위한 차원 축소 효과는 명확하지 않습니다 (아마도 군집화, 특징 추출 또는 특징 선택에 적합하지 않음).

또한 : 종이 .

— 피터
소스