PCA 솔루션은 독특합니까?

12

특정 데이터 세트에서 PCA를 실행할 때 솔루션이 고유합니까?

즉, 인터 포인트 거리를 기반으로 2D 좌표 세트를 얻습니다. 이러한 제약 조건을 충족하는 포인트의 배열을 하나 이상 찾을 수 있습니까?

대답이 예라면 어떻게 다른 해결책을 찾을 수 있습니까?

pca

— 레이 고자 그
소스

11

고유성 질문에 대한 대답은 예와 아니오입니다. 고유 공간과 고유 값은 수학적으로 잘 정의되고 고유하게 정의된다는 의미에서 "예"입니다. 그것은는 "아니오"를 의미로는 (a)하기 위해 여러 가지 방법이있다 나타내는 그 고유 공간 (심지어 정규화 고유 벡터는 무효화 될 수 있으며, 축퇴 고유 공간에 대한 근거 많은 선택 사항이있다) 및 (b)는 서로 다른 알고리즘이 다를 생산할 수 결과 계산에서 부동 소수점 오류가 누적되기 때문입니다.

— whuber

"Functinal Data Analysis"책에서 Ramsay와 Silverman은 VARIMAX 회전을 언급합니다. 함수의 데이터 세트 (행렬로 표시)를 기본 구성 요소로 나누는 것에 대해 이야기합니다.

— 힘

PCA를 치수 축소 도구로 사용하려는 것 같습니다. 차원 축소 를 살펴보면서 시작할 수 있습니다 ...

— Elvis

7

아니요, 답은 고유하지 않습니다. 이것을 보여주는 많은 방법이 있습니다. 하나의 가능성은 행렬 의한 제곱 의 스펙트럼 분해 가 의 볼록 함수의 최대화 에 대한 해결책이라는 것을 알 수있다 . 첫 번째 고유 벡터 / 값을 고려하십시오. $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

여기서 은 첫 번째 고유 값이고 는 첫 번째 고유 벡터입니다. $\lambda_1$ $w^*$

이러한 문제의 해결책 (예 : 값 그 최대 달성)는 일반적으로 고유하지 않다. $w$

그러나 이러한 솔루션을 계산하는 알고리즘은 결정론 적이므로 수치가 큰 경우 절약 할 수있는 솔루션이 동일해야합니다.

이러한 수치 적 코너 사례의 예 : 여러 고유 값이 (숫자 적으로) 동일한 경우, 가 순위가 부족한 경우 ... $X$

— 사용자 603
소스

7

아직 눈치 채지 못한 것은 단순히 PC의 부호를 바꾸면 다른 해결책이 나온다는 것입니다. 즉, 가 번째 기본 구성 요소이면 는 번째 기본 구성 요소에 대한 솔루션 입니다. 이것은 특히 컴퓨터가 PC를 번갈아 출력 할 때 혼란을 야기했습니다. 이 질문을 참조하십시오 . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— 캠 데이비슨 필론
소스

3

이 모호성을 실제로 적용하려면 stats.stackexchange.com/questions/34396을 참조하십시오 . (BTW, 부호 반전 이 발견되었습니다.이 질문에 대한 첫 번째 의견 참조)

— whuber