주요 구성 요소 점수가 서로 관련이없는 이유는 무엇입니까?

수포 $\mathbf A$ 평균 중심 데이터의 행렬입니다. 매트릭스 $\mathbf S=\text{cov}(\mathbf A)$ 이다 $m\times m$ , 가지고있다 $m$ 고유 한 고유 값 및 고유 벡터 $\mathbf s_1$ , $\mathbf s_2$ ... $\mathbf s_m$ 직교하는.

그만큼 $i$ -주요 구성 요소 (일부 사람들은 "점수"라고 함)는 벡터입니다. $\mathbf z_i = \mathbf A\mathbf s_i$ . 즉, 열의 선형 조합입니다. $\mathbf A$ 여기서 계수는 $i$ 의 고유 벡터 $\mathbf S$ .

왜 그런지 모르겠다 $\mathbf z_i$ 과 $\mathbf z_j$ 모두와 관련이없는 것으로 판명 $i\neq j$ . 그것은 사실에서 따릅니 까? $\mathbf s_i$ 과 $\mathbf s_j$ 직교? 매트릭스를 쉽게 찾을 수 있기 때문에 확실하지 않습니다. $\mathbf B$ 한 쌍의 직교 벡터 $\mathbf x, \mathbf y$ 그런 $\mathbf B\mathbf x$ 과 $\mathbf B\mathbf y$ 상관되어 있습니다.

correlation pca linear-algebra

— 어니스트 A
소스

이와 관련된 응답 stats.stackexchange.com/a/110546/3277 .

— ttnphns

지_{나는}^{⊤} 지_{제이} = (ㅏ {에스}_{나는})^{⊤} (ㅏ {에스}_{제이}) = {에스}_{나는}^{⊤} ㅏ^{⊤} ㅏ {에스}_{제이} = (엔 - 1) {에스}_{나는}^{⊤} 에스 {에스}_{제이} = (엔 - 1) {에스}_{나는} λ_{제이} {에스}_{제이} = (엔 - 1) λ_{제이} {에스}_{나는} {에스}_{제이} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— 아메바
소스

수학 : 정말 아름다운 언어입니다.

— Néstor

이것은 의미

z_{i}

$\mathbf z_i$ 과

z_{j}

$\mathbf z_j$ 직교합니다. 상관되지 않음은 이것이 사실이어야 함을 의미합니다.

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$ . 어떻게 든 생각합니다

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$ , 그리고

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$ 또한 서로 관련이 없음을 나타냅니다.

— 어니스트 A

좋은 지적, @ 어니스트. 데이터가 평균 중심 (귀하의 가정에 따라)이기 때문에 평균은 실제로 0입니다. 그런 다음 모든 투영의 평균이 0이어야합니다.

— amoeba

@Jubbles 때문에

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$ 그러므로

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$ .

— 어니스트 A

@ 어니스트, 나는 텍스트가 포함되어 있지 않은 답변을 제공하는 것을 거부 할 수 없었지만 PC가 상호 관련이없는 근본적인 이유는 공분산 행렬이

S

$S$ 고유 벡터와이 기초에서

S

$S$ 대각선이됩니다. 이것이 고유 분해의 요점입니다.

— amoeba