상관 관계 또는 공분산에 대한 PCA : 상관 관계에 대한 PCA는 의미가 있습니까? [닫은]

주성분 분석 (PCA)에서 공분산 행렬 또는 상관 행렬을 선택하여 성분을 찾을 수 있습니다 (각 고유 벡터에서). 두 행렬 사이의 고유 벡터가 같지 않기 때문에 서로 다른 결과 (PC 로딩 및 점수)를 제공합니다. 내 이해는 이것이 원시 데이터 벡터 와 표준화 가 직교 변환을 통해 연관 될 수 없기 때문에 발생한다는 것입니다 . 수학적으로, 유사한 행렬 (즉, 직교 변환에 의해 관련됨)은 동일한 고유 값을 갖지만 반드시 동일한 고유 벡터는 아닙니다.$X$$Z$

이것은 내 마음에 약간의 어려움을 제기합니다.

1. 동일한 시작 데이터 세트에 대해 서로 다른 두 가지 답변을 얻을 수 있다면 PCA는 실제로 의미가 있습니까?

2. 상관 행렬 접근법을 사용할 때 PC를 계산하기 전에 각 변수는 자체 표준 편차로 표준화 (축소)됩니다. 그렇다면 데이터가 이미 미리 스케일링 / 압축 된 경우 최대 분산의 방향을 찾는 것이 어떻게 합리적입니까? 상관 관계 기반 PCA가 매우 편리하다는 것을 알고 있습니다 (표준 변수는 차원이 없으므로 선형 조합을 추가 할 수 있습니다. 다른 장점은 실용주의를 기반으로합니다).

공분산 기반 PCA는 (변수의 분산이 크게 다른 경우에도) 유일하게 정확한 것으로,이 버전을 사용할 수 없을 때마다 상관 기반 PCA도 사용해서는 안됩니다.

상관 관계 또는 공분산에 대한 PCA 라는이 스레드가 있다는 것을 알고 있습니다 . -그러나 대수적으로 올바른 솔루션 일 수도 있고 아닐 수도있는 실용적인 솔루션을 찾는 데에만 초점을 둔 것 같습니다.

두 질문에 대한 이러한 답변이 귀하의 우려를 진정시키기를 바랍니다.

1. 상관 행렬 은 표준화 된 (즉, 중심이 아니라 재조정 된) 데이터의 공분산 행렬이다. 즉,의 공분산 매트릭스 (있는 경우)를 서로 다른 데이터 셋. 따라서 자연스럽고 결과가 다르다는 것을 귀찮게해서는 안됩니다.
2. 그렇습니다. 표준화 된 데이터로 최대 편차의 방향을 찾는 것이 합리적입니다. 즉, "공변량"이 아니라 "상관성"의 방향입니다. 즉, 다변량 데이터 클라우드의 모양에 대한 불균형 분산 (원래 변수)의 영향이 제거 된 후.

@whuber 님이 추가 한 다음 텍스트 및 사진 (감사합니다. 또한 내 코멘트 참조)

다음은 표준화 된 데이터의 주축 (오른쪽에 표시)을 찾는 것이 왜 합리적인지를 보여주는 2 차원 예입니다. 오른쪽 그림에서 좌표축의 분산이 이제 정확히 1.0 (1.0)이더라도 구름에는 여전히 "모양"이 있습니다. 마찬가지로, 더 높은 차원에서 표준화 된 점 구름은 모든 축을 따라 분산이 정확히 같은 (1.0) 경우에도 비 구형 모양을 갖습니다. 주축 (해당 고유 값)은 해당 모양을 나타냅니다. 이것을 이해하는 또 다른 방법은 변수를 표준화 할 때 진행되는 모든 크기 조정 및 이동 은 기본 방향 자체가 아닌 좌표 축 방향에서만 발생한다는 점에 유의하십시오 .

여기서 일어나고있는 것은 기하학적으로 매우 직관적이고 명확하기 때문에 이것을 "블랙 박스 작업"으로 특성화하기에는 무리가 있습니다. 반대로 표준화와 PCA는 데이터를 순서대로 처리하는 가장 기본적이고 일상적인 작업 중 일부입니다. 그들을 이해합니다.

에 의해 계속 @ttnphns

공분산 (예 : 중심 변수) 대신 상관 (예 : z- 표준 변수)에 대해 PCA (또는 요인 분석 또는 기타 유사한 유형의 분석)를 선호하는 경우는 언제 입니까?

1. 변수가 다른 측정 단위 인 경우 분명합니다.
2. 분석이 선형 연관 만 반영하기를 원할 때 . Pearson r 은 단일 척 (변량 = 1) 변수 간의 공분산 일뿐만 아니라; 일반적인 공분산 계수는 선형 관계와 단조 관계를 모두 수용하는 반면, 그것은 갑자기 선형 관계의 강도의 척도입니다.
3. 연관성 이 원시 공동 편차보다는 상대 평균 편차 (평균에서) 를 반영하기를 원할 때 . 상관 관계는 분포, 분포, 공분산은 원래 측정 척도를 기준으로합니다. 리 커트 (Likert) 유형 항목으로 구성된 일부 임상 설문지에서 정신과 의사의 평가에 따라 환자의 정신 병리학 적 프로파일을 요인 분석하려면 공분산을 선호합니다. 전문가들은 심리적으로 평가 척도를 왜곡하지 않을 것이기 때문입니다. 반면에, 동일한 설문지로 환자의 자기 이식 량을 분석해야한다면 상관 관계를 선택했을 것입니다. 평신도의 평가는 상대적 "다른 사람들", "대부분" "허용 편차"일 것으로 예상됩니다 하나의 평가 척도를 "축소"하거나 "신축"하는 부분 확대.

실용적 관점에서 말하면, 여기서는 인기가 없을 것입니다. 다른 스케일로 측정 된 데이터가 있다면 상관 관계 (화학자라면 'UV 스케일링')를 사용하지만 변수가 동일한 스케일에 있고 크기가 중요한 경우 (예를 들어, 분광 데이터), 공분산 (데이터 중심 만)이 더 의미가 있습니다. PCA는 규모에 따라 결정되는 방법이며 로그 변환은 치우친 데이터에 도움이 될 수 있습니다.

20 년 동안의 화학 측정법을 실제로 적용한 것에 대한 나의 소소한 의견으로는 약간의 실험을 거쳐 데이터 유형에 가장 적합한 것이 무엇인지 확인해야합니다. 하루가 끝나면 결과를 재현하고 결론의 예측 가능성을 입증해야합니다. 시행 착오의 경우가 종종 있지만 중요한 것은 수행 한 작업이 문서화되고 재현 가능하다는 것입니다.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$도. 선형 조합의 분산을 최대화하는 데는 아무런 소용이 없습니다. 이 경우 PCA는 다른 데이터 세트에 대한 솔루션을 제공하므로 각 변수의 스케일이 다릅니다. 그런 다음 나중에 corr_PCA를 사용할 때 표준화를 해제하면 문제가없고 필요할 수 있습니다. 그러나 raw corr_PCA 솔루션을 그대로 가져 와서 중지하면 물리적 솔루션과 관련이없는 수학 솔루션을 얻을 수 있습니다. 이후에 비 표준화가 최소로 의무화되는 것처럼 보이기 때문에 (즉, 역 표준 편차로 축을 '언 스트레칭') cov_PCA를 사용하여 시작할 수있었습니다. 지금까지 읽고 있다면 감동합니다! 지금은 Jolliffe 's book, p. 42, 이것은 저와 관련된 부분입니다 :그러나, 상관 변수 PC가 원래 변수로 다시 표현 될 때 원래 변수가 아니라 표준화 된 변수에 대한 분산을 최대화하는 x의 선형 함수라는 것을 잊어서는 안됩니다. ' 내가 이것 또는 그 의미를 잘못 해석하고 있다고 생각한다면,이 발췌 부분은 추가 토론을위한 좋은 초점이 될 수 있습니다.