PCA 또는 FA에서 점수 또는 하중 표시는 의미가 있습니까? 부호를 뒤집을 수 있습니까?

두 가지 다른 함수 ( prcomp및 princomp)를 사용하여 R을 사용하여 주성분 분석 (PCA)을 수행 했으며 PCA 점수가 다른 것으로 나타났습니다. 어떻게 할 수 있습니까?

이걸 고려하세요:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

+/-두 분석 에서 부호 ( )가 다른 이유는 무엇 입니까? 나는 그 주요 구성 요소를 사용하는 경우 PC1와 PC2회귀의 예측 인자로서, 즉 lm(y ~ PC1 + PC2), 이것은 완전히 내 두 변수의 영향에 대한 이해를 바꿀 것 y내가 사용하는 방법에 따라! 어떻게 그 말을 수 PC1에 예를 들어 긍정적 인 효과를 가지고 y와 PC2에 부정적인 효과를 예있다 y?

또한 : PCA 구성 요소의 부호가 의미가없는 경우 요인 분석 (FA)에도 적용됩니까? 개별 PCA / FA 구성 요소 점수 (또는 로딩 매트릭스 열로서 로딩)의 부호를 뒤집는 것이 허용됩니까?

PCA는 간단한 수학적 변환입니다. 구성 요소의 부호를 변경해도 첫 번째 구성 요소에 포함 된 분산은 변경되지 않습니다. 또한 부호를 변경하면 가중치 ( prcomp( ... )$rotation)도 부호를 변경하므로 해석은 정확히 동일하게 유지됩니다.

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

쇼

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

그리고 pca2$loadings쇼

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

그렇다면 왜 해석이 동일하게 유지됩니까?

y성분 1에 대한 PCA 회귀 분석을 수행합니다 . 첫 번째 버전 ( prcomp)에서 계수가 양수라고 가정합니다. 성분 1이 클수록 y가 커집니다. 원래 변수와 관련하여 무엇을 의미합니까? 변수 1 ( 1:10a에서) 의 가중치 가 양수이므로 변수 1이 클수록 y가 커짐을 나타냅니다.

이제 두 번째 버전 ( princomp)을 사용하십시오 . 성분의 부호가 바뀌 었으므로 y가 클수록 성분 1이 작아집니다. PC1에 대한 y <계수는 이제 음수입니다. 그러나 변수 1의 로딩도 마찬가지입니다. 즉, 변수 1이 클수록 성분 1이 작을수록 y가 커집니다. 해석이 동일합니다.

아마도 가장 쉬운 방법은 biplot을 사용하는 것입니다.

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

쇼

두 번째 변형에 대한 동일한 biplot은

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

보시다시피 이미지는 180 ° 회전합니다. 그러나 무게 / 하중 (빨간색 화살표)과 데이터 점 (검은 점)의 관계는 정확히 같습니다. 따라서 구성 요소의 해석은 변경되지 않습니다.

이 질문은 이 포럼에서 많이 질문 되므로 @January의 훌륭한 답변을 좀 더 일반적인 고려 사항으로 보완하고 싶습니다.

주성분 분석 (PCA) 및 요인 분석 (FA)에서 원래 변수 를 사용하여 여러 잠재 성분 (또는 잠재 변수) 합니다. 이러한 잠재 구성 요소는 PCA 또는 FA 구성 요소 점수로 제공됩니다. 각각의 원래 변수는 어떤 무게와 이러한 구성 요소의 선형 조합 : 예를 들어 첫 번째 원래 변수 아니라 두 번에 의해 근사 될 수 플러스 세 번 , 그래서 . 점수가 표준화 된 경우 이러한 가중치 ( 및 )를로드라고합니다. 비공식적으로는$x_1, x_2, ... x_d$$z_1, z_2, ... z_k$$x_1$$z_1$$z_2$$x_1 \approx 2z_1 + 3z_2$$2$$3$

여기에서 과 같은 잠재 구성 요소를 하나 가져 와서 그 점수 와 하중 의 부호를 뒤집 으면 결과 (또는 해석)에 영향을 미치지 않습니다. − 1 ⋅ − 1 = $z_1$

결론은 각 PCA 또는 FA 구성 요소에 대해 점수와 하중의 부호는 임의적이고 의미가 없다는 것입니다. 점수와 하중의 부호가 동시에 반전되는 경우에만 뒤집을 수 있습니다.

이것은 위에서 잘 대답했습니다. 추가적인 수학적 관련성을 제공하기 위해 주성분이 작용하는 방향은 시스템의 고유 벡터에 해당합니다. 당신이 긍정적 또는 부정적인 PC를 얻는다면 그것은 단지 한 방향을 가리 키거나 다른 방향으로 떨어진 고유 벡터에 투영하고 있음을 의미합니다 . 어쨌든 해석은 동일하게 유지됩니다! 주성분의 길이는 단순히 고유 값이라는 점도 덧붙여 야합니다.$180^\circ$