PCA 다음에 회전 (varimax 등)이 여전히 PCA입니까?

나는 내 경험에 R.에서 SPSS에서 (PCA를 사용하여) 몇 가지 조사를 재현하려 한 principal() 기능 패키지는 psych듯했으나, 유일한 기능이었다 (또는 내 기억이 바로 내를 제공하는 경우에 죽은) 출력에 맞게. SPSS에서와 동일한 결과를 얻으려면 parameter를 사용해야했습니다 principal(..., rotate = "varimax"). 나는 논문이 PCA를 어떻게 수행했는지에 대해 이야기하는 것을 보았지만 SPSS의 출력과 회전 사용을 기반으로하면 요인 분석과 비슷하게 들립니다.

질문 : PCA는 회전 후에도를 사용하여 varimaxPCA입니까? 이것이 실제로 요인 분석 일 수 있다는 인상을 받았습니다 ... 그렇지 않은 경우 어떤 세부 정보가 누락 되었습니까?

이 질문은 주로 PCA / FA의 정의에 관한 것이므로 의견이 다를 수 있습니다. 내 의견은 PCA + varimax를 PCA 또는 FA라고 부르지 말고, "varimax-rotated PCA"라고 명시 적으로 언급하는 것입니다.

나는 이것이 매우 혼란스러운 주제라고 덧붙여 야한다. 이 답변에서 나는 회전이 실제로 무엇인지 설명 할 것입니다 ; 이것은 수학이 필요할 것입니다. 일반 독자는 그림으로 바로 건너 뛸 수 있습니다. 그래야만 PCA + rotation이 "PCA"인지 아닌지를 논의 할 수 있습니다.

Jolliffe의 저서 "주성분 분석", 섹션 11.1 "주성분의 회전"을 참조하지만 더 명확 할 수 있습니다.

---

하자 될 N × P는 우리가 중심 가정 데이터 매트릭스. PCA 는 단일 값 분해에 해당합니다 ( 여기서 내 대답 참조 ) : X = U S V ⊤ . 이 분해에는 PCA 스타일의 "투영"보기와 FA 스타일의 "잠재적 변수"보기라는 두 가지의 동등한보기가 있습니다.$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

PCA 스타일의 견해에 따르면, 우리는 많은 직교 방향 (이것은 공분산 행렬의 고유 벡터 ( "주 방향"또는 "축"이라고도 함))와 "주성분" U S (주성분 " 점수 ")는 이러한 방향에 대한 데이터의 예측입니다. : 주성분이 무상관, 제 하나는 쓸 수 가능한 최대한 분산 등 갖는다 X = U S ⋅ V ⊤ = 스코어 ⋅ 주 방향 $\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

FA 스타일의 견해에 따르면, 우리는 "적재"를 통해 관측 된 변수를 야기하는 상관되지 않은 단위 분산 "잠재적 요인"을 발견했습니다. 실제로 는 표준화 된 주성분 (비 관계 및 단위 분산)이며 하중을L=VS/ √ 로 정의하면$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$ 이면 X=$\mathbf L = \mathbf{VS}/\sqrt{n-1}$( S ⊤=S입니다.) 두보기는 동일합니다. 하중은 각각의 고유 값 (S/ √)으로 스케일 된 고유 벡터입니다.

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$ 은 공분산 행렬의 고유 값입니다).$\mathbf{S}/\sqrt{n-1}$

( PCA FA 인$\ne$ 괄호를 추가해야합니다 . FA는 명시 적으로 로딩을 통해 관측 된 변수에 선형으로 매핑 된 잠재 요인을 찾는 것을 목표로합니다. PCA보다 유연하고 다른 로딩을 생성합니다. 따라서 위의 " FA가 아닌 PCA에 대한 FA 스타일보기 "(FA가 아닌 FA 방법 중 하나라고 생각하더라도)

이제 회전은 무엇을합니까? 예를 들어, varimax와 같은 직교 회전. 먼저, 성분, 즉 X ≈ U k S k V ⊤ k = ~ U k L ⊤ k 만 고려 합니다. 그럼 사각 직교 얻어 K × K의 행렬 T를 , 및 플러그 T T ⊤ = I를 이것으로 분해 : X ≈ U k 개의 S의 유전율 V ⊤ K = $k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ 여기서 회전 하중은 L r o t = L k T 로 주어지고, 회전 된 표준화 된 점수는 ~ U r o t = ~ 로 주어진다 U는 케이 T를 . (이 목적은 L r o t 와 같은 T 를 찾는 것입니다. $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$ 해석을 용이하게하기 위해 가능한 한 스파 스에 가까워졌습니다.)

회전되는 것은 (1) 표준화 된 점수, (2) 로딩입니다. 그러나 기본 점수가 아니라 기본 점수가 아닙니다! 따라서 회전 은 원래 공간이 아닌 잠재 공간 에서 발생 합니다. 이것은 절대적으로 중요합니다.

FA 스타일의 관점에서는 별다른 변화가 없었습니다. (A) 잠재 요인은 여전히 ​​상관 관계가 없으며 표준화되어 있습니다. (B) 그것들은 여전히 ​​(회전) 로딩을 통해 관측 된 변수에 매핑됩니다. (C) 각 구성 요소 / 인자에 의해 포착 된 분산의 양은 의 해당 하중 열의 제곱 값의 합으로 제공됩니다 . (D) 기하학적으로, 하중은 여전히 R p 에서 동일한 k- 차원 부분 공간에 걸쳐있다 (제 1 k PCA 고유 벡터에 의해 경간 된 부분 공간 ). (E) X에 대한 근사치 와 재구성 오류는 전혀 변하지 않았다. (F) 공분산 행렬은 여전히 ​​똑같이 대략적으로 근사됩니다. Σ ≈ $\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

그러나 PCA 스타일의 관점은 실제로 무너졌습니다. 회전 하중은 더 이상 직교 방향 / 축에 해당하지 않습니다 . 즉, L r o t 열은 직교하지 않습니다! 더 나쁜 것은, 회전 된 하중에 의해 주어진 방향으로 데이터를 [직교 적으로] 투영하면 상관 된 (!) 투영을 얻게되고 점수를 복구 할 수 없게됩니다. [그 대신에, 회전 후 표준화 된 스코어를 계산하기 위해, 데이터 행렬 에 부하 의 의사 역수 를 곱해야합니다 ~ U r o t = X ( L + r o t ) $\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$. 또는 회전 행렬을 사용하여 원래의 표준화 된 점수를 간단히 회전 할 수도 있습니다. ] 또한 회전 된 구성 요소는 최대 분산 량을 연속적으로 캡처 하지 않습니다 . 분산은 구성 요소간에 재분배됩니다. 모든 k 개의 회전 된 구성 요소는 모든 k 개의 원래 주요 구성 요소 만큼 정확하게 분산을 캡처합니다 ).$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$$k$$k$

여기에 그림이 있습니다. 데이터는 주 대각선을 따라 2D 타원입니다. 첫 번째 주 방향은 주 대각선이고 두 번째 주 방향은 직각입니다. PCA 로딩 벡터 (고유 값으로 스케일링 된 고유 벡터)는 빨간색으로 표시되어 양방향을 가리키며 가시성을 위해 일정한 계수로 늘어납니다. 그럼으로 직교 회전 도포 부가금한다. 결과 로딩 벡터는 자홍색으로 표시됩니다. 그것들이 어떻게 직교가 아닌지 주목하십시오!$30^\circ$

FA 스타일의 직관은 다음과 같습니다. 점이 작은 원을 채우는 "잠재적 공간"을 상상해보십시오 (단위 차이가있는 2D 가우시안에서 유래). 이 포인트 분포는 PCA 로딩 (빨간색)을 따라 확장 되어이 그림에서 볼 수있는 데이터 타원이됩니다. 그러나 동일한 분포의 점을 회전 한 다음 회전 된 PCA 로딩 (자홍색)을 따라 늘려서 동일한 데이터 타원 이 될 수 있습니다.

실제로하는 방법 [ 참조 부하의 직교 회전이 있음을 회전은 , 하나는 PCA의 행렬도 볼 필요가있다; 이 단순히 회전 할 원래의 변수에 대응하는 벡터 / 광선.]

---

요약하자. varimax와 같은 직교 회전 후 "회전 된 주축"은 직교하지 않으며 직교 투영은 의미가 없습니다. 따라서이 전체 축 / 투영 관점을 떨어 뜨려야합니다. 여전히 PCA (최대 분산 등의 투영에 관한 것)라고하는 것은 이상 할 것입니다.

FA 스타일의 관점에서, 우리는 단순히 (표준화되고 상관되지 않은) 잠재 요소를 회전 시켰습니다. 이는 유효한 작업입니다. FA에는 "투영"이 없습니다. 대신 잠복 인자는 하중을 통해 관측 변수를 생성합니다. 이 논리는 여전히 유지됩니다. 그러나 PCA는 FA와 동일하지 않기 때문에 실제로는 요인이 아닌 주요 구성 요소로 시작했습니다. FA라고 부르는 것도 이상합니다.

"PCA 또는 FA"라고 말하는 것이 아니라 "PCA 다음에 varimax 회전"이라는 정확한 사용 절차를 지정하는 데주의를 기울이는 것이 좋습니다.

---

$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

PCA (Principal Components Analysis)와 CFA (Common Factor Analysis)는 고유 한 방법입니다. 종종 유사한 결과를 생성하고 PCA는 SPSS Factor Analysis 루틴에서 기본 추출 방법으로 사용됩니다. 이것은 의심 할 여지없이이 둘의 구별에 대해 많은 혼란을 초래합니다.

결론은 개념적으로 두 가지 다른 모델입니다. PCA에서 구성 요소는 총 분산을 최대화하는 실제 직교 선형 조합입니다. FA에서 요인은 분산의 공유 부분을 최대화하는 선형 조합으로, "잠재적 구성"의 기초가됩니다. 그 때문에 FA를 흔히 "공통 계수 분석"이라고합니다. FA는 다양한 최적화 루틴을 사용하며 결과는 PCA와 달리 사용 된 최적화 루틴 및 해당 루틴의 시작점에 따라 다릅니다. 단순히 하나의 고유 한 솔루션이 없습니다.

R에서 factanal () 함수는 CFA에 최대 가능성 추출을 제공합니다. 따라서 PCA 추출을 기반으로하는 SPSS 결과를 재현하지 않아야합니다. 단순히 동일한 모델이나 논리가 아닙니다. SPSS의 최대 가능성 추출을 사용하면 동일한 알고리즘을 사용하지 않을 수 있으므로 동일한 결과를 얻을지 확신 할 수 없습니다.

그러나 R이 더 좋거나 나쁘면 SPSS가 기본값으로 제공하는 혼합 된 "인자 분석"을 재현 할 수 있습니다. 다음은 R의 프로세스입니다.이 코드를 사용하여이 데이터 세트를 사용하여 SPSS Principal Component "인자 분석"결과를 재현 할 수 있습니다. (불확실한 부호를 제외하고). 그런 다음 Rs 사용 가능한 회전 방법 중 하나를 사용하여 결과를 회전 할 수도 있습니다.

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

이 답변은 경로 차트 형식으로 @amoeba 가이 스레드 에 대한 깊은 (그러나 약간 복잡한) 답변 으로 추론 한 것들 (95 %까지 동의합니다)과 그들이 나에게 어떻게 나타나는지 제시합니다. .

$\bf P$

차트에서 두 변수의 간단한 예를 들어 p=2추출 된 주성분을 모두 사용합니다. 우리는 일반적으로 첫 번째 m<p구성 요소를 거의 유지하지 않지만 이론적 인 문제 ( "PCA가 PCA를 회전 시키는가?")를 고려할 경우 유지해야하는지 m또는 모든 구성 요소 를 유지해도 차이가 없습니다 p. 적어도 내 대답에는.

$\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$. 그러나 장래는 다음과 같은 가능성이있다 : (i) 구성 요소를 해석하기 위해; (ii) 회전 될 것; (iii) 변수의 상관 / 공분산을 복원합니다. 이는 데이터의 가변성이로드로로드에 기록 되었기 때문입니다.

$\bf P_z$$\bf P_z$$\bf Q$로드의 해석을 용이하게하기 위해 데이터 포인트가 수동으로 순도 및 정체성 (또는 "백색")을 기다립니다.

$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

$\bf C$

$\bf A$$\bf V$$\bf A_r$

$\bf P$$\bf Q$$\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$$\bf "C"=XV_r$

마지막으로 설명 된 동작 (대부분 무의미한)은 로딩뿐만 아니라 고유 벡터도 일반적으로 회전 할 수 있음을 상기시킵니다. 예를 들어, VARIMAX 절차는 그들에게 적용 할 수있는 단순화하기 위해 자신의 구조. 그러나 고유 벡터는 하중만큼 성분의 의미를 해석하는 데 도움이되지 않으므로 고유 벡터의 회전은 거의 이루어지지 않습니다.

따라서 후속 varimax (또는 다른) 회전을 가진 PCA는

• 여전히 PCA
• 구성 요소에 대한 주요 구성 요소를 버리는 방법
• "잠재적 특성"으로 해석 될 수있는 (PC보다) 잠재적으로
• PCA는 공정한 요소 분석이 아닙니다

이 답변에서 요인 분석을 언급하지 않았습니다. @amoeba의 "잠재 공간"이라는 단어의 사용은 묻는 질문의 맥락에서 약간 위험합니다. 그러나 PCA + 분석 회전은 " PCA의 FA 스타일 보기 "라고 할 수 있습니다 .

에서 psych::principal()당신이 사용하여 추출 된 주요 구성 요소 (들) 또는 '의 PC'로 회전 / 변환의 다른 유형을 할 수있는 rotate=것처럼, 인수 : "none", "varimax"(기본), "quatimax", "promax", "oblimin", "simplimax",와 "cluster". 조사 대상 주제에 대한 자신의 평가 및 지식에 따라 필요한 경우 어느 것이 적합한 지 경험적으로 결정해야합니다. 힌트를 줄 수있는 핵심 질문 : 어떤 것이 더 해석 가능한가 (필요한 경우)?

도움말에서 다음 사항도 도움이 될 수 있습니다.

회전 된 주성분은 주성분 (고유 값 분해와 관련된 축)이 아니라 단지 구성 요소임을 인식하는 것이 중요합니다. 이를 지적하기 위해 회전되지 않은 주 구성 요소는 PCi로 표시되고 회전 된 PC는 이제 RCi (회전 구성 요소의 경우)로 표시되고 비스듬하게 변환 된 구성 요소는 TCi (변환 된 구성 요소의 경우)로 표시됩니다. (이 제안에 대해 Ulrike Gromping에게 감사드립니다.)

PCA와 요인 분석의 차이는 주로 오류 항이 있는지 여부에 대한 이해입니다. 따라서 PCA는 데이터를 충실하게 표현할 수 있고, 표현할 것입니다. 반면에 요인 분석은 훈련 된 데이터에 대해서는 덜 충실하지만 데이터의 기본 추세 나 공동체를 나타내려고합니다. 표준 접근 방식에서 PCA는 회전하지 않지만 수학적으로 가능하므로 사람들은 때때로 그렇게합니다. 나는 이러한 방법의 "의미"가 이해하기에 다소 도움이된다는 점에서 의견에 동의한다. SPSS 사용자와는 다른 종류의 PCA가 익숙합니다.

두 가지의 정의에 혼란이 있기 때문에 사실상 동의어입니다. 말을 믿지 말고 도크를 깊게 살펴보면 방정식을 찾을 수 있습니다.

이 질문은 이미이 있지만 받아 대답을 나는 질문의 포인트에 뭔가를 추가하고 싶습니다.

"PCA"– 정확하게 기억한다면 – "주성분 분석"을 의미합니다. 주성분을 분석 할 때, 회전하지 않거나 회전하지 않는 한, 우리는 여전히 "주요 성분"(해당 초기 매트릭스 분해에 의해 발견 된)을 분석하고 있습니다.

처음 두 주성분에 대한 "varimax"회전 후에 "두 개의 첫 번째 pc의"varimax-solution "(또는 다른 것)을 가지지 만 여전히 주성분의 분석 프레임 워크에 있다고 공식화하고, "pca"의 프레임 워크에 있습니다.

요점을보다 명확하게하기 위해, 나는 단순한 로테이션 문제가 EFA와 CFA를 구별하는 문제를 야기한다고 생각하지 않습니다 (후자는 언급 된 문제 / 예를 들어 Brett의 답변에서 언급 됨).

나는 이것이 가장 도움이된다는 것을 알았다 : Abdi & Williams, 2010, Principal component analysis .

회전

구성 요소의 수가 결정된 후, 해석을 용이하게하기 위해, 분석은 종종 유지 된 구성 요소의 회전을 수반한다 (예를 들어, 자세한 내용은 참조 40 및 67 참조). 두 가지 주요 회전 유형이 사용됩니다. 새 축이 서로 직교 인 경우 직교하고 새 축이 직교하지 않아도되는 경우 비스듬합니다. 회전은 항상 하위 공간에서 수행되므로 새 축은 항상 원래 구성 요소 (최적의 것으로 계산 된)보다 관성이 적습니다. 그러나 회전 후 총 부분 공간으로 설명 된 관성 부분은 회전 전과 동일합니다 (관성 분할 만 변경됨). 회전은 항상 하위 공간에서 발생하기 때문에 (즉, 유지 된 부품의 공간)에서이 부분 공간의 선택은 회전 결과에 큰 영향을 미칩니다. 따라서 회전 해석의 견고성을 평가하기 위해 보유 된 구성 요소의 부분 공간에 대해 여러 크기를 시도하는 것이 좋습니다. 회전을 수행 할 때 로딩이라는 용어는 거의 항상 행렬 Q의 요소를 나타냅니다.

(Q의 정의는 논문을 참조하십시오).