Factor Analysis / PCA에서 회전을 수행 한 이유와 적절한 회전을 선택하는 직관적 인 이유는 무엇입니까?

내 질문

1. 요인 분석 (또는 PCA의 구성 요소)에서 요인의 회전을 수행하는 직관적 인 이유는 무엇입니까?

   변수가 최상위 구성 요소 (또는 요인)에 거의 똑같이로드되면 구성 요소를 구별하기가 어렵다는 것을 이해합니다. 따라서이 경우 회전을 사용하여 구성 요소를 더 잘 차별화 할 수 있습니다. 이 올바른지?

2. 회전을하면 어떤 결과가 발생합니까? 이것은 어떤 영향을 미칩니 까?

3. 적절한 회전을 선택하는 방법은 무엇입니까? 직교 회전 및 비스듬한 회전이 있습니다. 이 중에서 선택하는 방법과이 선택의 의미는 무엇입니까?

최소한의 수학 방정식으로 직관적으로 설명하십시오. 분산 된 답변 중 수학이 무거웠지만 직관적 인 이유와 규칙에 대해 더 많이 찾고 있습니다.

1. 회전 사유 . 요인 분석에서 추출 된 요인 (또는 PCA를 요인 분석 기술로 사용하려는 경우 PCA의 구성 요소)을 해석하기 위해 회전이 수행됩니다. 당신의 이해를 설명 할 때 당신은 옳습니다. 로딩 매트릭스의 일부 구조를 추구하여 회전이 이루어지며, 이는 단순 구조 라고 할 수 있습니다 . 다른 요소가 다른 변수를로드하는 경향이있는 경우입니다 1$^1$. [변수가 요인을로드하는 것보다 "인자에 변수를로드하는"이라고 말하는 것이 더 옳다고 생각합니다. 왜냐하면 "변수"가 "in"또는 "뒤에"있는 요인이기 때문에 상관이있을 수 있습니다. 어떤 의미에서 전형적인 간단한 구조는 상관 변수의 "클러스터"가 나타나는 곳입니다. 그런 다음 요인에 의해 충분히로드 된 변수의 의미의 교집합 에있는 의미 로 요인을 해석합니다 . 따라서 다른 의미를 갖기 위해서는 요인이 변수를 차등 적으로로드해야합니다. 경험상 요인은 최소한 3 개의 변수를 적절히로드해야한다는 것입니다.

2. 결과 . 회전은 요인의 공간에서 서로에 대한 변수의 위치를 ​​변경하지 않습니다. 즉, 변수 간의 상관 관계가 유지됩니다. 변경된 것은 가변 벡터의 종점 좌표를 인자 축에 대한 좌표입니다.-하중 (자세한 내용은 "부하 플롯"및 "바이 플롯"에 대해서는이 사이트를 검색하십시오) 2 . 로딩 행렬 의 직교 회전 후 , 요인 분산이 변경되지만, 요인은 상관되지 않은 상태로 유지되며 가변적 인 커뮤니티는 유지됩니다.$^2$

   에서 경사 회전 요소는 그 명확한 "단순한 구조"를 생산한다면 자신의 uncorrelatedness을 잃을 수 있습니다. 그러나 상관 요인에 대한 해석은 더 어려운 기술입니다. 한 요인에서 의미를 도출하여 서로 관련된 다른 요인의 의미를 오염시키지 않기 때문입니다. 즉, 요인을 하나씩 해석하지 말고 병행하여 해석해야한다는 것을 의미합니다. 비스듬한 회전은 패턴 행렬 $\bf P$ 와 구조 행렬 $\bf S$ 대신에 하나의 행렬 대신 두 개의 행렬의 하중을 남깁니다 . ( $\bf S=PC$ , 여기서 $\bf C$ 는 요인들 사이의 상관 행렬이며; $\bf C=Q'Q$여기서 $\bf Q$ 는 경사 회전의 행렬입니다. $\bf S=AQ$ , 여기서 $\bf A$ 는 회전 전의 로딩 행렬입니다.) 패턴 행렬은 요인이 변수를 예측하는 회귀 가중치 행렬이며, 구조 행렬은 상관 관계입니다. 요인과 변수 간의 공분산). 대부분의 경우 우리 는 이러한 계수가 변수에 대한 요인의 고유 한 개별 투자를 나타 내기 때문에 패턴 로딩으로 요인을 해석 합니다. 비스듬한 회전은 가변적 인 커뮤니티를 유지하지만, 커뮤니티는 더 이상 $\bf P$ 또는 S 의 행 제곱의 합과 같지 않습니다.$\bf S$. 또한, 요인이 서로 관련되어 있기 때문에 분산이 부분적으로 중첩됩니다 3 .$^3$

   물론 직교 및 비스듬한 회전 모두 계산하려는 요소 / 구성 요소 점수에 영향을줍니다 (이 사이트에서 "요소 점수"를 검색하십시오). 실제로 회전 은 추출 직후에 얻은 요소 이외의 다른 요소를 제공합니다 4 . 변수와 상관 관계에 대한 예측 능력을 상속 받지만 사용자와는 다른 의미를 갖습니다. 회전 후에는 "이 요소가 그 요소보다 더 중요합니다"라고 말하지 않을 수도 있습니다. PCA와 달리 FA에서는 솔직히 말해서 추출 후에도 거의 말하지 않을 수 있습니다. 이미 "중요"한 것으로 모델링되었습니다.$^4$

3. 선택 . 직교 및 경사 회전에는 여러 가지 형태가 있습니다. 왜? 첫째, "간단한 구조"라는 개념은 공통적이지 않으며 다소 다르게 공식화 될 수 있기 때문입니다. 예를 들어, VARIMAX - 가장 인기 직교 방법 - 각 요소의 부하의 제곱 값 사이의 분산을 최대화하기 위해 시도를; 때때로 사용되는 직교 방법 quartimax 는 변수를 설명하는 데 필요한 요소 수를 최소화하고 종종 "일반 요소"를 생성합니다. 둘째, 다른 회전은 단순한 구조를 제외하고 다른 측면 목표를 목표로합니다. 이 복잡한 주제에 대한 자세한 내용은 다루지 않겠지 만 직접 읽어 보시기 바랍니다.

   직교 또는 비스듬한 회전을 선호해야합니까? 직교 인자는 해석하기 쉽고 전체 요인 모델은 통계적으로 더 간단합니다 (직교 예측자는 물론). 그러나 당신은 당신이 발견하고자하는 잠재적 특성에 직교성 을 부과합니다 . 그들이 공부하는 분야에서 서로 관련이 없어야한다고 확신합니까? 그들이 아닌 경우 어떻게? 비스듬한 회전 방법 5$^5$(각각 자신의 성향을 가지지 만) 요인들이 서로 관련되도록 허용하지만 강제하는 것은 아니며 덜 제한적입니다. 비스듬한 회전이 요인과 약한 상관 관계가 있음을 보여주는 경우 "실제로"그렇게 확신 할 수 있으며 양심이 좋은 직교 회전으로 전환 할 수 있습니다. 리콜 요인이 있음 - 요소, 다른 한편으로는, 매우 상관 관계가있는 경우, 당신이, 심리학 또는에서 인벤토리를 개발하고 특히, 개념적으로 별개의 잠재적 특성에 대한 (부 자연스러운 모양 입니다 자체의 단 변량 특성이 아닌 배치 현상)을 줄이고 더 적은 수의 요인을 추출하거나 소위 2 차 요인을 추출하기 위해 경사 소스를 배치 소스로 사용하는 것이 좋습니다.

$^1$ Thurstone 앞으로 간단한 구조의 다섯 개 이상적인 조건을 가져왔다. 가장 중요한 세 가지는 다음과 같습니다. (1) 각 변수에는 0에 가까운로드가 하나 이상 있어야합니다. (2) 각 인자는 최소m 개의변수에대해 0에 가까운 하중을 가져야합니다 (m은 인자 수임). (3) 각 요인 쌍에 대해, 적어도하나는 0에 가까운 하중을 가지고, 다른 하나는 0에 충분히 가까운m 개의변수가 있습니다. 결과적으로 각 요인 쌍에 대해 하중 그림은 이상적으로 다음과 같아야합니다.

이것은 순전히 탐구 적 FA를위한 것이며, 설문지를 개발하기 위해 FA를 수행하고 재실행하는 경우, 두 가지 요소 만있는 경우 결국 파란색 점을 제외한 모든 점을 삭제하려고합니다. 요인이 두 개 이상인 경우 다른 요인의 적재 그림에 대해 빨간색 점이 파란색이되기를 원할 것입니다.

$^2$

$^3$$\bf S$$\bf S$$\bf A$$1-R_i^2$$\bf C^{-1}$

$^4$

$^5$(보통) 또는 그것없이. 정규화는 회전시 모든 변수를 동일하게 중요하게 만듭니다.

더 읽을 수있는 몇 가지 스레드 :

요인을 전혀 돌리지 않는 이유가있을 수 있습니까?

비스듬한 회전 후 해석해야 할 행렬-패턴 또는 구조?

요인 회전 기법 (varimax 등)의 이름은 무엇을 의미합니까?

구성 요소가 회전 된 PCA가 여전히 PCA입니까? 아니면 요인 분석입니까?