PCA와 유사한 비 직교 기술

9

2D 점 데이터 세트가 있고 데이터에서 모든 로컬 최대 분산의 방향을 감지하려고한다고 가정합니다.

여기에 이미지 설명을 입력하십시오

PCA는 직교 분해이므로이 상황에서 도움이되지 않으므로 파란색으로 표시된 두 선을 모두 감지 할 수 없으며 출력은 녹색 선으로 표시된 것과 비슷할 수 있습니다.

이 목적에 적합한 기술을 권장하십시오. 감사.

pca dimensionality-reduction

— 아흐메드
소스

예제 데이터 세트를 사용할 수 있습니까? 나는 당신을 위해 무언가를 시도하고 싶습니다. 감사합니다. Eric

— Eric Melse

10

독립 성분 분석 은 훌륭한 솔루션을 제공 할 수 있어야합니다. 측정 결과가 통계적으로 독립된 변수의 혼합으로 가정하여 비 직교 구성 요소 (예와 같이)를 분해 할 수 있습니다.

인터넷에는 훌륭한 자습서가 많이 있으며 무료로 사용할 수있는 몇 가지 구현 방법 (예 : scikit 또는 MDP ) 을 조용히하십시오 .

ICA는 언제 작동하지 않습니까?

다른 알고리즘과 마찬가지로 ICA는 도출 된 가정이 적용될 때 최적입니다. 구체적으로,

소스는 통계적으로 독립적입니다
독립 구성 요소는 비 가우시안입니다.
혼합 행렬은 뒤집을 수 없다

ICA는 혼합 행렬과 독립 성분의 추정치를 반환합니다.

소스가 가우스 인 경우 ICA는 구성 요소를 찾을 수 없습니다. 두 개의 독립적 인 구성 요소가 있다고 상상해보십시오. $x_{1}$ 및 는 입니다. 그런 다음 $x_{2}$ $N(0,I)$

피 ({엑스}_{1}, {엑스}_{2}) = 피 ({엑스}_{1}) 피 ({엑스}_{2}) = \frac{1}{2 π} 특급 (- \frac{{엑스}_{1}^{2} + {엑스}_{2}^{2}}{2}) = \frac{1}{2 π} 특급 - \frac{| | 엑스 | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

어디. 2 차원 벡터의 표준입니다. 그것들이 직교 변환 (예 : 회전 ) 과 혼합 되면이는 회전시 확률 분포가 변경되지 않음을 의미합니다. 따라서 ICA는 데이터에서 믹싱 매트릭스를 찾을 수 없습니다. $||.||$ $R$ $||R\mathbf{x}|| = ||\mathbf{x}||$

— jpmuc
소스

예, ( scikit-learn.org/stable/auto_examples/decomposition/… ), 고마워요! : D

— Ahmed

1

더 많이 말하면 이것은 정말로 깊은 대답으로 바뀔 수 있습니다. 특히 @Gottfried의 제안 (경사 회전이있는 PCA)과 제안 (ICA)을 비교해보십시오.이 둘의 차이점과 단점은 무엇입니까?

— ttnphns

이 질문에 부분적으로 답변 한 것을 확인했습니다. ICA가 적용되지 않는 간단한 예를 추가하여 편집 내용을 확인하십시오.

— jpmuc

3

소위 "경사"사례에 대해 PCA와 유사한 절차가 있습니다. SPSS와 같은 통계 소프트웨어 (그리고 프리웨어 복제본에서도 가능)에서 PSPP는 "obliquein", "promax"등으로 불리는 "obliquein rotations"를 찾습니다. 내가 올바르게 이해하면 소프트웨어는 직교의 유클리드 공간에서 좌표를 다시 계산하여 인자 로딩을 "직사각 화"하려고 시도합니다 (예를 들어 그림과 같이) 축이 직교하지 않은 공간의 좌표로 다중 회귀에서 알려진 일부 기술. 또한 나는 이것이 반복적으로 작동하고 모델의 통계 테스트에서 하나 이상의 자유도를 소비한다고 생각합니다.

비교 PCA 및 기울기 회전
요약 기울기 회전에 대한 SPSS (IBM 사이트) 의 참조 매뉴얼 에는 계산 공식도 포함되어 있습니다.

[업데이트] (죄송합니다, 방금 PSPP가 경사 유형의 "회전"을 제공하지 않는지 확인했습니다)

— 고트 프리드 투구
소스

1

흠, 세 번째로 읽은 후에 귀하의 질문은 경사 회전 이론적 근거와 약간 다릅니다. 데이터 구름에서 평균이 원점에 있거나 데이터가 중앙에 있지도 않습니다. 내 대답에서 여기에서 다룬 것보다 다른 것을 염두에 둘 수 있습니다. 이 경우 나중에 답변을 삭제할 수 있습니다.

— Gottfried Helms

1

비스듬한 "회전"은 PCA에 후속하므로, 질문에 설명 된 상황을 "볼"수 없으므로 PCA 자체보다 두 구성 요소를 식별하는 능력이 더 이상없는 것으로 보입니다.

— whuber

2

나는 그것에 대해 많은 경험이 없지만 Vidal, Ma 및 Sastry의 Generalized PCA 는 비슷한 문제로 만들어졌습니다.

— 노아 스타 인
소스

2

다른 답변은 이미 고려할 수있는 기술에 대한 유용한 힌트를 제공했지만 아무도 당신의 가정이 잘못되었다고 지적하지 않은 것 같습니다. 회로도에서 파란색으로 표시된 선은 분산의 극대값이 아닙니다.

그것을 보려면 방향의 차이가 있음을 주목하십시오. $\mathbf{w}$ ~에 의해 주어진다 $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ , 어디 $\mathbf{\Sigma}$ 데이터의 공분산 행렬을 나타냅니다. 극대값을 구하려면이 식의 미분 값을 0으로 설정해야합니다. 같이 $\mathbf{w}$ 단위 길이를 갖도록 제한되어 있으므로 용어를 추가해야합니다 $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ 어디 $\lambda$ Lagrange의 승수입니다. 미분하면 다음 방정식을 얻습니다.

Σ 승 - λ 승 = 0.

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

이것은 $\mathbf{w}$ 공분산 행렬의 고유 벡터, 즉 주 벡터 중 하나 여야합니다. 즉, PCA는 모든 로컬 최대 값을 제공하며 다른 것은 없습니다.

— 아메바
소스

안녕하세요, 저는 수학에 대한 배경 지식이 많지 않습니다. 위에서 언급 한 것들에 대해 배울 수있는 좋은 자료를 추천 해 주시겠습니까? 감사.

— Ahmed

@Ahmed : 확실하지 않습니다. 이미 알고있는 내용에 따라 다릅니다. 선형 대수와 분석에 대한 적절한 교과서가 필요할 것 같습니다. 이것은 꽤 기본적인 내용이므로 괜찮은 교과서에 포함되어야합니다.

— amoeba