PCA가 특이 치에 민감한 이유는 무엇입니까?

이 SE에는 PCA (Principal Component Analysis)에 대한 강력한 접근 방식을 다루는 게시물이 많이 있지만 PCA가 왜 특이 치에 민감한 지에 대한 좋은 설명은 찾을 수 없습니다 .

machine-learning pca outliers

— Psi
소스

L2 표준 기여도는 특이 치에 대해 매우 높기 때문입니다. 그런 다음 L2 규범 (PCA가 시도하는 것)을 최소화 할 때 이러한 점은 중간에 가까운 점보다 맞추기가 더 어려워집니다.

— mathreadler

이 답변은 필요한 모든 것을 알려줍니다. 특이한 그림을보고주의 깊게 읽으십시오.

— S. Kolassa-복원 모니카

그 이유 중 하나는 PCA가 분해 잔차의 $L_2$ 규범의 합을 최소화하는 데이터의 낮은 순위 분해로 간주 될 수 있기 때문입니다 . 즉, $Y$ 가 데이터 ( 차원 의 $m$ 벡터 )이고 가 PCA 기준 ( 차원 의 벡터 ) 인 경우 분해는 엄격하게 최소화합니다. $n$ $X$ $k$ $n$

” 와이 - 엑스 에이 ”_{에프}^{2} = \sum_{j = 1}^{엠} ” {와이}_{j} - 엑스 {에이}_{j .} ”^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$ 여기서

A

$A$ 는 PCA 분해 계수의 행렬이고

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$ 는 행렬의 Frobenius 규범입니다.

PCA는 $L_2$ 규범 (즉, 2 차 규범)을 최소화하기 때문에 이상치에 민감함으로써 최소 제곱 또는 가우시안 피팅과 같은 문제가 있습니다. 특이 치에서 벗어난 편차의 제곱으로 인해 전체 규범을 지배하므로 PCA 구성 요소를 구동합니다.

— sega_sai
소스