PCA의 선형성

35

그러나 PCA는 선형 절차로 간주됩니다.

피 기음 에이 (엑스) \neq 피 기음 에이 ({엑스}_{1}) + 피 기음 에이 ({엑스}_{2}) + \dots + 피 기음 에이 ({엑스}_{엔}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

여기서 입니다. 이는 데이터에 대해 PCA에 의해 획득 된 고유 벡터 행렬이라고한다 데이터의 합에 의해 얻어진 PCA 고유 벡터를 동일하게 합계 않는 행렬 . 그러나 다음과 같은 선형 함수 의 정의가 아닙니다 . $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

에프 (엑스 + 와이) = 에프 (엑스) + 에프 (와이) ?

$f(x+y)=f(x)+f(y)?$

그렇다면 PCA가이 매우 기본적인 선형성 조건을 충족시키지 못하면 왜 "선형"으로 간주됩니까?

pca linear

— 알파 오메가
소스

나는 한때 PCA가 변수들 사이의 선형 의존성에 의존하기 때문에 "선형 프로 시저 패밀리에 속한다"는 글을 듣거나 들었다 (미안하지만 언제 어디서나 기억하지 못한다). Pearson 상관 행렬을 사용하고 가장 높은 분산의 선형 조합을 찾습니다.

— Łukasz Deryło

4

이 질문의 본질은 보통 최소 제곱 회귀의 훨씬 간단하고 일상적인 설정을 고려함으로써 조금 더 명확해질 수 있습니다. 이것이 선형 통계 절차의 원형입니다. 그럼에도 불구하고, 최소 제곱 계수를 추정하는 과정은, 데이터 매트릭스의 명백히 비선형 함수 인

식 증명 같이

. (응답 벡터

의 선형 함수라는 점에 유의하십시오 .)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

f (x) = x + 1도 "선형 함수"라는 것을 기억할 가치가 있지만 방금 말한 내용을 만족시키지 못합니다.

— Mehrdad

그것은

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

우리는 PCA 선형 방법이라고 말할 때, 우리는 환원 차원 매핑을 참조 고차원 공간에서 낮은 차원 공간에 . PCA에서,이 맵핑은 를 PCA 고유 벡터의 행렬 로 곱함으로써 주어지며 , 따라서 명백하게 선형이다 (행렬 곱셈은 선형 임) : 이는 차원 축소 매핑이 비선형 일 수있는 비선형 차원 축소 방법 과 대조적입니다 . $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

지 = 에프 (엑스) = V^{⊤} 엑스 .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

한편, 상단의 고유 벡터는 데이터 매트릭스에서 계산 당신이라는 것을 사용하여 : 귀하의 질문에 및 이 매핑은 확실히 비선형입니다. 비선형 절차 인 공분산 행렬의 고유 벡터를 계산합니다. (사소한 예로서, 에 곱하면 $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = 피 기음 에이 (엑스),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ 공분산 행렬을

만큼 증가 시키지만 고유 벡터는 단위 길이를 갖도록 정규화 된 것과 동일하게 유지됩니다.)

4

$4$

— 아메바의 말에 따르면 복원 모니카
소스

이 사소한 답변에 대한 35 개의 공감대가 있다는 것은 꽤 어리석은 일입니다.

— amoeba는

5

"선형"은 많은 것을 의미 할 수 있으며 공식적인 방식으로 독점적으로 사용되지는 않습니다.

PCA는 공식적인 의미에서 함수로 정의되지 않는 경우가 많으므로 선형 함수의 요구 사항을 충족시킬 필요는 없습니다. 당신이 말했듯이, 절차와 때로는 알고리즘으로 더 자주 설명됩니다 (이 마지막 옵션은 마음에 들지 않지만). 그것은 비공식적이고 잘 정의되지 않은 방식으로 선형이라고 종종 말합니다.

$X_i$

{엑스}_{나는} \approx {에프}_{와이} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

{에프}_{와이} (α) = \sum_{나는 = 1}^{케이} α_{나는} {와이}_{나는}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— 야생마
소스

3

PCA는 선형 변환을 제공합니다.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

선형 변환을 사용하지만 선형 변환 자체가 아닌 프로세스의 매우 간단한 예를 비교하면 다음과 같습니다.

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

과

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

그러나

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

각도 계산을 포함하는이 각도의 배가는 선형이 아니며, 고유 벡터의 계산이 선형이 아니라는 아메바의 진술과 유사합니다.

— Sextus Empiricus
소스