SVD와 PCA의 관계. SVD를 사용하여 PCA를 수행하는 방법?

351

주성분 분석 (PCA)은 공분산 행렬의 고유 분해를 통해 설명됩니다. 그러나 데이터 행렬 의 단일 값 분해 (SVD)를 통해 수행 할 수도 있습니다 . 어떻게 작동합니까? 이 두 가지 방법의 관계는 무엇입니까? SVD와 PCA의 관계는 무엇입니까? $\mathbf X$

즉, 데이터 행렬의 SVD를 사용하여 차원 축소를 수행하는 방법은 무엇입니까?

— 아메바
소스

이 FAQ 스타일 질문은 다양한 형태로 자주 요청되기 때문에 내 대답과 함께 작성되었지만 표준 스레드가 없으므로 복제본을 닫기가 어렵습니다. 이 메타 스레드 에 메타 주석을 제공하십시오 .

— amoeba

stats.stackexchange.com/questions/177102/…

— kjetil b halvorsen

향후의 링크 우수하고 자세한 아메바의 대답 이외에 내가 확인하는 것이 좋습니다 수있는 이 PCA가 나란히 다른 SVD 기반 기술로 간주되는 경우를. 거기에 대한 논의는 PCA를 설명 할 때 [또는 ]의 svd 분해에 관한 연설에서 약간의 차이점을 제외하고는 아메바와 거의 대수를 나타냅니다 . 대신 -공분산 행렬의 고유 분해를 통해 수행 된 PCA와 관련되어있어 편리합니다.

X / \sqrt{n}

$\mathbf X/\sqrt{n}$

X / \sqrt{n - 1}

$\mathbf X/\sqrt{n-1}$

X

$\bf X$

— ttnphns

PCA는 SVD의 특별한 경우입니다. PCA는 데이터가 이상적이고 동일한 단위로 표준화되어야합니다. 매트릭스는 PCA에서 nxn입니다.

— Orvar Korvar

@ OrvarKorvar : 무슨 nxn 행렬에 대해 이야기하고 있습니까?

— Cbhihe

답변:

412

데이터 행렬 를 크기로 설정하십시오. 여기서 은 샘플 수이고 는 변수 수입니다. 중심 이 있다고 가정합시다 . 즉, 열 평균을 빼고 이제 0과 같습니다. $\mathbf X$ $n \times p$ $n$ $p$

그런 다음 공분산 행렬 는 됩니다. 대칭 행렬이므로 대각선으로 나타낼 수 있습니다. 여기서 는 고유 벡터 행렬 (각 열은 고유 벡터)이고 은 대각선 에서 내림차순 으로 고유 값이 대각선 행렬 . 고유 벡터를 데이터의 주축 또는 주 방향 이라고합니다. 주축의 데이터 투영을 주성분 이라고하며 PC 점수 라고도 함 $p \times p$ $\mathbf C$ $\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

C = V L V^{⊤},

$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$

V

$\mathbf V$

L

$\mathbf L$

λ_{i}

$\lambda_i$ ; 이들은 새롭고 변형 된 변수로 볼 수 있습니다. 주성분이 주어진다 번째 의 열 번째 . 새 PC 공간에서 번째 데이터 포인트 의 좌표는 의 번째 행에 의해 제공됩니다 .

j

$j$

j

$j$

X V

$\mathbf {XV}$

i

$i$

i

$i$

X V

$\mathbf{XV}$

이제 의 특이 값 분해를 수행 하면 분해 을 얻습니다 여기서 는 단일 행렬이고 는 대각선 행렬입니다. 특이 값 . 여기에서 즉 오른쪽 특이 벡터 는 주 방향이며 특이 값은 를 통해 공분산 행렬의 고유 값과 . 주요 구성 요소는 $\mathbf X$

X = U S V^{⊤},

$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$

U

$\mathbf U$

S

$\mathbf S$

s_{i}

$s_i$

C = V S U^{⊤} U S V^{⊤} / (n - 1) = V \frac{S^{2}}{n - 1} V^{⊤},

$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$

V

$\mathbf V$

λ_{i} = s_{i}^{2} / (n - 1)

$\lambda_i = s_i^2/(n-1)$

X V = U S V^{⊤} V = U S

$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$ .

요약:

만약 다음의 열 주 방향 / 축이된다. $\mathbf X = \mathbf U \mathbf S \mathbf V^\top$ $\mathbf V$
열 은 주요 구성 요소 ( "점수")입니다. $\mathbf {US}$
특이 값은 통한 공분산 행렬의 고유 값과 관련이 있습니다. 고유 값 는 각 PC의 분산을 보여줍니다. $\lambda_i = s_i^2/(n-1)$ $\lambda_i$
표준화 된 점수는 열에 의해 주어지고 로딩은 열에 의해 주어집니다 . "로딩"이 주요 방향과 혼동되어서는 안되는 이유는 여기 와 여기 를 참조하십시오 . $\sqrt{n-1}\mathbf U$ $\mathbf V \mathbf S/\sqrt{n-1}$
위의 내용은 가 중앙에있는 경우에만 정확합니다 . $\mathbf X$ 그러면 공분산 행렬은 . $\mathbf X^\top \mathbf X/(n-1)$
위의 내용은 행에 샘플이 있고 열에 변수가있는 대해서만 정확합니다 . 변수가 행에 있고 열에 샘플이 있으면 및 해석을 교환합니다. $\mathbf X$ $\mathbf U$ $\mathbf V$
공분산 행렬 대신 상관 행렬에서 PCA를 수행하려면 열을 중심에 두어야 할뿐만 아니라 표준화해야합니다. 즉 표준 편차로 나눕니다. $\mathbf X$
에서 데이터의 차원을 감소시키기 위해 하는 선택 의 첫 번째 열 , 및 의 좌상 부 . 그들의 곱 는 첫 PC를 포함 하는 필수 행렬 입니다. $p$ $k<p$ $k$ $\mathbf U$ $k\times k$ $\mathbf S$ $\mathbf U_k \mathbf S_k$ $n \times k$ $k$
첫 번째 PC에 해당 주축 하면 행렬이 원래 크기이지만 더 낮은 순위입니다 (순위 ). 이 행렬 는 처음 PC 에서 원본 데이터를 재구성 합니다 . 재구성 오류가 가장 적습니다 . 여기에서 내 대답을 참조하십시오 . $k$ $\mathbf V_k^\top$ $\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$ $n \times p$ $k$ $\mathbf X_k$ $k$
엄밀히 말하면, 는 크기이고 는 크기입니다. 그러나 이면 의 마지막 열 은 임의적입니다 ( 의 해당 행 은 상수 0 임). 따라서 크기 의 를 반환 하는 이코노미 크기 (또는 얇은 ) SVD를 사용해야합니다 . 큰 경우 행렬 는 불필요하게 거대합니다. 의 반대 상황에도 동일하게 적용됩니다. $\mathbf U$ $n\times n$ $\mathbf V$ $p \times p$ $n>p$ $n-p$ $\mathbf U$ $\mathbf S$ $\mathbf U$ $n\times p$ $n\gg p$ $\mathbf U$ $n\ll p$ .

추가 링크

SVD와 PCA의 직관적 인 관계는 무엇입니까? 수학에서 매우 인기 있고 비슷한 스레드입니다.
데이터의 SVD를 통해 PCA가 필요한 이유는 무엇입니까? -SVD를 통해 PCA를 수행하면 어떤 이점이 있는지에 대한 토론 [단기 답변 : 수치 안정성].
Biplot과 관련한 PCA 및 통신 분석-SVA를 기반으로하는 일부 고유 기술의 맥락에서 PCA.
PCA에 비해 SVD의 장점이 있습니까? -PCA 대신 SVD 를 사용할 때 어떤 이점이 있는지 묻는 질문 [짧은 답변 : 잘못된 질문].
주요 구성 요소 분석, 고유 벡터 및 고유 값 이해-PCA에 대한 비 기술적 설명을 제공하는 대답입니다. 주의를 끌기 위해 여기에 하나의 그림을 재현합니다.

— 아메바
소스

@Antoine, 공분산 행렬은 정의에 따라 과 같습니다. 여기서 꺾쇠 괄호는 평균값을 나타냅니다. . 모든 가 하나의 행렬 에서 행으로 쌓인 경우이 표현식은 . 가 중심에 있으면 단순화됩니다 . 차이를 생각하십시오. 그것은 동일한이다 . 그러나 (즉 데이터가 중심에 은 단순히 의 평균 값입니다 .

⟨ (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} ⟩

$\langle (\mathbf x_i - \bar{\mathbf x})(\mathbf x_i - \bar{\mathbf x})^\top \rangle$

x_{i}

$\mathbf x_i$

X

$\mathbf X$

(X - \bar{X}) (X - \bar{X})^{⊤} / (n - 1)

$(\mathbf X - \bar{\mathbf X})(\mathbf X - \bar{\mathbf X})^\top/(n-1)$

X

$\mathbf X$

X X^{⊤} / (n - 1)

$\mathbf X \mathbf X^\top/(n-1)$

⟨ (x_{i} - \bar{x})^{2} ⟩

$\langle (x_i-\bar x)^2 \rangle$

\bar{x} = 0

$\bar x=0$

x_{i}^{2}

$x_i^2$

— amoeba

SVD의 PCA 코드 샘플 : stackoverflow.com/questions/3181593/…

— 낙관론자

Amoeba, 귀하의 링크에 따라 링크를 하나 더 추가 할 책임이 있습니다. 당신이 그것을 알기를 바랍니다.

— ttnphns

@amoeba 예, 왜 사용합니까? 또한 동일한 분모를 사용할 수 있습니까? 문제는 수식을보고 이해하는 방법을 알고 있다는 것입니다.

S

$S$

λ_{i} = s_{i}^{2}

$\lambda_i = s_i^2$

— Dims

@sera 그냥 행렬을 바꾸고 문제를 제거하십시오. 그렇지 않으면 혼란 스러울 것입니다.

— amoeba

@amoeba의 답변과 함께 제공되는 Python & Numpy 스 니펫을 작성했으며 누군가에게 유용 할 수 있도록 여기에 남겨 둡니다. 의견은 대부분 @amoeba의 답변에서 가져온 것입니다.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

— , 2 사용자 98 % 사용자
소스

$\mu$ $x_i$

X = (\begin{array}{ccccc} x_{1}^{T} - μ^{T} \\ x_{2}^{T} - μ^{T} \\ ⋮ \\ x_{n}^{T} - μ^{T} \end{array}) .

$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$

공분산 행렬

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - μ) (x_{i} - μ)^{T} = \frac{1}{n - 1} X^{T} X

$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$

$S$

S = V Λ V^{T} = \sum_{i = 1}^{r} λ_{i} v_{i} v_{i}^{T},

$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$

$v_i$ $i$ $\lambda_i$ $i$ $S$ $i$

임의로 생성 된 가우스 데이터 세트의 PCA

$A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$ $u_i$ $v_i$

2x2 예제의 SVD

$A$ $\mathbb S$ $u_i$ $v_i$

$X$ $A = X$

X = \sum_{i = 1}^{r} σ_{i} u_{i} v_{j}^{T},

$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$

$\{ u_i \}$ $\{ v_i \}$ $S$ $v_i$

u_{i} = \frac{1}{\sqrt{(n - 1) λ_{i}}} X v_{i},

$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$

$\sigma_i$

σ_{i}^{2} = (n - 1) λ_{i} .

$\sigma_i^2 = (n-1) \lambda_i\,.$

$u_i$ $X$ $u_i$ $X$ $i$ $v_i$ $X$

이 긴 기사에서 PCA와 SVD의 관계 에 대한 자세한 내용과 이점을 살펴 보겠습니다 .

— 안드레 P
소스

anser 앙드레 감사합니다. 두 번의 작은 오타 수정 : 1. 마지막 단락에서 왼쪽과 오른쪽을 혼동합니다. 2. X의 (자본) 수식에서 v_i 대신 v_j를 사용하고 있습니다.

— Alon