PCA가 분류기의 결과를 악화시키는 원인은 무엇입니까?

교차 유효성 검사를 수행하는 분류 기가 있으며, 기능의 최적 조합을 찾기 위해 앞으로 선택하는 백여 가지 기능이 있습니다. 또한 PCA로 동일한 실험을 실행하는 것과 비교할 수 있는데, 여기서 잠재적 인 특징을 취하고 SVD를 적용하며 원래 신호를 새로운 좌표 공간으로 변환하고 앞으로 선택 프로세스에서 상위 기능을 사용합니다 .$k$

신호는 원래의 기능보다 "정보"가 많으므로 PCA가 결과를 개선 할 것이라는 직관이있었습니다. PCA에 대한 순진한 이해가 나를 문제로 이끌고 있습니까? PCA가 일부 상황에서 결과를 개선 할 수있는 일반적인 이유 중 일부를 제안 할 수는 있지만 다른 상황에서는 결과를 악화시킬 수 있습니까?

훌륭하고 저평가 된 기사 "회귀에 주성분 사용에 대한 참고 사항" 에서 발췌 한 간단한 사례를 고려 하십시오 .

만 있다고 가정 두 (스케일링과 드 meaned), 그들이 나타내는 기능 및 X 2 정렬 0.5, 동일한 양의 상관 관계와 X , 제 3 응답 변수 Y는 당신이 분류하고 싶습니다. Y 의 분류 가 x 1 - x 2 의 부호로 완전히 결정 되었다고 가정하십시오 .$x_1$$x_2$$X$$Y$$Y$$x_1 - x_2$

에서 PCA를 수행 하면 Var ( x 1 + x 2 ) = 1 + 1 + 2 ρ > Var ( x 1 − ) 이므로 새로운 (분산 순서대로) 기능 [ x 1 + x 2 , x 1 − x 2 ]이됩니다 . x 2 ) = 2 − 2 $X$$[x_1 + x_2, x_1 - x_2]$$\operatorname{Var}( x_1 + x_2 ) = 1 + 1 + 2\rho > \operatorname{Var}(x_1 - x_2 ) = 2 - 2\rho$. 따라서 치수를 1로 바꾸면 (즉, 첫 번째 주요 구성 요소) 분류에 대한 정확한 솔루션을 버리게됩니다!

PCA가 독립적이기 때문에 문제가 발생합니다 . 불행히도 PCA에 Y 를 포함시킬 수 없으므로 데이터 유출이 발생할 수 있습니다.$Y$$Y$

데이터 누출은 문제의 대상 예측 변수를 사용하여 행렬 를 구성하는 것이므로 샘플에서 벗어난 예측은 불가능합니다.$X$

예를 들어, 재무 시계열에서 EST 오전 11:00에 발생하는 유럽 EOL 종료를 예측하려고하면 EST 오후 4시 미국 종료 시점을 사용하여 미국 종료 이후 데이터 유출이 발생합니다. 몇 시간 후에 발생하는 유럽 종가의 가격을 통합했습니다.

간단한 기하학적 설명이 있습니다. R에서 다음 예제를 시도하고 첫 번째 주성분이 분산을 최대화한다는 것을 상기하십시오.

library(ggplot2)

n <- 400
z <- matrix(rnorm(n * 2), nrow = n, ncol = 2)
y <- sample(c(-1,1), size = n, replace = TRUE)

# PCA helps
df.good <- data.frame(
    y = as.factor(y), 
    x = z + tcrossprod(y, c(10, 0))
)
qplot(x.1, x.2, data = df.good, color = y) + coord_equal()

# PCA hurts
df.bad <- data.frame(
    y = as.factor(y), 
    x = z %*% diag(c(10, 1), 2, 2) + tcrossprod(y, c(0, 8))
)
qplot(x.1, x.2, data = df.bad, color = y) + coord_equal()

PCA 도움

최대 분산 방향은 수평이며 클래스는 수평으로 구분됩니다.

PCA 아파

최대 분산의 방향은 수평이지만 클래스는 수직으로 분리됩니다

PCA는 선형이며, 비선형 종속성을 보려고 할 때 아파요.

벡터 이미지의 PCA :

비 선형 알고리즘 (NLDR)은 이미지를 2 차원, 회전 및 스케일로 축소했습니다.

추가 정보 : http://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction

나는 그 질문에 이미 답이 있지만, 분류하기 전에 피처 변환을 위해 PCA를 사용 하는 것에 관한 이 논문 을 공유하고 싶었다 .

테이크 홈 메시지 (@vqv의 답변에 아름답게 표시됨)는 다음과 같습니다.

PCA (Principal Component Analysis)는 데이터가 가장 높은 변동성을 나타내는 축을 추출하는 데 기반합니다. PCA는 새로운 방식으로 데이터를 "확산"하고 비지도 학습에 큰 도움이 될 수 있지만, 새로운 축이 (지도 된) 분류 문제의 차별적 특징과 일치한다는 보장은 없습니다.

섹션 4. 실험 결과 를 보면 관심있는 사람들 은 분류 정확도를 1) 원래 기능, 2) PCA 변환 기능 및 3) 두 가지의 조합과 비교할 수 있습니다.

내 결론 :

PCA 기반 기능 변환을 통해 많은 기능의 정보를 제한된 수의 구성 요소, 즉 원래 기능의 선형 조합으로 요약 할 수 있습니다. 그러나 주요 구성 요소는 종종 이해하기 어렵고 (직관적이지 않음)이 백서의 실험 결과에 따르면 일반적으로 분류 성능이 향상되지 않습니다.

추신 : 필자가 언급 한 논문의 한계 중 하나는 저자가 분류 자의 성능 평가를 '정확성'으로 제한한다는 사실에 주목했습니다. 이는 매우 편향 된 성과 지표 일 수 있습니다.

$x_1,x_2,x_3$$y$$x_3=y$

$y$$x_3$

$x_1$$x_2$$x_3$$y$