분류에서 LDA 대신 PCA를 언제 사용 하시겠습니까?

원리 성분 분석과 다중 판별 분석 (선형 판별 분석)의 차이점에 대한 이 기사 를 읽고 있으며 MDA / LDA가 아닌 PCA를 왜 사용해야하는지 이해하려고 노력하고 있습니다.

설명은 다음과 같이 요약됩니다.

PCA에서 대략적으로 말하면 데이터가 가장 널리 퍼져있는 곳 (PCA가 전체 데이터 세트를 하나의 클래스로 취급하기 때문에 클래스 내에서)이 최대 편차를 갖는 축을 찾으려고 노력하고 있으며 MDA에서는 클래스 간 확산을 추가로 최대화하고 있습니다.

항상 분산을 최대화하고 클래스 간 확산을 최대화하고 싶지 않습니까?

더 깊은 것이 누락되었습니다. PCA는 분류 방법이 아닙니다.

기계 학습의 PCA는 기능 엔지니어링 방법으로 취급됩니다. 데이터에 PCA를 적용하면 결과 기능간에 상관 관계가 없습니다. 많은 분류 알고리즘이 이로부터 이익을 얻습니다.

알고리즘은 데이터에 대한 가정이있을 수 있다는 점을 항상 명심해야하며, 이러한 가정이 유지되지 않으면 성능이 저하 될 수 있습니다.

LDA는 데이터를 투영하기 위해 공분산 행렬 반전을 계산해야합니다 (이 스레드 및 답변 확인 : 분류하기 전에 PCA를 수행해야 합니까 ? 및 PCA와 LDA를 결합하는 것이 합리적입니까? ). 데이터가 거의없는 경우 불안정하며 데이터 포인트 (예 : 클래스 내 단일 공분산 행렬)에 대한 과적 합 된 투영을 얻습니다. PCA는 일반적으로이를 피하기 위해 사용되어 문제의 확장 성을 줄입니다.

따라서 PCA를 사용하여 분류를 수행하지는 않지만 LDA의 성능을 향상시키기 위해이를 사용할 수 있습니다.

Firebug의 사전 답변은 정확하지만 다른 관점을 추가하고 싶습니다.

비지도 및지도 학습 :

LDA는 군집 분리를 목표로하는 차원을 찾는 데 매우 유용하므로 이전에 군집을 알아야합니다. LDA는 반드시 분류기 (classifier)는 아니지만 하나의 분류기로 사용될 수 있습니다. 따라서 LDA는지도 학습에서만 사용할 수 있습니다

PCA는 노이즈 제거 및 차원 축소에 대한 일반적인 접근 방식 이며지도 학습의 수업 레이블과 같은 추가 정보가 필요하지 않습니다. 따라서 비지도 학습에 사용될 수 있습니다.

LDA는 다차원 공간을 개척하는 데 사용됩니다.

PCA는 다차원 공간을 축소하는 데 사용됩니다.

예를 들어, 3D 객체는 2D 그림자를 투사합니다. PCA를 사용하면 중요한 정보의 70 %-90 %를 유지하면서 수백 개의 공간 차원을 소수의 낮은 공간 차원으로 축소 할 수 있습니다.

그림자에서 손의 크기와 모양을 볼 수있는 방법. 나는 당신의 손 모양에 대한 모든 것을 말할 수는 없습니다. 그러나 최적의 알려진 각도에서 3 개 또는 4 개의 그림자를 모아서. 그런 다음 손의 크기와 모양에 대해 대부분 말할 수 있습니다.