차원이 샘플 수보다 큰 경우 PCA

나는 분류기에 전달 해야하는 14000 데이터 포인트 (치수)를 포함하는 10 명 (100 샘플)에 대해 10 개의 신호 / 사람이있는 시나리오를 보았습니다. 이 데이터의 차원을 줄이고 싶습니다. PCA가 그렇게하는 것 같습니다. 그러나 샘플 수가 차원 수보다 큰 PCA의 예만 찾을 수있었습니다. SVD를 사용하여 PC를 찾는 PCA 응용 프로그램을 사용하고 있습니다. 100x14000 데이터 세트를 전달하면 101 대의 PC가 반환되므로 대부분의 크기가 무시됩니다. 이 프로그램은 처음 6 개의 PC에 분산의 90 %가 포함되어 있음을 나타냅니다.

이 101 PC에 본질적으로 모든 분산이 포함되어 있고 나머지 치수는 무시할 수 있다는 합리적인 가정입니까?

내가 읽은 논문 중 하나는 내 것과 비슷한 (약간 품질은 낮지 만) 데이터 세트를 사용하여 원래 정보의 96 %를 유지하면서 4500 크기를 80으로 줄일 수 있다고 주장합니다. 이 논문은 사용 된 PCA 기술의 세부 사항에 대해 손을 흔들고 3100 개의 샘플 만 사용 가능했으며 실제로 PCA를 수행하는 데 사용 된 것 (분류 단계에서 편향을 제거하기 위해)보다 적은 샘플을 믿어야 할 이유가 있습니다.

PCA가 높은 차원의 낮은 표본 크기 데이터 세트와 함께 사용되는 방식입니까? 모든 의견은 대단히 감사하겠습니다.

약간 다른 각도에서 문제를 보았습니다. 10 명의 피험자 / 100 개의 샘플로 모델을 얼마나 복잡하게 만들 수 있습니까?

그리고 그 질문은 보통 100 대 미만의 PC로 대답합니다. 다른 유형의 데이터 (진동 스펙트럼)에서 작업하므로 상황이 약간 다를 수 있습니다. 내 분야에서 일반적인 설정은 O (10) 대상의 O (1000) 스펙트럼에서 계산 된 10 또는 25 또는 50 대의 PC를 사용하는 것입니다.

내가 할 일은 다음과 같습니다.

• 그 100 대의 PC에 포함 된 차이를보십시오. 일반적으로 데이터의 분산에 실제로 기여하는 구성 요소는 거의 없습니다.

• 나는 PLS가 PCA에 비해 클래 시화를위한 전처리로서 PLS를 선호합니다. 분류에 도움이되지 않는 높은 변형이있는 방향을 분류하는 데 훨씬 더 나은 작업을 수행하기 때문입니다 (제 경우에는 초점 편차, 샘플 두께가 다를 수 있음). ..). 내 경험상 종종 10 PLS 잠재 변수 또는 25 ~ 50 PC의 유사한 분류기를 얻습니다.

• 검증 샘플은 훈련 세트에서만 계산 된 PCA 회전으로 처리해야합니다.
  즉, 부트 스트랩 외부 또는 교차 검증을 수행하는 경우 각 트레인 / 테스트 세트 조합에 대해 PCA 또는 PLS 사전 처리를 별도로 계산해야합니다.

하면 점의 개수 크기 및 개수 다음 비 - 제로 분산 초과 할 수 없음과 주성분의 개수 (원 데이터에 PCA 하) 또는 에 PCA를 수행 할 때 ( 중앙 데이터-평소와 같이).$n$$p$$n \leq p$$n$$n-1$

다른 각도에서 이것을옵니다.

$k$$k$$\leq$

$k$