최근의 Kaggle 경쟁을 위해, 나는 (수동으로) 내 훈련 세트에 대해 10 개의 추가 기능을 정의했으며,이 기능은 임의의 숲 분류기를 훈련시키는 데 사용됩니다. 새로운 기능으로 데이터 세트에서 PCA를 실행하여 서로 비교하는 방법을 확인하기로 결정했습니다. 분산의 ~ 98 %가 첫 번째 성분 (첫 번째 고유 벡터)에 의해 전달됨을 발견했습니다. 그런 다음 분류기를 여러 번 훈련하여 한 번에 하나의 기능을 추가하고 교차 유효성 검사 및 RMS 오류를 사용하여 분류 품질을 비교했습니다. 나는 각각의 추가 기능으로 분류가 개선되었으며 최종 결과 (모든 10 개의 새로운 기능 포함)가 첫 번째 실행 (예 : 2 기능)보다 훨씬 우수하다는 것을 알았습니다.
PCA가 분산의 ~ 98 %가 내 데이터 세트의 첫 번째 구성 요소에 있다고 주장한 경우 분류의 품질이 왜 그렇게 많이 향상 되었습니까?
다른 분류 자에게도 해당됩니까? RF는 여러 코어에 걸쳐 확장되므로 SVM보다 학습 속도가 훨씬 빠릅니다.
데이터 세트를 "PCA"공간으로 변환하고 변환 된 공간에서 분류기를 실행하면 어떻게됩니까? 결과가 어떻게 바뀔까요?
2
PCA를 실행하기 전에 데이터를 정규화 했습니까? 만약 내가 당신의 특징 중 하나가 다른 것보다 훨씬 더 큰 규모라고 생각했을 것입니다.
—
Marc Shivers
PCA 기능은 계산을 수행 할 때 모든 것을 자동으로 정규화합니다.
—
Vishal
어쩌면 그것은 나뿐이지만 다음을 분명히 할 수 있습니다. 첫 번째 단계는 한 번에 하나씩 10 개의 원시 기능을 추가하거나 PCA 구성 요소로 직접 작업 했습니까? 언급 한 바와 같이, 이것이 첫 번째 사례라는 것을 이해하고 PCA의 결과를 직접 처리 할 수 있는지 궁금합니다. 두 경우 모두, 새로운 기능을 포함한 모든 변수 또는 그 이후에 PCA를 적용 했습니까?
—
chl
10 가지 추가 기능을 사용하여 PCA를 원본 매트릭스에 적용했습니다. 그런 다음 한 번에 하나의 기능을 추가하여 분류자를 훈련 시켰으므로 각 기능의 추가로 제공되는 점진적 개선을 측정 할 수있었습니다. 내 질문에 내가 PCA 공간에 (10 개 새로운 기능) 데이터 집합을 변환 한 다음, PCA 공간에서 데이터 세트에 직접 분류를 실행 한 경우 무엇 이었습니까
—
이씨