기능 수를 늘리면 성능이 저하되는 이유는 무엇입니까?

기능 수를 늘리면 성능이 저하 될 수있는 이유에 대한 직관을 얻으려고합니다. 현재 LDA 분류기를 사용하고 있습니다.이 기능은 특정 기능 사이에서 이변 형이 더 우수하지만 더 많은 기능을 볼 때 더 나쁩니다. 분류 정확도는 계층화 된 10 배 xval을 사용하여 수행됩니다.

분류자가이 높은 차원에서 일어나고있는 것에 대한 물리적 또는 공간적 직관을 얻기 위해 이변 량보다 일 변량으로 더 잘 작동하는 간단한 사례가 있습니까?

" 차원 문제 : 간단한 예 "-GV Trunk의 매우 짧고 오래된 기사를 참조하십시오. 그는 기능이 모두 관련이 있지만 관련성이 감소 하는 가우시안 클래스 조건부 분포와 함께 2 가지 클래스 문제를 고려합니다 . 그는 유한 샘플에 대해 훈련 된 분류기의 오류율이 0.5로 수렴하는 반면, 베이 에스 오류는 기능의 수가 증가함에 따라 0에 근접 함을 보여줍니다.

이를 " 차원의 저주 "라고합니다. LDA에 대한 구체적인 이유는 없지만 일반적으로 더 복잡한 의사 결정 경계가 필요한 기능 벡터 결과에 대해 많은 차원을 가지고 있습니다. 복잡한 경계를 갖는 것도 "어느 정도?"라는 질문과 함께 제공됩니다. 우리는 또한 과도한 피팅을 고려하기 때문에. 또 다른 점으로, 추가적인 차원으로 인해 학습 알고리즘의 복잡성도 증가하고 있습니다. 따라서 특징 벡터가 큰 상대적으로 느린 학습 알고리즘을 사용하면 작업 이벤트가 악화됩니다. 차원에 더하여 신경망이나 다른 것들과 같은 많은 학습 알고리즘에는 좋지 않은 상관 관계가있을 가능성이 높아질 수 있습니다.

"차원의 Curus Of Dimensionality"에있는 다른 이유를 셀 수 있지만 사실은 일부 피쳐 선택 루틴에 의해 진행되는 간결한 피쳐 벡터를 가진 인스턴스가 충분해야합니다.