우리가 수행하는 많은 기계 학습 프로젝트의 경우 k 가장 가까운 이웃 분류기로 시작합니다. 이는 일반적으로 모든 거리를 계산하기에 충분한 시간이 있고 매개 변수 수가 제한되어 있기 때문에 이상적인 시작 분류기입니다 (k, 거리 측정 및 가중치).
그러나 프로젝트 후반에 다른 분류기로 전환 할 여지가 없으므로 knn 분류기를 사용하는 경우가 종종 있습니다. 새로운 분류기를 사용하는 것이 좋은 이유는 무엇입니까? 명백한 것은 기억력과 시간 제약이지만 다른 분류자가 실제로 정확도를 향상시킬 수있는 경우가 있습니까?
답변:
k-NN은 매우 제한적인 의미로 일반화합니다. 단순히 부드러움 사전 (또는 연속성 가정)을 사용합니다. 이 가정은 피처 공간에 가까운 패턴이 동일한 클래스에 속할 가능성이 높다는 것을 의미합니다. k-NN은 패턴 분포의 기능적 규칙 성을 복구 할 수 없습니다.
따라서, 대표적인 차원의 트레이닝 샘플이 필요하며, 이는 특히 차원이 큰 피쳐 공간의 경우에 매우 클 수 있습니다. 더 나쁜 것은이 샘플을 사용할 수 없다는 것입니다. 결과적으로 변이를 배울 수 없습니다. 레이블을 변경하지 않고 패턴에 일부 변형을 적용 할 수 있고 훈련 샘플에 모든 허용 가능한 방식으로 변형 된 패턴이 포함되어 있지 않은 경우 k-NN은 훈련 중에 제시되지 않은 변형 된 패턴을 인식하지 못합니다. 예를 들어 k-NN을 실행하기 전에 이미지가 일정하지 않은 형태로 표시되지 않은 경우 이미지가 이동되거나 회전 된 경우에 해당됩니다. k-NN은 관련없는 기능을 추상화 할 수도 없습니다.
또 다른 인공적인 예는 다음과 같습니다. 주기적으로 분산 된 다른 클래스에 속하는 패턴이 있다고 가정합니다 (예 : 사인에 따라-0보다 작 으면 패턴이 한 클래스에 속하고 더 큰 경우 패턴이 다른 클래스에 속함). 훈련 세트는 유한합니다. 따라서 유한 한 지역에 위치합니다. 이 영역을 벗어난 인식 오류는 50 %입니다. 이 경우 훨씬 더 나은 성능을 발휘하는주기적인 함수를 사용하여 로지스틱 회귀를 상상할 수 있습니다. 다른 방법은 패턴 분포에서 다른 규칙을 배우고 잘 외삽 할 수 있습니다.
따라서 이용 가능한 데이터 세트가 대표성이 아니며 패턴의 일부 변형에 대한 불변이 달성되어야한다고 의심되는 경우 k-NN을 넘어서야합니다.
계산 복잡성으로 인해 제약을받는 경우 의사 결정 트리 (Quinal, 1986) 는 이길 수 없습니다 (특히 프레임 워크에서 DT 모델을 Accord.NETif 과 같은 여러 문으로 직접 변환 할 수있는 경우 ).
고차원 데이터의 경우 k-NN이 기반으로하는 거리 개념은 쓸모가 없습니다 (Kriegel, Kröger, Zimek, 2009) (또한 Wikipedia article ). 따라서 SVM (Corter, Vapnik, 1995) 또는 Random Forests (Breiman, 2001) 와 같은 다른 분류 기가 성능이 더 우수 할 수 있습니다.
참고 문헌 :