SVM의 장단점


18

누구든지 다른 분류기와 구별되는 분류 SVM의 장단점을 설명 할 수 있습니까?


3
어떤 맥락에서? 무슨 목적을 위해? 어떤 종류의 SVM이 있습니까? 어떤 종류의 데이터?

답변:


33

네 가지 주요 장점이 있습니다. 첫째, 정규화 매개 변수가있어 사용자가 과적 합을 피할 수 있다고 생각합니다. 둘째, 커널 트릭을 사용하므로 커널 엔지니어링을 통해 문제에 대한 전문 지식을 쌓을 수 있습니다. 셋째, SVM은 효율적인 방법 (예 : SMO)이있는 볼록 최적화 문제 (로컬 최소값 없음)로 정의됩니다. 마지막으로, 테스트 오류율에 대한 근사치이며, 그 뒤에는 이론이 상당히있어 좋은 아이디어가되어야한다는 이론이 있습니다.

단점은 이론이 정규화 및 커널 매개 변수의 주어진 값에 대한 매개 변수의 결정과 커널 선택을 실제로 다루고 있다는 것입니다. 어떤 방식으로 SVM은 과적 합 문제를 매개 변수 최적화에서 모델 선택으로 이동시킵니다. 안타깝게도 커널 모델은 모델 선택 기준을 과도하게 맞추는 데 매우 민감 할 수 있습니다.

GC Cawley 및 NLC Talbot, 성능 평가에서 모델 선택 및 후속 선택 바이어스에 과적 합, Journal of Machine Learning Research, 2010. Research, vol. 11, pp. 2079-2107, 2010 년 7 월. ( pdf )

그러나이 문제는 커널 방법에만 적용되는 것은 아니며 대부분의 기계 학습 방법에는 비슷한 문제가 있습니다. SVM에 사용 된 힌지 손실로 인해 희소성이 발생합니다. 그러나 커널 및 정규화 매개 변수의 최적 선택은 종종 모든 데이터가 지원 벡터가된다는 것을 의미합니다. 희소 커널 시스템을 정말로 원한다면, 유익한 벡터 시스템과 같이 (유용한 부산물이 아닌) 처음부터 희소하도록 설계된 것을 사용하십시오. 지원 벡터 회귀 분석에 사용되는 손실 함수는 명백한 통계적 해석을 갖지 않으며, 종종 문제에 대한 전문 지식이 손실 함수 (예 : Poisson 또는 Beta 또는 Gaussian)로 인코딩 될 수 있습니다. 마찬가지로 많은 분류 문제에서 실제로 클래스 멤버십의 가능성을 원합니다.

그것이 내가 생각할 수없는 전부에 관한 것입니다.


SVM의 멀티 클래스 분류 어려움에 대한 과제는 어떻습니까?
Vass

1
@Vaas의 좋은 점은 과거에 DAGSVM 알고리즘을 사용하여 매우 효과적이라는 것을 알았습니다. 멀티 클래스 문제는 SVM 프레임 워크 내에서 그러한 훌륭한 솔루션을 가지고 있지 않은 것 같습니다. 멀티 클래스 커널 로지스틱 회귀는 아마도 "우아한"상태로 유지 된 가장 유사한 접근법 일 것입니다.
Dikran Marsupial
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.