비선형으로 분리 가능한 데이터에 대해 선형 SVM을 교육하면 어떻게됩니까?

비선형으로 분리 가능한 데이터에 대해 기본 지원 벡터 머신 (선형 커널 및 소프트 마진 없음)을 훈련하면 어떻게됩니까? 최적화 문제는 실현 가능하지 않으므로 최소화 알고리즘은 무엇을 반환합니까?

기본 지원 벡터 머신은 하드 마진 SVM을 의미한다고 생각합니다. 자, 검토해 봅시다 :

어려운 여백 SVM 이란 무엇입니까

요컨대, 훈련 표본 공간에서 모든 관측 값을 올바르게 분리 할 수있는 가장 큰 마진을 가진 초평면을 찾고자합니다.

하드 마진 SVM의 최적화 문제

위의 정의가 주어지면 해결해야 할 최적화 문제는 무엇입니까?

1. 최대 마진 초평면 : 우리는 원한다 max(margin)
2. 정확하게 모든 관측치를 분리 할 수 있어야한다 : 우리는 최적화해야 margin하고 또한 제약 조건을 만족 없음을에서 샘플 오류

비선형으로 분리 가능한 데이터에 대해 선형 SVM을 교육하면 어떻게됩니까?

질문으로 돌아가서, 특징 변환없이 하드 마진 SVM을 사용하여 학습 데이터 세트를 선형으로 분리 할 수 ​​없다고 언급 했으므로 "샘플링 오류 없음"을 만족하는 하이퍼 플레인을 찾는 것은 불가능합니다 .

일반적으로 우리는 Quadratic Programming으로 SVM 최적화 문제를 해결합니다. 제약 조건으로 최적화 작업을 수행 할 수 있기 때문입니다. 하드 마진 SVM의 제약 조건을 충족시키지 않고 Gradient Descent 또는 기타 최적화 알고리즘을 사용하는 경우에도 결과가 발생하지만 하드 마진 SVM 하이퍼 플레인은 아닙니다.

그건 그렇고, 비선형 적으로 분리 가능한 데이터로 보통

• 하드 마진 SVM + 기능 변환
• 소프트 마진 SVM을 직접 사용하십시오 (실제로 소프트 마진 SVM은 일반적으로 좋은 결과를 얻습니다)