SVM과 로지스틱 회귀 비교

누군가 SVM 또는 LR을 언제 선택할지에 대한 직감을 줄 수 있습니까? 나는 두 목표의 초평면 학습의 최적화 기준 사이의 차이점이 무엇인지에 대한 직관을 이해하고 싶습니다. 각 목표는 다음과 같습니다.

• SVM : 가장 가까운 지원 벡터 사이의 마진을 최대화하려고
• LR : 사후 클래스 확률 최대화

SVM과 LR의 선형 피처 공간을 고려해 봅시다.

내가 이미 알고있는 몇 가지 차이점 :

1. SVM은 결정적이지만 LR은 확률 론적이지만 확률 점수에 Platts 모델을 사용할 수 있습니다.
2. 커널 공간의 경우 SVM이 더 빠릅니다 (저장소는 벡터 만 지원합니다)

선형 SVM과 로지스틱 회귀는 일반적으로 실제로 비슷한 성능을 발휘합니다. 데이터를 선형으로 분리 할 수 ​​없다고 생각하거나 LR이 일반적으로 허용하는 것보다 이상치에 더 견고해야하는 경우 비선형 커널과 함께 SVM을 사용하십시오. 그렇지 않으면 로지스틱 회귀 분석을 먼저 시도하고 더 간단한 모델을 사용하는 방법을 확인하십시오. 로지스틱 회귀 분석이 실패하면 RBF와 같은 비선형 커널로 ​​SVM을 사용해보십시오.

편집하다:

좋아, 목적 함수의 출처에 대해 이야기 해 보자.

로지스틱 회귀는 일반 선형 회귀에서 비롯됩니다. 이 컨텍스트에서 로지스틱 회귀 목표 함수에 대한 자세한 설명은 여기에서 찾을 수 있습니다. https://stats.stackexchange.com/a/29326/8451

Support Vector Machines 알고리즘은 훨씬 더 기하학적으로 동기가 부여 됩니다. 우리는 확률 모델을 가정하는 대신, 지원 벡터와 관련하여 "최적"을 정의하는 특정 최적 분리 초평면을 찾으려고 노력하고 있습니다. 선형 사례가 유사한 결과를 제공 할지라도 여기에서 로지스틱 회귀 분석에 사용하는 통계 모델과 유사한 것은 없습니다. 실제로 이것은 로지스틱 회귀가 "와이드 마진"분류기를 생성하는 데 매우 효과적이라는 것을 의미합니다. 모든 SVM이 수행하려고합니다 (특히, SVM은 클래스 간 마진을 최대화하려고합니다).

나는 나중에 이것으로 돌아와 잡초에 조금 더 깊이 들어 가려고 노력할 것입니다.

이미지는 SVM과 로지스틱 회귀의 차이점과 사용 방법을 나타냅니다.

이 그림은 Andrew NG의 "기계 학습"코스 과정에서 나옵니다. 7 주차 : "지원 벡터 머신-SVM 사용"의 끝에서 찾을 수 있습니다.

• LR은 결정에 대한 신뢰로 해석 될 수있는 보정 된 확률을 제공합니다.
• LR은 우리에게 제한되지 않고 매끄러운 목표를 제공합니다.
• LR은 베이지안 모델 내에서 (직접적으로) 사용될 수 있습니다.
• SVM은 충분한 확신을 가지고 올바른 결정을 내린 사례를 처벌하지 않습니다. 이것은 일반화에 좋습니다.
• SVM은 멋진 이중 형식으로 커널 트릭을 사용할 때 스파 스 솔루션을 제공합니다 (확장 성 향상).

확인 로지스틱 회귀, 토론토 CSC2515 대학 대 서포트 벡터 머신 케빈 Swersky으로합니다.