로지스틱 회귀와 서포트 벡터 머신의 차이점은 무엇입니까?


14

로지스틱 회귀 분석에서 훈련 샘플을 분리하는 초평면을 찾습니다. 또한 Support 벡터 머신은 최대 마진을 가진 하이퍼 플레인을 찾습니다.

내 질문 : 로지스틱 회귀 (LR)와 서포트 벡터 머신 (SVM)의 차이점은 LR이 훈련 샘플을 분리하는 하이퍼 플레인을 찾는 반면 SVM은 최대 마진을 가진 하이퍼 플레인을 찾는 것입니까? 아니면 내가 틀렸어?

참고 : 때 LR 에서 로지스틱 함수는 0.5를 나타 냅니다. 0.5 를 분류 임계 값으로 가정하면 θ x = 0 은 초평면 또는 결정 경계입니다.θx=00.50.5θ엑스=0


답변:


8

하드 SVM에 대해 이야기하고 두 클래스를 선형으로 분리 할 수 ​​있다면 옳습니다. LR은 두 클래스를 분리하는 솔루션을 찾습니다. Hard SVM은 최대 마진을 가진 가능한 모든 솔루션 중에서 "the"솔루션을 찾습니다.

소프트 SVM과 클래스를 선형으로 분리 할 수없는 경우에도 약간의 수정이 필요합니다. 오류는 0이 될 수 없습니다. LR은 일부 오류 최소화에 해당하는 초평면을 찾습니다. Soft SVM은 오류 (다른 오류)를 최소화하려고 시도하는 동시에 정규화 매개 변수를 통해 해당 오류를 여백과 상쇄합니다.

이 둘의 한 가지 차이점 : SVM은 하드 분류기이지만 LR은 확률 론적입니다. SVM이 희박합니다. 두 클래스간에 가장 차별화 된 지원 벡터 (훈련 샘플에서)를 선택합니다. 테스트 시간보다 다른 교육 포인트를 유지하지 않기 때문에 두 클래스의 분포에 대해 전혀 알지 못합니다.

I는 두 종류의 직선 박리시 나누기 (IRLS 사용) 방법 LR 솔루션을 설명하고 인 정지 왜 이러한 경우에서 확률 분류 가지고 /stats//a/133292/66491


3
로지스틱 회귀는 어떤 종류의 최소 제곱을 최적화합니까? LR은 교차 엔트로피 를 손실로 사용합니다.
Artem Sobolev

1
로지스틱 회귀 분석에서는 최소 제곱을 의미하지 않는 IRLS를 사용하기 때문에 IRLS의 가중치 재조정은 매개 변수의 현재 추정치의 함수이므로 실제 함수는 최소 제곱과 매우 다르게 최적화됩니다.
Glen_b-복지 주 모니카

요약하면, SVM은 LR의 개선 된 변형으로, 최대 마진이있는 초평면을 찾은 반면 LR은 (일종의 말하기 무작위?) 초평면을 찾기 때문입니다. 이 요약에 동의하십니까?
LandonZeKepitelOfGreytBritn
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.