커널 로지스틱 회귀 분석 vs SVM

모두에게 알려진 바와 같이, SVM은 커널 방법을 사용하여 더 높은 공간에서 데이터 지점을 투영하여 지점을 선형 공간으로 분리 할 수 있습니다. 그러나 로지스틱 회귀를 사용하여 커널 공간에서이 경계를 선택할 수 있으므로 SVM의 장점은 무엇입니까? SVM은 예측시 지원 벡터 만 기여하는 희소 모델을 사용하므로 예측시 SVM이 더 빨라 집니까?

svm

— 보트 찾기
소스

Hastie의 슬라이드 는 당신이 찾고있는 것입니다

— Yibo Yang

답변:

KLR 및 SVM

분류 성능은 두 경우 모두 거의 동일합니다.
KLR은 클래스 확률을 제공 할 수있는 반면 SVM은 결정적인 분류기입니다.
KLR은 멀티 클래스 분류로 자연스럽게 확장되는 반면 SVM에서는 멀티 클래스 분류로 확장 할 수있는 여러 가지 방법이 있습니다 (그리고 다른 클래스보다 우수한 품질을 가진 버전이 있는지 여부는 여전히 연구 분야입니다).
놀랍거나 놀랍게도 KLR은 SVM이 즐길 수있는 최적의 마진 속성을 가지고 있습니다 (최소한도).

위의 내용을 살펴보면 커널 로지스틱 회귀가 사용하는 것처럼 느껴집니다. 그러나 SVM이 누리는 특정 이점이 있습니다.

$O(N^3)$ $O(N^2k)$ $k$
SVM의 분류기는 지원 벡터 측면에서만 정의되도록 설계되었지만 KLR에서는 분류기는 지원 벡터뿐만 아니라 모든 점에 대해 정의됩니다. 이를 통해 SVM은 KLR에서 달성하기 어려운 일부 자연스럽게 속도를 높일 수 있습니다 (효율적인 코드 작성 측면에서).

— TenaliRaman
소스

+1 계산 복잡성이 문제가 될 경우 훈련 세트 또는 기타 접근법에서 정규화 된 손실을 최소화하기 위해 기본 벡터를 탐욕스럽게 선택하여 희소 커널 로지스틱 회귀 모델을 구성하는 것은 그리 어렵지 않습니다. 예를 들어 "정보 용 벡터 머신"의 문서를 참조하십시오.

— Dikran Marsupial

또한 SVM의 커널 및 정규화 매개 변수를 최적화하는 경우 거의 모든 데이터가 지원 벡터 인 모델이 생깁니다. SVM의 희소성은 행복한 사고이며, 일반적으로 다른 방법으로 더 큰 희소성을 달성 할 수 있기 때문에 기술의 판매 포인트가 아닙니다.

— Dikran Marsupial

@DikranMarsupial 유익한 벡터 머신에 대한 포인터 감사합니다. Sparse KLR의 일부 작업에 대해 알고 있지만 지금까지는 큰 데이터 세트에 적합하지 않다고 생각합니다. libSVM 또는 SVM Light와 같이 사용자에게 친숙한 스파 스 KLR을 구현하면 어느 정도 채택 될 수 있습니다. 그러한 구현이 이미 존재하는 경우 사과, 그러나 나는 어떤 인식하지 오전 (편집 : 나는 대신 "유익한 벡터 머신"의 "가져 오기 벡터 머신"을 의미하는 생각?).

— TenaliRaman

모든 데이터 점을지지 벡터로 끝내면 적합하지 않은 것입니다. 이는 RBF에서 여러 번 발생합니다. 사실, 내가 SVM 사용자로서 배운 기본 사항 중 하나는 먼저 지원 벡터로 선택된 점의 비율을 확인하는 것입니다. 데이터의 30 % 이상인 경우 해당 모델을 완전히 거부합니다.

— TenaliRaman 10

SV가되는 모든 데이터 요소가 과적 합을 의미하는 것은 올바르지 않습니다. C의 값이 작 으면 슬랙 변수에 페널티가 거의 없으며 매우 엄격한 분류기 (훈련 세트에서 많은 오류를 발생)를 가질 수 있으며 여백은 너무 넓어 모든 데이터가 지원 벡터입니다. 스파 스가 아닌 모델을 거부하는 것은 일반적으로 최고의 일반화 성능을 가진 SVM이 스파 스가 아니기 때문에 좋은 규칙이 아닙니다. SV의 수는 leave-one-out 오류의 상한이지만, 실제로는 실제로 매우 손실 된 경계입니다!

— Dikran Marsupial

다음은이 문제에 대한 설명입니다.

SVM은 분류를 수행하는 매우 우아한 방법입니다. 좋은 이론과 아름다운 수학이 있고, 일반화가 잘되어 있고, 너무 느리지도 않습니다. 그래도 회귀에 사용하려고하면 지저분 해집니다.

다음 은 SVM 회귀에 대한 리소스 입니다. 비틀기위한 추가 매개 변수와 최적화 알고리즘에 대한 심도있는 논의에 주목하십시오.

가우시안 프로세스 회귀 분석은 동일한 커널 수학을 많이 가지고 있으며 회귀 분석에 효과적입니다. 다시 말하지만, 매우 우아하며 너무 느리지 않습니다. 분류에 사용하려고하면 꽤 기분이 좋아지기 시작합니다.

다음 은 GP 책의 회귀에 관한 장 입니다.
여기 장 비교 분류에가. 복잡한 근사 또는 반복적 인 방법으로 끝납니다.

그러나 GP를 분류에 사용하는 한 가지 좋은 점은 단순한 예 / 아니오 분류가 아니라 예측 분포를 제공한다는 것입니다.

— 스 ump 피 조 피트
소스

+1 GPs는 KLR에 대한 좋은 대안입니다 (KLR은 종종 모델 기반이 잘못 지정된 경우 증거 기반 모델 선택이 매우 쉽게 잘못 될 수 있기 때문에 더 나은 성능을 제공하지만) 및 교차 검증이 종종 바람직합니다.

— Dikran Marsupial

http://www.stanford.edu/~hastie/Papers/svmtalk.pdf 를 방문 하십시오

몇 가지 결론 : 분류 성능은 매우 비슷합니다. 최적의 여백 속성을 제한합니다. 클래스 확률의 추정치를 제공합니다. 이들은 종종 분류보다 더 유용합니다. 커널 다중 로짓 회귀를 통해 M 클래스 분류로 자연스럽게 일반화합니다.

— 수키 스타
소스