SVM과 힌지 손실의 관계는 무엇입니까?

동료와 저는 로지스틱 회귀와 SVM의 차이점을 둘러보고자 노력하고 있습니다. 분명히 그들은 서로 다른 목적 함수를 최적화하고 있습니다. SVM은 단순히 경첩 손실을 최적화하는 차별적 분류기라고 말하는 것처럼 간단합니까? 아니면 그보다 더 복잡합니까? 서포트 벡터는 어떻게 작동합니까? 여유 변수는 어떻습니까? 왜 SGM을 사용하여 시그 모이 드 활성화 기능을 갖춘 심층 신경망을 가질 수 없습니까?

둘 다 차별적 인 모델입니다. 로지스틱 회귀 손실 함수는 개념적으로 모든 지점의 함수입니다. 올바르게 분류 된 점은 손실 함수에 거의 추가되지 않고 경계에 가까워지면 더 많이 추가됩니다. 따라서 경계 근처의 점이 손실에 더 중요하므로 경계가 얼마나 좋은지 결정합니다.

SVM은 힌지 손실을 사용하여 개념적으로 경계 지점을 강조합니다. 가장 가까운 점보다 멀리있는 것은 함수의 "힌지"(최대)로 인해 손실에 아무런 영향을 미치지 않습니다. 가장 가까운 점은 단순히지지 벡터입니다. 따라서 실제로 가장 가까운 지점까지의 거리 인 가장 큰 여백을 만드는 경계를 선택하는 것으로 줄어 듭니다. 이론은 경계 사건이 일반화에 정말로 중요하다는 것입니다.

단점은 힌지 손실을 차별화 할 수 없지만 Lagrange 승수를 통해 최적화하는 방법을 찾는 데 더 많은 수학이 필요하다는 것입니다. 실제로 데이터를 선형으로 분리 할 수없는 경우는 처리하지 않습니다. 슬랙 변수는 이러한 가능성을 최적화 문제에 명확하게 통합 할 수있는 방법입니다.

"딥 러닝"과 함께 힌지 손실을 사용할 수 있습니다 (예 : http://arxiv.org/pdf/1306.0239.pdf).