SVM 알고리즘의 기본 통계 모델은 무엇입니까?

모델 기반 접근 방식을 사용하여 데이터를 처리 할 때 첫 번째 단계는 데이터 모델을 통계 모델로 모델링하는 것입니다. 다음 단계는이 통계 모델을 기반으로 효율적 / 빠른 추론 / 학습 알고리즘을 개발하는 것입니다. 그래서 어떤 통계 모델이 SVM (Support Vector Machine) 알고리즘 뒤에 있는지 묻고 싶습니까?

손실 함수에 해당하는 모델을 작성하는 경우가 많습니다 (여기서는 SVM 분류가 아닌 SVM 회귀에 대해 설명하겠습니다. 특히 간단합니다).

예를 들어, 선형 모형에서 손실 함수가 $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$ 경우 입니다. (여기에는 선형 커널이 있습니다)$f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

올바르게 기억하면 SVM 회귀에는 다음과 같은 손실 기능이 있습니다.

그것은 지수 꼬리가있는 중간에서 균일 한 밀도에 해당합니다 (음수 또는 음수의 배수를 지수화하여 알 수 있음).

여기에는 3 개의 매개 변수 군이 있습니다 : 코너 위치 (상대 무감도 임계 값)와 위치 및 스케일.

흥미로운 밀도입니다. 수십 년 전에 특정 분포를 살펴본 것을 기억하면 위치에 대한 좋은 추정량은 모서리가있는 위치에 해당하는 대칭 적으로 배치 된 2 개의 평균값입니다 (예 : 중간 힌지 가 특정 MLE에 대한 근사값을 제공함) SVM 손실에서 상수의 선택); 척도 모수에 대한 유사한 추정값은 그 차이를 기반으로하는 반면, 세 번째 모수는 기본적으로 모서리가 어느 백분위 수인지를 계산하는 데 해당합니다 (SVM에 대해 자주 추정되는 것보다 선택 될 수 있음).

따라서 SVM 회귀 분석의 경우 추정치를 최대 가능성으로 선택하는 경우에는 매우 간단 해 보입니다.

(당신이 묻는다면 ... 나는 SVM과 의이 특별한 연결에 대한 언급이 없습니다 : 나는 지금 그것을 해결했습니다. 그러나 너무 간단하지만 수십 명의 사람들이 나보다 먼저 그것을 해결했을 것입니다. 그것에 대한 참조가 있습니다-나는 본 적이 없습니다.)

누군가가 이미 당신의 문자 질문에 대답했다고 생각하지만 잠재적 혼란을 없애 드리겠습니다.

귀하의 질문은 다음과 다소 유사합니다.

$f(x) = \ldots$

다시 말해서, 그것은 확실히 유효한 답을 가지고 있지만 (정규 제약 조건을 부과한다면 아마도 독특한 답일 수도 있지만), 그 기능을 처음으로 일으킨 미분 방정식이 아니기 때문에 물어 보는 것은 다소 이상한 질문입니다.
반면에 미분 방정식이 주어지면 해 를 구하는 것이 당연합니다.

이유는 다음과 같습니다 . 데이터에서 공동 및 조건부 확률 추정을 기반으로 확률 / 통계 모델, 특히 생성 및 차별 모델을 생각한다고 생각합니다 .

SVM도 마찬가지입니다. 완전히 다른 종류의 모델입니다. 모델을 무시하고 최종 결정 경계를 직접 모델링하려고 시도하면 확률이 저하됩니다.

의사 결정 경계의 형태를 찾는 것에 관한 것이기 때문에 그 직관은 확률 론적이거나 통계적인 것이 아니라 기하학적 (또는 최적화 기반이라고 말해야 함)입니다.

확률은 정말 어디 길을 따라 고려되지 않은 점을 감안, 다음, 그것은 해당하는 확률 모델이 될 수 있는지 물어 오히려 이상한, 그리고 전체 목표는 것이 었습니다, 특히 때문에 피할 확률에 대해 걱정할 필요. 그러므로 왜 사람들이 그들에 대해 이야기하는 것을 보지 못합니까?