SVM은 어떻게 템플릿 일치합니까?

SVM에 대해 읽고 최적화 문제를 해결하고 있으며 최대 마진 아이디어가 매우 합리적이라는 것을 알게되었습니다.

이제 커널을 사용하면 비선형 분리 경계까지도 찾을 수 있습니다.

지금까지 SVM (특수 커널 머신)과 커널 머신이 신경망과 어떤 관련이 있는지 전혀 모른다.

Yann Lecun => 의 의견을 고려 하십시오 .

kernel methods were a form of glorified template matching

그리고 여기도 :

예를 들어, 어떤 사람들은 그에 수반되는 귀여운 수학 때문에 커널 방법에 현혹되었습니다. 그러나, 과거에 말했듯이, 커널 시스템은 결국 "유명한 템플릿 매칭"을 수행하는 얕은 네트워크입니다. 그것에 아무런 문제가 없습니다 (SVM은 훌륭한 방법입니다). 그러나 우리 모두가 알아야 할 심각한 한계가 있습니다.

그래서 내 질문은 :

1. SVM은 신경망과 어떤 관련이 있습니까? 얕은 네트워크는 어떻습니까?
2. SVM은 잘 정의 된 목적 함수로 템플릿 문제를 어떻게 해결합니까? 입력과 일치하는 템플릿은 무엇입니까?

이러한 의견은 고차원 공간, 신경망 및 커널 시스템에 대한 철저한 이해가 필요하지만 지금까지 시도해 왔으며 그 뒤에있는 논리를 파악할 수 없었습니다. 그러나 매우 다른 두 ml 기술 사이의 연결을 주목하는 것은 확실히 흥미 롭습니다.

편집 : 신경 관점에서 SVM을 이해하는 것이 좋습니다. 커널 트릭을 사용하는 선형 SVM과 SVM의 경우 SVM과 신경망 간의 연결을 실제로 이해하기 위해 위의 두 가지 질문에 대한 철저한 수학 기반 답변을 찾고 있습니다.

1. SVM은 신경망과 어떤 관련이 있습니까? 얕은 네트워크는 어떻습니까?

SVM은 손실 함수로서의 힌지 손실과 독점적으로 선형 활성화되는 단일 계층 신경망입니다. 이 개념은 다음과 같은 이전 스레드에서 암시되었습니다. RelU 활성화가 SVM과 동일한 단일 계층 NeuralNetwork?

2. SVM은 잘 정의 된 목적 함수로 템플릿 문제를 어떻게 해결합니까? 입력과 일치하는 템플릿은 무엇입니까?

그램 매트릭스 (원하는 경우 커널 매트릭스)는 유사성의 척도입니다. SVM에서 스파 스 솔루션을 사용할 수 있으므로 예측은 샘플을 템플릿, 즉 지원 벡터와 비교하는 문제가됩니다.