ReLU 활성화가 SVM과 동일한 단일 계층 NeuralNetwork?

n 개의 입력과 단일 출력 (이진 분류 작업)이있는 간단한 단일 레이어 신경망이 있다고 가정합니다. 출력 노드에서 활성화 함수를 시그 모이 드 함수로 설정하면 결과는 로지스틱 회귀 분류기입니다.

이 시나리오에서 출력 활성화를 ReLU (정류 된 선형 단위)로 변경하면 결과 구조가 SVM과 같거나 비슷합니까?

왜 그렇지 않습니까?

$E = max(1-ty,0)$

네트워크 손실이 SVM과 동일한 형태가 되려면 출력 계층에서 비선형 활성화 기능을 제거하고 힌지 손실을 사용하여 역 전파를 수행하면됩니다.

$E = ln (1 + exp(−ty))$

따라서 손실 함수 측면에서 SVM과 로지스틱 회귀는 매우 가깝지만 SVM은 지원 벡터를 기반으로 훈련 및 추론에 대해 매우 다른 알고리즘을 사용합니다.

Pattern Recognition and Machine Learning 의 섹션 7.1.2에서 SVM과 로지스틱 회귀의 관계에 대한 좋은 토론이 있습니다 .