샴 신경망에서 역전 파는 어떻게 작동합니까?

나는 서명 인식을 위해 1994 년 Yann LeCun과 그의 동료들에 의해 소개 된 샴 신경망의 아키텍처를 연구하고 있습니다 ( “샴페인 시간 지연 신경망을 사용한 서명 검증”.pdf , NIPS 1994)

이 아키텍처의 일반적인 개념을 이해했지만이 경우 역 전파가 어떻게 작동하는지 이해할 수 없습니다. 신경망의 목표 값이 무엇인지 이해할 수 없으므로 백 전파로 각 뉴런의 가중치를 올바르게 설정할 수 있습니다.

이 아키텍처에서 알고리즘은 두 개의 신경망의 최종 표현 사이의 코사인 유사성을 계산합니다. 논문은 다음과 같이 말합니다. "및 서명 중 하나가 위조 인 경우 큰 각도"

역 전파를 실행하기 위해 이진 함수 (두 벡터 간의 코사인 유사성)를 대상으로 사용하는 방법을 실제로 이해할 수 없습니다.

샴 신경망에서 역전 파는 어떻게 계산됩니까?

두 네트워크 모두 유사한 아키텍처를 공유하지만 섹션 4 [1]에서 설명한 출판물과 동일한 가중치를 갖도록 제한됩니다.

그들의 목표는 서명이 진짜 일 때 출력 벡터 사이의 코사인 유사성을 최소화하고 위조 될 때 최대화하는 기능을 배우는 것입니다 (이것은 백프로 프 목표이지만 실제 손실 함수는 제시되지 않습니다).

$\cos(A,B) = {A \cdot B \over \|A\| \|B\|}$$A, B$

출력 레이어를 변경해서는 안되며, 선형 값과 입력의 상위 수준 추상화가있는 훈련 된 뉴런으로 구성됩니다. 전체 네트워크는 함께 훈련되어야합니다. 두 출력 과 는 코사인 유사성을 출력 하는 함수를 통해 전달됩니다 유사한 경우 , 그렇지 않은 경우 ). 인 두 개의 입력 튜플 세트 가 있다고 가정하면 훈련해야 할 가장 간단한 손실 함수의 예는 다음과 같습니다.$O_1$$O_2$$cos(O_1,O_2)$$1$$0$$X_{Forged}, X_{Genuine}$

네트워크를 한 후에는 두 출력이 함수로 전달되는 두 개의 서명을 입력 하고 유사성을 확인하면됩니다.$cos(O_1,O_2)$

마지막으로, 네트워크 가중치를 동일하게 유지하기 위해 여러 가지 방법이 있습니다 (그리고 반복 신경 네트워크에서도 사용됨). 일반적인 접근 방식은 그라디언트 하강 업데이트 단계를 수행하기 전에 두 네트워크의 그라디언트를 평균화하는 것입니다.

[1] http://papers.nips.cc/paper/769-signature-verification-using-a-siamese-time-delay-neural-network.pdf