딥 러닝을 사용하여 얼굴 / 비 얼굴 이진 감지를 훈련하고 싶습니다. 어떤 손실을 사용해야합니까? SigmoidCrossEntropyLoss 또는 Hinge-loss 라고 생각합니다 .
맞습니까?하지만 softmax를 사용해야하지만 클래스가 두 개인 지 궁금합니다.
딥 러닝을 사용하여 얼굴 / 비 얼굴 이진 감지를 훈련하고 싶습니다. 어떤 손실을 사용해야합니까? SigmoidCrossEntropyLoss 또는 Hinge-loss 라고 생각합니다 .
맞습니까?하지만 softmax를 사용해야하지만 클래스가 두 개인 지 궁금합니다.
답변:
힌지 손실 및 교차 엔트로피는 일반적으로 유사한 결과를 갖는 것으로 밝혀졌다. 다른 손실 함수를 비교하는 또 다른 게시물 이 있습니다 . 분류에서 다른 손실 함수를 선택하면 0-1 손실을 대략적으로 계산하는 효과는 무엇입니까?
맞습니까?하지만 softmax를 사용해야하지만 클래스가 두 개인 지 궁금합니다.
Softmax는 손실이 아니라 정규화 함수이며 종종 크로스 엔트로피 손실과 함께 사용되며 이는 본질적으로와 같습니다 SigmoidCrossEntropyLoss
. 출력 레이어의 교차 엔트로피 또는 로그 우도 참조
일반적으로 클래스 집합 중 샘플이 하나의 클래스에만 속할 수있는 문제가있는 경우 마지막 계층을 소프트 최대 계층으로 설정합니다. 출력을 확률로 해석 할 수 있습니다. 소프트-맥스 레이어를 사용하는 경우, 크로스 엔트로피의 로그 항이 소프트-맥스 함수에 존재하는 고원을 상쇄하여 학습 프로세스 속도를 높이기 때문에 교차 엔트로피는 일반적으로 매우 잘 작동합니다. S 자형 함수 에서 부터 ).
귀하의 경우 이진 분류 작업이 있으므로 출력 레이어는 표준 시그 모이 드가 될 수 있습니다 (여기서 출력은 테스트 샘플이 얼굴 일 확률을 나타냄). 사용하는 손실은 이진 교차 엔트로피입니다. 이 설정을 사용하면 심층 신경망의 마지막 계층에서 로지스틱 회귀가 발생한다고 상상할 수 있습니다.
여기 몇 가지 링크가 있습니다. 그들이 도움을 바랍니다.
https://en.wikipedia.org/wiki/Cross_entropy#Cross-entropy_error_function_and_logistic_regression
http://neuralnetworksanddeeplearning.com/chap3.html
https://www.quora.com/How-do-you-decide-which-loss- 기계 학습을위한 기능
2 개의 클래스 "Face"와 "Not Face"만으로 softmax를 확실히 사용할 수 있고 softmax 출력을 신뢰도 점수로 해석 할 수 있습니다.
2 클래스 softmax와 이진 힌지 손실을 모두 시도하십시오. 최근에는 딥 컨 버넷 위에 softmax 분류기 대신 SVM을 사용하는 Linear Support Vector Machines 를 사용한 딥 러닝 논문 이 있으며 유망한 결과가 있습니다.
sigmoid
마지막 레이어 활성화와 같은 유용성을 볼 수는 없습니다 . 감사합니다