CNN의 안면 / 비안면 탐지에서 이진 탐지에 어떤 손실 기능을 사용해야합니까?


답변:


9

힌지 손실 및 교차 엔트로피는 일반적으로 유사한 결과를 갖는 것으로 밝혀졌다. 다른 손실 함수를 비교하는 또 다른 게시물 이 있습니다 . 분류에서 다른 손실 함수를 선택하면 0-1 손실을 대략적으로 계산하는 효과는 무엇입니까?

맞습니까?하지만 softmax를 사용해야하지만 클래스가 두 개인 지 궁금합니다.

Softmax는 손실이 아니라 정규화 함수이며 종종 크로스 엔트로피 손실과 함께 사용되며 이는 본질적으로와 같습니다 SigmoidCrossEntropyLoss. 출력 레이어의 교차 엔트로피 또는 로그 우도 참조


7

일반적으로 클래스 집합 중 샘플이 하나의 클래스에만 속할 수있는 문제가있는 경우 마지막 계층을 소프트 최대 계층으로 설정합니다. 출력을 확률로 해석 할 수 있습니다. 소프트-맥스 레이어를 사용하는 경우, 크로스 엔트로피의 로그 항이 소프트-맥스 함수에 존재하는 고원을 상쇄하여 학습 프로세스 속도를 높이기 때문에 교차 엔트로피는 일반적으로 매우 잘 작동합니다. S 자형 함수 에서 부터 ).0

귀하의 경우 이진 분류 작업이 있으므로 출력 레이어는 표준 시그 모이 드가 될 수 있습니다 (여기서 출력은 테스트 샘플이 얼굴 일 확률을 나타냄). 사용하는 손실은 이진 교차 엔트로피입니다. 이 설정을 사용하면 심층 신경망의 마지막 계층에서 로지스틱 회귀가 발생한다고 상상할 수 있습니다.

여기 몇 가지 링크가 있습니다. 그들이 도움을 바랍니다.
https://en.wikipedia.org/wiki/Cross_entropy#Cross-entropy_error_function_and_logistic_regression
http://neuralnetworksanddeeplearning.com/chap3.html
https://www.quora.com/How-do-you-decide-which-loss- 기계 학습을위한 기능


DNN의 마지막 계층에서 로지스틱 회귀에 대해 설명해 주시겠습니까? 게시물을 읽었지만 실제로 sigmoid마지막 레이어 활성화와 같은 유용성을 볼 수는 없습니다 . 감사합니다
bit_scientist

2

2 개의 클래스 "Face"와 "Not Face"만으로 softmax를 확실히 사용할 수 있고 softmax 출력을 신뢰도 점수로 해석 할 수 있습니다.

2 클래스 softmax와 이진 힌지 손실을 모두 시도하십시오. 최근에는 컨 버넷 위에 softmax 분류기 대신 SVM을 사용하는 Linear Support Vector Machines사용한 딥 러닝 논문 이 있으며 유망한 결과가 있습니다.


2

일반적으로 대수 손실이 선호되는 선택이며 단일 출력 장치와 함께 사용됩니다. 대수 손실은 2 개의 클래스에서만 작동하는 특수한 경우이기 때문에 이진 교차 엔트로피라고도합니다.


첫 번째 링크를 업데이트해야합니다.
nbro

0

이론적으로, 2 클래스의 소프트 맥스는 시그 모이 드로 다시 작성 될 수 있으므로 두 결과간에 차이가 없어야합니다. 실제로 @dontloo가 언급했듯이 출력 레이어의 매개 변수 수는 두 배가되며 (과도한 문제가 발생할 수 있는지 확실하지 않음) 물론 두 클래스 (Face 및 Non_Face)에 대해 2 점을 얻습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.