신경망의 신뢰도 예측

분류 또는 회귀를 수행하기 위해 심층 신경망을 훈련시키고 싶지만 예측이 얼마나 자신감이 있는지 알고 싶습니다. 어떻게하면 되나요?

내 생각은 위의 신경계에서의 예측 성능을 기반으로 모든 훈련 기준에 대한 교차 엔트로피를 계산하는 것입니다. 그런 다음 회귀를 위해 두 번째 신경망을 훈련시켜 각 데이텀을 입력으로 사용하고 교차 엔트로피를 출력 (한 출력 노드)으로 만듭니다. 그런 다음 두 네트워크를 실제로 사용합니다. 하나는 레이블 / 값 예측 용이고 다른 하나는 첫 번째 네트워크의 신뢰도 예측 용입니다. (하지만 ...하지만 두 번째 네트워크의 신뢰도를 예측하려면 세 번째 네트워크가 필요합니다.

이것이 유효한 생각입니까? 또한, 일반적으로 사용되는 표준 아이디어입니까? 그렇지 않다면 무엇을 제안 하시겠습니까?

아마도 나는 그 질문을 오해하고 있지만 분류를 위해 표준 방법은 각 N클래스 에 대해 출력 뉴런을 갖는 것 같습니다 .

그런 다음 출력 값 의 N벡터는 [0, 1]각 클래스에 속하는 입력의 확률을 나타내므로 원하는 "신뢰도"로 해석 할 수 있습니다.

NN 예측 신뢰도 추정에 관심이있는 사람들은 Dropout을 베이지안 근사 : 딥 러닝의 모델 불확실성을 나타냅니다 (Gal et al., 2016) . 간단히 설명하면, 드롭 아웃이 수행되는 런 모집단에 대한 드롭 아웃이있는 네트워크 예측의 분산이 예측 신뢰도를 추정하는 데 어떻게 사용될 수 있는지 보여줍니다. 이 접근법은 분류 또는 회귀를 위해 설계된 네트워크에 사용될 수 있습니다.