높은 손실 값에도 불구하고 우수한 정확도

간단한 신경망 이진 분류기를 훈련하는 동안 교차 엔트로피를 사용하여 높은 손실 값을 얻습니다. 그럼에도 불구하고 검증 세트에 대한 정확성의 가치는 상당히 우수합니다. 의미가 있습니까? 손실과 정확도 사이에 엄격한 상관 관계가 없습니까?

나는 0.4011-acc : 0.8224-val_loss : 0.4577-val_acc : 0.7826 값을 훈련하고 검증 했습니다 . 이것은 NN을 구현하려는 첫 번째 시도이며 방금 기계 학습에 접근했기 때문에 이러한 결과를 올바르게 평가할 수 없습니다.

비슷한 문제가 발생했습니다.

교차 엔트로피 손실로 신경 네트워크 이진 분류기를 훈련했습니다. 여기에서 에포크의 함수로서의 크로스 엔트로피의 결과. 빨간색은 훈련 세트 용이고 파란색은 테스트 세트 용입니다.

정확도를 보여줌으로써 테스트 세트에서도 epoch 50에 비해 epoch 1000의 정확도가 향상되었습니다.

교차 엔트로피와 정확성 간의 관계를 이해하기 위해 간단한 회귀 모델 인 로지스틱 회귀 분석 (입력 및 출력 하나)을 살펴 보았습니다. 다음에서는 3 가지 특별한 경우에이 관계를 설명합니다.

일반적으로 교차 엔트로피가 최소 인 매개 변수는 정확도가 최대 인 매개 변수가 아닙니다. 그러나 우리는 교차 엔트로피와 정확도 사이의 관계를 기대할 수 있습니다.

[다음에서는 교차 엔트로피가 무엇인지 알고 있다고 가정합니다. 왜 우리는 모델을 훈련시키기 위해 정확성 대신에 그것을 사용 하는가 등입니다. 그렇지 않은 경우 먼저 다음을 읽으십시오 . 교차 엔트로피 점수를 어떻게 해석합니까? ]

예시 1 이것은 교차 엔트로피가 최소 인 매개 변수가 정확도가 최대 인 매개 변수가 아니라는 이유를 보여주기위한 것입니다.

다음은 샘플 데이터입니다. 나는 5 점을 가지고 있으며, 예를 들어 입력 -1은 출력 0을 초래합니다.

교차 엔트로피. 교차 엔트로피를 최소화 한 후 0.6의 정확도를 얻습니다. 0과 1 사이의 절단은 x = 0.52에서 수행됩니다. 5 개의 값에 대해, 각각 0.14, 0.30, 1.07, 0.97, 0.43의 교차 엔트로피를 얻는다.

정확성. 그리드의 정확도를 극대화 한 후 0.8로 이어지는 많은 다른 매개 변수를 얻습니다. 컷 x = -0.1을 선택하여 직접 표시 할 수 있습니다. x = 0.95를 선택하여 세트를자를 수도 있습니다.

첫 번째 경우, 교차 엔트로피가 큽니다. 실제로, 네 번째 점은 컷에서 멀리 떨어져 있으므로 큰 크로스 엔트로피를 갖습니다. 즉, 각각 0.01, 0.31, 0.47, 5.01, 0.004의 교차 엔트로피를 얻는다.

두 번째 경우에는 교차 엔트로피도 크다. 이 경우 세 번째 점은 컷에서 멀리 떨어져 있으므로 큰 크로스 엔트로피를 갖습니다. 5e-5, 2e-3, 4.81, 0.6, 0.6의 교차 엔트로피를 각각 얻습니다.

$a$$a$$b$

$n=100$$a=0.3$$b=0.5$

$b$$b$$a$

$a$

$a=0.3$

$n=10000$$a=1$$b=0$

모델에 충분한 용량이 있고 (실제 모델을 포함하기에 충분할 경우) 데이터가 크면 (예 : 표본 크기가 무한대로 진행되는 경우) 최소한 로지스틱 모델의 경우 정확도가 최대 일 때 교차 엔트로피가 최소가 될 수 있다고 생각합니다. . 나는 이것에 대한 증거가 없다. 누군가가 참조를 가지고 있다면 공유하십시오.

참고 문헌 : 교차 엔트로피와 정확성을 연결하는 주제는 흥미롭고 복잡하지만,이 문제를 다루는 기사를 찾을 수 없습니다 ... 부적절한 점수 규칙에도 불구하고 정확성을 연구하려면 누구나 그 의미를 이해할 수 있습니다.

참고 : 먼저이 웹 사이트에서 답을 찾고 싶습니다. 정확도와 교차 엔트로피 간의 관계를 다루는 게시물은 많지만 대답은 거의 없습니다. 비교 가능한 traing 및 테스트 크로스 엔트로피는 매우 다른 정확도를 초래합니다 . 검증 손실은 감소하지만 검증 정확도는 악화됩니다 . 범주 형 교차 엔트로피 손실 함수에 대한 의심 ; 로그 손실을 백분율로 해석 ...

ahstat는 아주 좋은 예를 보여줍니다.

이 그림에서 영감을 얻은 두 가지 이유가 있습니다. 1. 모형이 예측에 필요한 특징을 추출하기에는 너무 단순합니다. 일러스트레이션 1에서이 문제는 다양한 문제이며 100 % 정확도를 얻으려면 하나 이상의 레이어가 필요합니다. 2. 데이터에 노이즈 라벨이 너무 많습니다 (그림 1 및 3 비교).

그림 2는 모델에 너무 많은 L1 / L2 정규화를 추가 할 수없는 이유를 설명합니다.