logloss vs gini / auc

두 가지 모델 (h2o AutoML을 사용하는 이진 분류기)을 훈련했으며 사용할 모델을 선택하려고합니다. 다음과 같은 결과가 있습니다.

 model_id        auc     logloss    logloss_train   logloss_valid   gini_train  gini_valid

DL_grid_1   0.542694    0.287469         0.092717        0.211956     0.872932    0.312975
DL_grid_2   0.543685    0.251431         0.082616        0.186196     0.900955    0.312662

auc과 logloss열이 교차 유효성 검사 측정 항목 (교차 검증은 훈련 데이터를 사용). ..._train및 ..._valid메트릭은 각각 모델을 통해 교육 및 검증 측정을 실행하여 발견된다. 나는 중 하나를 사용하려면 logloss_valid또는를 gini_valid상기 최적의 모델을 선택 할 수 있습니다.

모델 1은 더 나은 gini (즉, 더 나은 AUC)를 갖지만 모델 2는 더 나은 logloss를 갖습니다. 내 질문은 어떤 것을 선택해야하는지 생각하고, gini (AUC) 또는 logloss를 의사 결정 지표로 사용하는 것의 장점 / 단점은 무엇입니까?

다양한 결정 임계 값을 갖는 이진 분류와 관련하여 AUC가 계산되는 반면, logloss는 실제로 분류의 "확실성"을 고려합니다.

따라서 이해하기 위해 logloss는 개념적으로 AUC를 넘어서고 불균형 한 데이터가 있거나 불균등하게 분산 된 오류 비용 (예 : 치명적인 질병의 탐지)의 경우에 특히 관련이 있습니다.

이 기본적인 답변 외에도 이진 분류 문제에서 auc 대 logloss 를 최적화 하는 방법을 원할 수 있습니다.

logloss 계산과 기본 개념에 대한 간단한 예는 최근 질문 scikit-learn의 Log Loss 함수에서 다른 값을 반환합니다.

또한, stackoverflow 에서 매우 좋은 지적이 이루어졌습니다

AUC ROC와 정확도 / 정밀도 등과 같은 "포인트 단위"메트릭 간의 중요한 차이점을 이해해야합니다. ROC는 임계 값의 함수입니다. 각 클래스에 속할 확률을 출력하는 모델 (분류 자)이 주어지면 일반적으로 가장 높은 지원을 가진 클래스로 요소를 분류합니다. 그러나 때때로이 규칙을 변경하고 하나의 지원이 주어진 클래스로 실제로 분류하기 위해 다른 지원보다 2 배 더 커야하는 경우 더 나은 점수를 얻을 수 있습니다. 이것은 종종 불균형 데이터 셋에 해당됩니다. 이렇게하면 실제로 학습에 앞서 학습 한 데이터를 더 잘 수정할 수 있습니다. ROC는 "이 임계 값을 가능한 모든 값으로 변경하면 어떻게되는지"를 검토 한 다음 AUC ROC는 이러한 곡선의 적분을 계산합니다.