이진 분류 문제에서 auc 대 logloss 최적화

결과 확률이 매우 낮은 이진 분류 작업을 수행하고 있습니다 (3 %). AUC 또는 로그 손실로 최적화할지 여부를 결정하려고합니다. 내가 아는 한, AUC는 클래스를 구별하는 모델의 능력을 최대화하는 반면, logloss는 실제 확률과 추정 된 확률 사이의 차이를 불이익을줍니다. 내 작업에서 정밀 정확도를 교정하는 것이 매우 중요합니다. 그래서 logloss를 선택하지만 최고의 log-loss 모델이 최고의 AUC / GINI 모델이어야하는지 궁금합니다.

언급했듯이 AUC는 순위 통계 (즉, 스케일 불변)이고 로그 손실은 교정 통계입니다. 동일한 AUC를 가지지 만 예측 된 값을 스케일링하여 다른 모델의 로그 손실을 최소화하지 못하는 모델을 사소하게 구성 할 수 있습니다. 치다:

auc <-  function(prediction, actual) {
  mann_whit <- wilcox.test(prediction~actual)$statistic
  1 - mann_whit / (sum(actual)*as.double(sum(!actual)))
}

log_loss <- function (prediction, actual) {
  -1/length(prediction) * sum(actual * log(prediction) + (1-actual) * log(1-prediction))
}

sampled_data <- function(effect_size, positive_prior = .03, n_obs = 5e3) {
  y <- rbinom(n_obs, size = 1, prob = positive_prior)
  data.frame( y = y,
              x1 =rnorm(n_obs, mean = ifelse(y==1, effect_size, 0)))
}

train_data <- sampled_data(4)
m1 <- glm(y~x1, data = train_data, family = 'binomial')
m2 <- m1
m2$coefficients[2] <- 2 * m2$coefficients[2]

m1_predictions <- predict(m1, newdata = train_data, type= 'response')
m2_predictions <- predict(m2, newdata = train_data, type= 'response')

auc(m1_predictions, train_data$y)
#0.9925867 
auc(m2_predictions, train_data$y)
#0.9925867 

log_loss(m1_predictions, train_data$y)
#0.01985058
log_loss(m2_predictions, train_data$y)
#0.2355433

따라서 AUC를 최대화하는 모델이 최소화 된 로그 손실을 의미한다고 말할 수는 없습니다. 로그 손실을 최소화하는 모델이 최대화 된 AUC에 해당하는지 여부는 컨텍스트에 크게 의존합니다. 클래스 분리 성, 모델 편향 등 실제로는 약한 관계를 고려할 수 있지만 일반적으로 단순히 다른 목표입니다. 클래스 분리 가능성 (예측 변수의 크기)을 증가시키는 다음 예제를 고려하십시오.

for (effect_size in 1:7) {
  results <- dplyr::bind_rows(lapply(1:100, function(trial) {
                                    train_data <- sampled_data(effect_size)
                                    m <- glm(y~x1, data = train_data, family = 'binomial')
                                    predictions <- predict(m, type = 'response')
                                    list(auc = auc(predictions, train_data$y),
                                         log_loss = log_loss(predictions, train_data$y),
                                         effect_size = effect_size)
                                  }))
  plot(results$auc, results$log_loss, main = paste("Effect size =", effect_size))
  readline()
}

불균형 레이블의 경우 정밀 리콜 곡선 아래 영역이 AUC보다 선호됩니다 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4349800/ 또는 python scikit-learn docs )

또한 정확도를 극대화하는 것이 목표라면 "정밀도"를 성능 메트릭으로 사용하여 교차 검증을 수행하여 최상의 모델 (알고리즘 + 하이퍼 파라미터)을 선택할 수 있습니다.