AUROC 또는 정확도를 기준으로 분류기를 비교 하시겠습니까?

11

이진 분류 문제가 있고 다른 분류자를 실험합니다. 분류자를 비교하고 싶습니다. 어느 것이 AUC 또는 정확도를 더 잘 측정합니까? 그리고 왜?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— 시나
소스

13

올바르게 분류 된 비율은 부적절한 점수 규칙입니다. 즉, 가짜 모델에 의해 최적화됩니다. Brier 점수 또는 일치 확률 (이진 경우 ROC 곡선 아래 영역)이라고하는 2 차 적절한 점수 규칙을 사용합니다 . 임의 포리스트는 SVM보다 더 효과적입니다. $Y$

— 프랭크 하렐
소스

주제를하면

샘플에서

관찰 진 결과이며,

'1'다음 찔레 점수 (내가 기억하는 경우)되는의 예측 확률

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

. 영업 이익은 이진 분류 문제가 따라

알려져을하지만 당신은 어떻게 계산합니까

SVM을 위해?

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

@fcop SVM의 이진 분류 예측을 Platt Scaling ( en.wikipedia.org/wiki/Platt_scaling ) 이라는 확률로 변환하는 방법이 있습니다 . 본질적으로, SVM 분류를 계산하기보다는

(

또는

)로서

여기서,

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$ SVM의 해결책은 이차 프로그래밍 문제 볼록, 플랫 스케일링의 물류 변환 얻어

:

g (y_{i}, x_{i})

$g(y_i,x_i)$

여기서

와

는 Platt 스케일링 알고리즘에 의해 결정된 파라미터입니다.

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

— RobertF

8

AUC와 정확성보다 더 많은 측정 항목을 반드시 조사해야한다고 생각합니다.

정확도 (민감도 및 특이성과 함께)는 매우 단순하지만 치우친 척도로서 절대 예측 결과를 보도록 강요하고 클래스 확률 또는 순위를 주장하기 위해 열리지 않습니다. 또한 정확도가 높더라도 무작위로 95 % 확률로 무작위로 정확 할 확률이 실제로 좋은 모델이 아니기 때문에 모집단을 잘못 해석하도록 유도하는 인구를 고려하지 않습니다.

AUC는 모집단 등급 확률과 무관 한 모형 정확도를 주장하는 데 유용한 지표입니다. 그러나 확률 추정치가 실제로 얼마나 좋은지에 대해서는 아무 것도 알려주지 않습니다. 높은 AUC를 얻을 수는 있지만 여전히 확률 추정치가 매우 치우칩니다. 이 지표는 정확도보다 더 식별하기 쉬우 며 다른 게시물에서 언급 한 Brier 점수와 같은 적절한 점수 규칙과 함께 사용될 때 더 나은 모델을 제공합니다.

본 논문은 매우 이론적하지만 당신은 여기에 더 공식적인 증거를 얻을 수 AUC : 정확도에 비해 통계적으로 일관되고 더 구분 안 측정

그러나 유용한 측정 항목이 많이 있습니다. 이진 클래스 확률 추정 및 분류를위한 손실 함수 : 구조 및 응용 프로그램 은 Brier 점수와 같은 적절한 점수 규칙을 조사하는 좋은 논문입니다.

모델 성능 주장에 대한 측정 항목이 포함 된 또 다른 흥미로운 논문은 평가 (정확성, 리콜 및 F 측정에서 ROC까지), 정보 성, 표시 성 및 상관 관계 ( 정보 성 등의 다른 우수한 성능 지표를 채택 함)입니다.

요약하면 모델 성능을 확인하기 위해 AUC / Gini 및 Brier 점수를 보는 것이 좋지만 모델의 목표에 따라 다른 메트릭이 문제에 더 적합 할 수 있습니다.

— 동안
소스

평가 링크 : 정밀성, 리콜 및 F 측정에서 ROC까지, 정보 제공, 표시 및 상관 관계는

— 사라졌습니다

주제를하면 내가 샘플에서 오 전 ∈ { 0 , 1 } 관찰 진 결과이며, f를 나는 '1'다음 찔레 점수 (내가 기억하는 경우)되는의 예측 확률 B =

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

결과 만 제공하고 확률은 제공하지 않는 방법에는 적합하지 않습니다. Niether는 auc이지만 예측 결과의 등급을 알려줍니다. 결과 만 있으면 ROC 공간의 점만 얻을 수 있으므로 곡선 아래 영역이 삼각형이됩니다. 그러나 여전히 숫자를 제공하므로 0-1 손실로 거의 변하지는 않지만 간결함이 있습니다. 결과 만있는 경우 결과가있을 때 설계된 지표 인 Precision, Recall 및 Cohen 's Kappa를 참조하십시오.

— 동안