둘 이상의 분류 모델을 비교하는 데 사용되는 일반적인 방법 중 하나는 ROC 곡선 (AUC) 아래 면적을 성능을 간접적으로 평가하는 방법으로 사용하는 것입니다. 이 경우 AUC가 큰 모델은 일반적으로 AUC가 작은 모델보다 성능이 우수한 것으로 해석됩니다. 그러나 Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ )에 따르면 두 곡선이 서로 교차하면 이러한 비교는 더 이상 유효하지 않습니다. 왜 그래야만하지?
예를 들어 ROC 곡선과 AUC를 기반으로 모델 A, B 및 C에 대해 확인할 수있는 것은 무엇입니까?
답변:
ROC의 곡선은 시각화 TPR 과 FPR을 모든 가능한을위한 임계 값 .
두 개의 ROC 곡선 'A' 와 'B' 를 플로팅 하고 서로 교차하지 않으면 가능한 모든 FPR 값에 대해 더 높은 TPR을 얻으므로 분류기 중 하나가 분명히 더 잘 수행됩니다. ROC 아래의 영역도 더 커질 것입니다.
이제 서로 교차 하면 FPR과 TPR이 곡선 'A' 와 'B'에 대해 동일한 점이 있습니다. 하나의 ROC 곡선이 더 나은 성능이라고 말할 수는 없습니다. 이제 원하는 트레이드 오프에 따라 달라집니다. 당신이 하시겠습니까 높은 정밀 / 낮은 리콜 또는 낮은 정밀 / 고 리콜 ?
예 : 하나의 분류 기가 FPR 0.2에서 훨씬 더 잘 수행하지만 높은 회수율 에 도달하는 것이 중요 하다면 관심없는 임계 값에서 잘 수행됩니다.
그래프의 ROC 곡선 정보 : 달성하고자하는 것을 알지 않고도 'A'가 훨씬 더 잘 수행 된다는 것을 쉽게 알 수 있습니다 . 보라색 곡선이 다른 곡선을지나 자마자 다시 교차합니다. 당신은 대부분의 아마에 관심이없는 작은 부분 , 'B' 와 'C'가 수행 slighty를 더 나은 .
다음 그래프에는 서로 교차하는 두 개의 ROC 곡선이 있습니다. 여기서 서로 보완 할 때 어떤 것이 더 좋은지 알 수 없습니다 .
하루가 끝나면 분류에 대한 하나의 임계 값 을 선택 하는 데 관심이 있으며 AUC 는 모델 의 전반적인 성능 추정치 만 제공합니다 .