ROC vs 정밀 및 회수 곡선

159

나는 그들 사이의 공식적인 차이점을 알고 있습니다. 내가 알고 싶은 것은 하나를 사용하는 것이 더 관련성이 높은시기입니다.

그들은 주어진 분류 / 탐지 시스템의 성능에 대한 보완적인 통찰력을 항상 제공합니까?
예를 들어 종이로 두 가지를 모두 제공하는 것이 합리적입니까? 하나 대신에?
분류 시스템에 대한 ROC 및 정밀 리콜의 관련 측면을 캡처하는 대안 (더 현대적인) 설명자가 있습니까?

바이너리 및 멀티 클래스 (예 : 일대일) 모두에 대한 인수에 관심이 있습니다.

machine-learning roc precision-recall

이 문서는 단지 문맥에 나타나야합니다 : biostat.wisc.edu/~page/rocpr.pdf

여기에 내 자신의 논문을 언급하기 위해 이것을 "플러그"에 사용할 수 있습니다 ... Leitner (2012) 에서 F-의 고조파 평균으로 "F- 측정 평균 정밀도"(FAP) 메트릭 (65 페이지 참조)을 제안했습니다. 측정 및 평균 정밀도. 즉, 세트 평가 지표와 순위 평가 지표의 조합. 논문에서, 나는 훈련 세트에서 FAP 점수를 최대화하는 것이 무제한의 정보 검색 작업을 제한하기 위해 최선의 컷오프를 식별하는 데 사용될 수 있음을 보여주었습니다 (100의 BioCreative 실행 사용!).

— fnl

다음은 또 다른 좋은 토론 불균형 데이터 세트에서 AUC-ROC 및 PR 곡선은. 그것은 dsimcha가 말한 것과 같은 결론을 가지고 있습니다. 드문 경우에 대해 더 신경을 쓰려면 PR을 사용해야합니다.

— YC

답변:

207

주요 차이점은 ROC 곡선은 기준 확률에 관계없이 동일하지만 PR 곡선은 실제 건초 더미 유형 문제 또는 "긍정적 인"클래스가 음수보다 더 흥미로운 문제에 더 유용 할 수 있다는 것입니다. 수업.

이것을 보여주기 위해, 우선 정밀도, 리콜 및 특이성을 정의하는 아주 좋은 방법으로 시작합시다. "positive"클래스가 1이고 "negative"클래스가 0이라고 가정합니다. 는 실제 클래스 레이블 의 추정치입니다 . 그런 다음 주목할 점은 감도 / 호출 및 특이성입니다 ROC 곡선을 구성하는,는 실제 클래스 레이블에서 조건이 결정됩니다 . 따라서 이 무엇이든 관계없이 동일 합니다. 정밀도는 조건에 따라 결정됩니다 $\hat{Y}$ $Y$

\begin{aligned} 정도 & = 피 (와이 = 1 | \hat{와이} = 1) \\ 회상 = 감광도 & = 피 (\hat{와이} = 1 | 와이 = 1) \\ 특성 & = 피 (\hat{와이} = 0 | 와이 = 0) \end{aligned}

$\begin{aligned} &\text{Precision} &= P(Y = 1 | \hat{Y} = 1) \\ &\text{Recall} = \text{Sensitivity} &= P(\hat{Y} = 1 | Y = 1) \\ &\text{Specificity} &= P(\hat{Y} = 0 | Y = 0) \end{aligned}$

P (Y = 1)

$P(Y = 1)$ 클래스 레이블의 추정치 이므로 다른 기준선 가진 다른 모집단에서 분류자를 시도하면 다양합니다 . 그러나 알려진 배경 확률을 가진 한 인구에 대해서만 관심이 있고 "긍정적 인"클래스가 "부정적인"클래스보다 훨씬 더 흥미 롭다면 실제로 더 유용 할 수 있습니다. (IIRC 정밀도는 문서 검색 필드에서 인기가 있습니다.) 이것은 "나의 분류자가 말했을 때 이것이 실제로 타격을받을 확률은 얼마입니까?"라는 질문에 직접 대답하기 때문입니다.

P (Y = 1)

$P(Y = 1)$

흥미롭게도 베이 즈 정리에 따르면 특이성이 매우 높고 정밀도가 매우 낮은 경우를 동시에 처리 할 수 있습니다. 당신이해야 할 모든 가정 인 제로에 가깝습니다. 실제로 DNA 시퀀스 건초 더미에서 바늘을 검색 할 때이 성능 특성을 가진 여러 분류기를 개발했습니다. $P(Y = 1)$

IMHO는 논문을 작성할 때 대답하고자하는 질문에 답할 수있는 곡선을 제공해야합니다. 귀하의 질문이 " 내 문제의 기본 확률을 고려할 때 분류기의 긍정적 결과가 얼마나 의미가 있습니까?"인 경우 PR 곡선을 사용하십시오. "이 분류 기가 일반적으로 다양한 기준 확률에서 얼마나 잘 수행 될 수 있을까요?"라는 질문이 있다면 ROC 곡선을 사용하십시오.

— 딤차
소스

그것은 환상적인 설명이었습니다!

— Amelio Vazquez-Reina

+1, 정확성, 리콜 및 특이성의 확률 론적 해석에 대한 훌륭한 통찰력.

— Zhubarb

정답입니다! 나는 두 번의 투표를 할 수 있으면 좋겠다.

— London guy

이전 의견에서 이것이 명확하지 않은 경우를 대비하여 :이 대답은 잘못 되었습니다. 특성을 사용하는 ROC 곡선도 마찬가지입니다. 예를 들어 ROC 분석 소개 -내 답변에 설명 된 바와 같이 단점을 암시합니다. "많은 실제 도메인이 많은 부정적인 인스턴스에 의해 지배되므로 ROC 그래프의 맨 왼쪽 성능이 향상됩니다 더 흥미로운."

— fnl

+0.5 @fnl. 명백하게 잘못되지는 않았지만 그 대답에는 질문의 요점이 빠져 있다고 생각합니다. 확률 론적 해석은 매우 환영하지만 핵심 질문과 관련하여 무례합니다. 또한, " 문제의 기본 확률을 고려할 때 분류기의 긍정적 인 결과가 얼마나 의미가 있는가? "라는 질문이 적용 되지 않는 일반적인 현실적인 예 를 생각 해낼 수 없습니다. ROC-AUC 의 " 일반적인 "관점은 너무 애매합니다. (최종 모델을 구성하기 위해 액면가에 사용해서는 안된다는 것은 말할 나위도 없습니다)

— usεr11852

다음은 Davis & Goadrich 의 논문 에서 ROC와 PR 공간의 관계를 설명 하는 결론입니다 . 그들은 처음 두 가지 질문에 대답합니다.

첫째, 모든 데이터 세트에 대해 주어진 알고리즘에 대한 ROC 곡선과 PR 곡선은 동일한 점을 포함합니다. 이 등가는 곡선이 PR 공간에서 지배하는 경우에만 ROC 공간에서 지배한다는 놀라운 이론으로 이어집니다. 둘째, 정리의 결과로 우리는 ROC 공간의 볼록 껍질과 유사한 PR 공간의 존재를 보여줍니다.이를 달성 가능한 PR 곡선이라고합니다. 놀랍게도, 달성 가능한 PR 곡선을 구성 할 때 ROC 공간에서 볼록 껍질에 의해 생략 된 것과 정확히 동일한 지점을 버립니다. 결과적으로 달성 가능한 PR 곡선을 효율적으로 계산할 수 있습니다. [...] 마지막으로, ROC 곡선 아래 영역을 최적화하는 알고리즘이 PR 곡선 아래 영역을 최적화한다고 보장하지는 않습니다.

다시 말해 ROC와 PR은 원칙적으로 결과를 비교하는 데 적합합니다. 그러나 20 번의 히트와 1980 번의 미스 결과의 사례에 대해서는 그림 11과 12에서 볼 수 있듯이 차이가 상당히 심할 수 있음을 보여줍니다.

Davis와 Goadrich의 그림 11과 12

결과 / 곡선 (I)은 20 개의 히트 중 10 개가 상위 10 개 순위에 있고 나머지 10 개의 히트는 처음 1500 개 순위에 고르게 분산 된 결과를 설명합니다. Resut (II)는 20 개의 조회수가 처음 500 개 (2000 개 중) 순위에 균등하게 분산 된 결과를 설명합니다. 따라서 (I)와 같은 결과 "모양"이 바람직한 경우,이 선호도는 PR 공간에서 명확하게 구별되는 반면 두 결과의 AUC ROC는 거의 동일합니다.

— fnl
소스

이 그래프는 설명 된 상황을 반영 (분산)하지 않으며, 이는 적중이 발생할 때마다 (곡선 I의 처음 10 개 이후) ROC 곡선의 단계를 보여줍니다. ROCCH는 Convex Hull과 같이 보일 것입니다. 마찬가지로 PR의 경우, 정밀도는 적중이 발견 될 때마다 노치에 부딪친 다음 정밀도가 0 (0 / 0)-표시된 곡선 II는 각 임계 값 (및 리콜) 레벨의 정밀도가 아닌 최대 정밀도입니다.

— David MW Powers

이것은 실제로 내가 찾은 종이 버전의 그림 7입니다. 용지는 실제로 ROC 곡선을 사용하여 PR 곡선을 보간합니다. 지배 결과는 리콜이 0이 아니라는 가정에 의존하며, 첫 번째 적중이 발견 될 때까지는 그렇지 않으며 정밀도 (용지에 정의 된대로)는 그때까지 공식적으로 정의되지 않습니다 (0/0).

— David MW Powers

그렇습니다. 올바른 불연속 화가 부족한 것이 문제입니다 (많은 횟수의 실행으로 평균을 구한 경우 이와 같은 도표가 발생할 수 있음). 그러나 논문의 결과는 정의되지 않은 문제로 인해 예상했던 것보다 덜 의미가 있으며, 결과를 크기 조정 측면에서 이해했을 때 기대하는 것만 큼 중요하지 않습니다. PR을 사용하지는 않지만 ROC로 확장하거나 PN을 사용하는 경우가 있습니다.

— David MW Powers,

먼저 그림 7 (11 vs 12)의 그래프는 관련이 없습니다. 훈련 된 시스템에 대한 단계별 그래프는 아니지만 (양수 예제는 감소 임계 값을 초과 함) DIFFERENT 시스템의 수가 무한대에 가까워 질 때 한계 평균에 해당합니다. 웹 검색을 위해 두 번째 정밀도 및 리콜을 설계했으며 (거의 가정 된) 실제 음수 (Prec = TP / PP 및 Rec = TP / RP)를 완전히 무시했습니다. 세 번째로 정밀 및 리콜 그래프는 특정 TP 레벨에 대한 왕복 편향 (1 / PP) 대 왕복 확산 (1 / RP)을 보여줍니다 (TP 정확한 적중에서 웹 검색을 중단 한 경우).

— David MW Powers,

OK, 그래서 모든 의심을 지우고 나면 독자들에게 @DavidMWPowers의 대답이 내 것보다 우선해야한다고 생각해야한다고 생각합니다.

— fnl

평가에 대한 많은 오해가 있습니다. 이 중 일부는 데이터에 대한 실제 관심없이 데이터 세트에서 알고리즘을 최적화하려는 Machine Learning 접근 방식에서 비롯됩니다.

의학적인 맥락에서 그것은 실제 결과에 관한 것입니다. 의학적인 맥락에서, 민감도 (TPR)는 얼마나 많은 긍정적 인 사례가 올바르게 선택되었는지를 확인하는 데 사용되고 (False negatives = FNR로 누락 된 비율을 최소화 함) 특이도 (TNR)는 부정적 사례가 얼마나 많은지를 확인하는 데 사용됩니다 제거됨 (가양 성 = FPR로 확인 된 비율 최소화). 일부 질병은 1 백만의 유행을 나타냅니다. 따라서 항상 음수를 예측하면 정확도는 0.999999입니다. 이는 최대 클래스를 간단히 예측하는 간단한 ZeroR 학습자가 달성합니다. 질병이 없음을 예측하기 위해 리콜 및 정밀도를 고려하면 ZeroR의 리콜 = 1 및 정밀도 = 0.999999입니다. 물론이야, + ve와 -ve를 반대로 바꾸고 사람이 ZeroR에 질병이 있음을 예측하려고하면 Recall = 0 및 Precision = undef를 얻습니다 (긍정적 인 예측조차하지 않았지만 종종 사람들은 Precision을 0으로 정의합니다) 케이스). 리콜 (+ ve 리콜) 및 역 리콜 (-ve 리콜)과 관련 TPR, FPR, TNR & FNR은 항상 정의되어 있습니다. 우리는 구별 할 클래스가 두 개 있다는 것을 알고 의도적으로 제공하기 때문에 문제를 다루기 때문입니다. 각각의 예.

의학적 맥락에서 암이 없어지고 (누군가 죽고 고소 당함) 웹 검색에서 논문이 없어지는 것 (중요한 경우 다른 사람이 암을 참조 할 가능성이 있음)과의 큰 차이점에 유의하십시오. 두 경우 모두, 이러한 오류는 많은 음성 집단에 비해 거짓 음성으로 특징 지워진다. 웹 검색의 경우 소수의 결과 (예 : 10 또는 100) 만 표시하고 실제로는 부정적인 예측으로 간주되어서는 안되므로 (101 일 수 있음) 단순히 자동으로 많은 양의 실제 음성을 얻을 수 있습니다. ), 암 테스트 사례에서는 모든 사람에 대해 결과가 제공되지만 웹 검색과 달리 거짓 음성 수준 (율)을 적극적으로 관리합니다.

따라서 ROC는 참 긍정 (실제 긍정의 비율로 거짓 부정과 비교)과 거짓 긍정 (실제 부정의 비율로 참 부정과 비교) 사이의 절충점을 탐색하고 있습니다. 감도 (+ ve 리콜)와 특이성 (-ve Recall)을 비교하는 것과 같습니다. PN 그래프도 있습니다. TPR과 FPR이 아닌 TP와 FP를 플롯하는 위치는 동일합니다. 그러나 플롯을 사각형으로 만들었 기 때문에 유일한 차이점은 스케일에 넣은 숫자입니다. 이들은 상수 TPR = TP / RP, FPR = TP / RN에 의해 관련되며, 여기서 RP = TP + FN 및 RN = FN + FP는 데이터 세트의 실수 양수와 실수 음수이며 반대로 PP = TP + FP 및 PN입니다 = TN + FN은 양수 예측 또는 음수 예측입니다. 우리는 rp = RP / N 및 rn = RN / N을 양성 반응의 유병률이라고 부릅니다. 음수이고 pp = PP / N이고 rp = RP / N 양수에 대한 바이어스입니다.

감도와 특이성을 합산하거나 평균화하거나 트레이드 오프 곡선 아래의 면적 (x 축을 반전시키는 ROC와 동일)을 보면 어떤 클래스가 + ve와 + ve인지를 바꾸면 동일한 결과를 얻습니다. 이는 정밀도 및 회수에 대해서는 사실이 아닙니다 (ZeroR에 의한 질병 예측과 함께 위에서 설명한 바와 같이). 이 임의성은 정확성, 리콜 및 평균 (산술, 기하 또는 고조파) 및 트레이드 오프 그래프의 주요 결함입니다.

PR, PN, ROC, LIFT 및 기타 차트는 시스템의 매개 변수가 변경 될 때 플롯됩니다. 이 고전적으로 훈련 된 각 개별 시스템에 대한 점을 플롯하는데, 종종 인스턴스가 양과 음으로 분류되는 지점을 변경하기 위해 임계 값을 늘리거나 줄입니다.

때때로 플롯 된 점은 동일한 방식으로 훈련 된 시스템 세트에 대한 평균 (매개 변수 / 임계 값 / 알고리즘 변경) 일 수 있습니다 (그러나 다른 난수 또는 샘플링 또는 순서를 사용함). 이것들은 특정 문제에 대한 성능보다는 시스템의 평균 동작에 대해 알려주는 이론적 인 구성입니다. 트레이드 오프 차트는 특정 응용 프로그램 (데이터 집합 및 접근 방식)에 대한 올바른 운영 지점을 선택하는 데 도움이되며 ROC에서 이름을 얻는 곳입니다.

리콜 또는 TPR 또는 TP를 구성 할 수있는 것을 고려해 봅시다.

TP 대 FP (PN)-숫자가 다른 ROC 플롯과 똑같이 보입니다.

TPR vs FPR (ROC)-+/-가 반대로 되어도 AUC를 사용한 FPR에 대한 TPR은 변경되지 않습니다.

TPR vs TNR (alt ROC)-TNR = 1-FPR (TN + FP = RN) 인 ROC의 미러 이미지

TP vs PP (LIFT)-긍정적이고 부정적인 예를위한 X incs (비선형 스트레치)

TPR vs pp (alt LIFT)-숫자가 다른 LIFT와 동일하게 보입니다.

TP 대 1 / PP-LIFT와 매우 유사하지만 비선형 스트레치로 반전 됨

TPR vs 1 / PP-TP vs 1 / PP와 동일하게 보입니다 (y 축의 다른 숫자)

TP 대 TP / PP-유사하지만 x 축 확장 (TP = X-> TP = X * TP)

TPR vs TP / PP-축에서 동일하지만 숫자가 다른 것처럼 보입니다.

마지막은 리콜 대 정밀입니다!

이 그래프에서 다른 곡선을 지배하는 모든 곡선 (모든 점에서 우수하거나 적어도 높음)은 이러한 변환 후에도 여전히 지배적입니다. 지배는 모든 지점에서 "적어도 높은"것을 의미하기 때문에, 더 높은 곡선은 또한 곡선 아래의 면적을 포함하기 때문에 곡선 아래의 면적 (AUC)을 "적어도"높게한다. 반대의 경우는 사실 이 아닙니다 . 터치와 달리 커브가 교차하는 경우 우위는 없지만 한 AUC는 여전히 다른 AUC보다 클 수 있습니다.

모든 변환은 ROC 또는 PN 그래프의 특정 부분에 다른 (비선형) 방식으로 반영 및 / 또는 확대됩니다. 그러나 ROC만이 곡선 아래 면적 (양 (+)이 음수보다 높을 확률 (Mann-Whitney U 통계)과 거리 이상 거리 (추측보다는 결정에 의한 결정 가능성)-Youden J 이분법적인 정보의 형태로서의 통계).

일반적으로 PR 트레이드 오프 곡선을 사용할 필요가 없으며 세부 사항이 필요한 경우 간단히 ROC 곡선을 확대 할 수 있습니다. ROC 곡선은 대각선 (TPR = FPR)이 확률을 나타내는 고유 한 속성을 가지며, 기회 선 위의 거리 (DAC)는 정보에 근거한 결정의 확률 또는 정보 결정을 나타내며 곡선 아래의 면적 (AUC)은 등급 또는 정확한 쌍별 순위의 확률. 이러한 결과는 PR 곡선에는 적용 되지 않으며 위에서 설명한대로 더 높은 리콜 또는 TPR에 대해 AUC가 왜곡됩니다. PR AUC 더 큰를 않는 것을 하지 ROC AUC가 더 크다는 것을 의미하므로 순위가 증가 함을 의미하지 않습니다 (순위 +/- 쌍의 확률이 정확하게 예측 됨-즉, 빈도가 -ves보다 높을 때를 예측하는 빈도). 정보가 증가 함을 의미하지 않습니다 무작위 추측-즉, 예측할 때 수행되는 작업을 얼마나 자주 알고 있는지)

죄송합니다-그래프가 없습니다! 누구나 위의 변환을 설명하기 위해 그래프를 추가하려는 경우 좋을 것입니다! ROC, LIFT, BIRD, Kappa, F-measure, Informedness 등에 대한 논문에는 꽤 많은 내용이 있지만 https 에는 ROC vs LIFT vs BIRD vs RP의 그림이 있지만이 방법으로 제시되지는 않습니다. : //arxiv.org/pdf/1505.00401.pdf

업데이트 : 긴 답변이나 의견에 대한 전체 설명을하지 않으려면 Precision 대 Recall tradeoffs inc의 문제를 "발견"하는 몇 가지 논문이 있습니다. F1, 정보를 얻은 다음 ROC, Kappa, Significance, DeltaP, AUC 등과의 관계를 "탐색"합니다. 이것은 20 년 전 학생들 (Entwisle)에 부딪친 문제 중 하나입니다. R / P / F / A 접근 방식이 학습자에게 잘못된 방법을 보냈다는 경험적 증거가있는 곳에서 정보 (또는 적절한 경우 Kappa 또는 상관 관계)가 올바른 방법으로 보냈습니다. Kappa와 ROC에 관한 다른 저자들의 좋은 관련 논문도 많이 있지만, Kappas와 ROC AUC, ROC Height (정보 및 Youden ')를 사용할 때 s J)는 2012 년 논문 I 목록에 명시되어 있습니다 (다른 많은 중요한 논문이 인용되어 있음). 2003 년 북 메이커 논문은 처음으로 멀티 클래스 사례에 대한 정보의 공식을 도출합니다. 2013 년 논문은 정보를 최적화하기 위해 적응 된 멀티 클래스 버전의 Adaboost를 도출합니다 (수정 된 Weka에 대한 링크와 함께).

참고 문헌

1998 NLP 파서 평가에서 통계의 현재 사용. J Entwisle, DMW Powers-언어 처리의 새로운 방법에 관한 공동 회의 절차 : 215-224 https://dl.acm.org/citation.cfm?id=1603935 15 인용

2003 리콜 및 정밀 대 북 메이커. DMW Powers-국제인지 과학 회의 : 529-534 http://dspace2.flinders.edu.au/xmlui/handle/2328/27159 인용 46

2011 평가 : 정밀성, 리콜 및 F 측정에서 ROC, 정보 제공, 표시 및 상관 관계에 이르기까지. DMW Powers-저널링 머신 러닝 기술 2 (1) : 37-63. http://dspace2.flinders.edu.au/xmlui/handle/2328/27165 1749 년 인용

2012 카파 문제. DMW Powers-13 번째 유럽 ACL 회의 회의 : 345-355 https://dl.acm.org/citation.cfm?id=2380859 인용 : 63

2012 ROC-ConCert : ROC 기반 일관성 및 확실성 측정. DMW Powers-엔지니어링 및 기술 (S-CET) 봄 회의 2 : 238-241 http://www.academia.edu/download/31939951/201203-SCET30795-ROC-ConCert-PID1124774.pdf 5 인용

2013 ADABOOK & MULTIBOOK : : Chance Correction을 통한 적응 형 부스팅. DMW Powers-제어, 자동화 및 로봇 공학의 정보학에 관한 ICINCO 국제 회의 http://www.academia.edu/download/31947210/201309-AdaBook-ICINCO-SCITE-Harvard-2upcor_poster.pdf

https://www.dropbox.com/s/artzz1l3vozb6c4/weka.jar (goes into Java Class Path)
https://www.dropbox.com/s/dqws9ixew3egraj/wekagui   (GUI start script for Unix)
https://www.dropbox.com/s/4j3fwx997kq2xcq/wekagui.bat  (GUI shortcut on Windows)

4 인용

— 데이비드 MW 파워
소스

> "곡선 아래의 면적은 Rankedness 또는 올바른 페어 순위의 확률을 나타낸다"나는 그것이 정확히 우리가 동의하지 않을 경우, 추측 - 중화 민국은 순위 품질을 보여 플롯의를 . 그러나 AUC PR은 단일 순위로 어떤 순위가 선호되는지 즉시 알려줍니다 (즉, 결과 II보다 결과 I이 선호됩니다). AUC ROC에는이 속성이 없습니다.

— fnl

지배 결과 fnl cite는 정의 할 때, 하나의 곡선이 ROC에서 지배적이라면 PR에서 그 반대의 경우도 마찬가지이며, 이는 둘 다에서 더 큰 면적을 가지며 따라서 ROC와 PR AUC 사이에 질적 차이가 없음을 의미합니다. 순위 (Mann-Whitney U)에 대한 인용문은 ROC와는 상당히 독립적으로 권장되었지만 나중에 ROC AUC로 확인 된 잘 정립 된 정량적 결과 재 확률 (중요도 테스트의 일부)입니다. 마찬가지로 정보는 원래 독립적으로 정의되었으며 나중에 ROC 운영 지점의 높이에 해당하는 것으로 입증되었습니다. PR에는 그러한 결과가 없습니다.

— David MW Powers

앞서 말했듯이, 이것은 지배 조건 하에서 스케일링 문제 일뿐입니다 (자세한 설명으로 큰 숫자를 곱하여 "매우 크게"). 그러나 비 지배 조건 하에서 AUC PR은 오해의 소지가 있으며 AUC ROC는 하나입니다 그것은 적절한 확률 론적 해석 (Mann-Whitney U 또는 Rankedness)을 가지고 있으며, Gini (또는 스케일링 후 Youden 's J 또는 Informedness)에 해당하는 단일 운영 사례가 있습니다.

— David MW Powers

단순성을 위해 단일 작동 점 (SOC) AUC를 고려하면 Gini 계수 = AUC = (TP / RP + TN / RN) / 2 및 정보 = Youden J = TP / RP + TN / RN-1 = 감도 + 특이성 -1 = TPR + TNF -1 = 리콜 + 역 리콜-1 등. 둘 중 하나를 최대화하는 것은 동등하지만 후자는 정보에 근거한 결정의 확률입니다 (-ve 인 경우 잘못된 결정 임). RN과 TN이 모두 TN >> FP를 사용하여 무한대로 이동하면 TN / RN-> 1을 취소하고 인용 한 경우 정보 성 = 리콜을 취소합니다. 대신 거대한 클래스가 RP 및 TP >> FN이면 TP / RP-> 1 및 Informedness = Inverse Recall입니다. 심판을 참조하십시오.

— David MW Powers

이것은 David Powers에게 매우 유용한 답변입니다. 그러나 '일반적으로 PR 트레이드 오프 곡선을 사용할 필요가 없으며 세부 사항이 필요한 경우 ROC 곡선을 확대 할 수 있습니다.'라고 말할 때 내 무지를 용서하십시오. 무슨 뜻인지 상세하게? 이것이 어떻게 든 불균형이 심한 경우 ROC 곡선을 사용할 수 있다는 의미입니까? 'FPR 또는 TPR에 더 높은 가중치를 부여하면 더 큰 결과 차이, 우수한 점수로 AUC ROC 점수가 생성됩니다!' ROC로 어떻게하면 되나요?

— Christopher John