PR 곡선 아래 영역의 해석


10

현재 세 가지 방법을 비교하고 있으며 정확도, auROC 및 auPR을 메트릭으로 사용하고 있습니다. 그리고 나는 다음과 같은 결과를 얻었습니다.

방법 A-acc : 0.75, auROC : 0.75, auPR : 0.45

방법 B-acc : 0.65, auROC : 0.55, auPR : 0.40

방법 C-acc : 0.55, auROC : 0.70, auPR : 0.65

나는 정확성과 auROC에 대해 잘 이해하고있다. 나는 이전에 auPR 데이터를 본 적이 없으며 그것이 어떻게 구축되는지 이해하는 동안 그 뒤에 "느낌"을 얻을 수 없습니다.

사실 나는 왜 방법 C가 auPR에 대해 엄청나게 높은 점수를 받았지만 정확성과 auPR에 대해서는 나쁜 / 평균이되는지 이해하지 못했습니다.

누군가가 내가 정말 대단한 간단한 설명으로 조금 더 잘 이해하도록 도울 수 있다면. 감사합니다.

답변:


11

ROC 및 PR 곡선의 한 축은 동일합니다. 즉 TPR입니다. 데이터의 모든 긍정적 인 사례에서 올바르게 분류 된 긍정적 인 사례 수입니다.

다른 축은 다릅니다. ROC는 FPR을 사용하는데, 이는 데이터의 모든 부정에서 실수로 긍정적으로 선언 된 사람의 수입니다. PR 곡선은 정밀도를 사용합니다. 양수로 예측 된 모든 것 중에서 몇 개의 진 양성인지. 따라서 두 번째 축의 기준이 다릅니다. ROC는 데이터의 내용을 사용하고 PR은 예측의 내용을 기준으로 사용합니다.

데이터에 높은 수준의 불균형이있을 때 PR 곡선이보다 유익한 것으로 생각됩니다 ( http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf 참조) .


1
auROC 0.5의 경우 최소값입니다 (예측을 반전하면 더 적을수록 좋습니다). auPR과 비슷한 규칙이 있습니까? 또한 측정과 관련하여 방법 C의 점수를보고 무엇을 주장 할 수 있습니까? 3 가지 경우에 동일한 데이터 세트로 작업하고 있으며 클래스간에 균등하게 분포 된 데이터 세트에 대한 관점에서 auROC와 auPR이 내 동일한 순위를 따르지 않는 것은 의미가 없습니다. 행동 양식.
AdrienNK

1
auPR에서 무작위 분류 기준 점수는 얼마입니까? auROC에서는 0.5이지만 auPR에서는 알 수 없습니다.
Jack Twain

9
무작위 분류기의 예상 auPR 점수는 데이터 세트에서 실제 양성 사례의 비율에 불과합니다. 그것이 여러분이 수업을 추측 할 때 기대할 수있는 정밀도이며, 모든 수준의 리콜에 대해 그 정밀도를 얻게됩니다. 따라서 랜덤 분류기의 예상 PR 곡선은 측면 길이가 "참 양성의 비율"x 1 인 직사각형 일뿐입니다. 예를 들어, 데이터 집합에 양성 사례 10 %와 음성 사례 90 %가 포함 된 경우 예상되는 auPR은 0.1입니다.
Lizzie Silver
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.