더 정확한 분류기보다 정확도가 낮은 분류기에서 AUC가 더 높은 이유는 무엇입니까?

두 개의 분류 기가 있습니다

• A : 순진한 베이지안 네트워크
• B : 트리 (단일 연결) 베이지안 네트워크

정확성 및 기타 측정 측면에서 A는 B보다 상대적으로 성능이 좋지 않지만 R 패키지 ROCR 및 AUC를 사용하여 ROC 분석을 수행하면 A의 AUC가 B의 AUC보다 높은 것으로 나타났습니다. 사고?

진 양성 (tp), 위양성 (fp), 위음성 (fn), 진 음성 (tn), 감도 (sen), 특이성 (spec), 양성 예측값 (ppv), 음성 예측값 (npv) 및 A와 B의 정확도 (acc)는 다음과 같습니다.

+------+---------+---------+
|      |    A    |    B    |
+------+---------+---------+
| tp   | 3601    | 769     |
| fp   | 0       | 0       |
| fn   | 6569    | 5918    |
| tn   | 15655   | 19138   |
| sens | 0.35408 | 0.11500 |
| spec | 1.00000 | 1.00000 |
| ppv  | 1.00000 | 1.00000 |
| npv  | 0.70442 | 0.76381 |
| acc  | 0.74563 | 0.77084 |
+------+---------+---------+

한계 값 (tp, fn, fn 및 tn 제외)에 대한 감각 및 연계 (spec 및 ppv)를 제외하고 B는 A보다 성능이 우수한 것으로 보입니다.

감각 (y 축) 대 1 스펙 (x 축)에 대한 AUC를 계산할 때

aucroc <- auc(roc(data$prediction,data$labels));

다음은 AUC 비교입니다.

+----------------+---------+---------+
|                |    A    |    B    |
+----------------+---------+---------+
| sens vs 1-spec | 0.77540 | 0.64590 |
| sens vs spec   | 0.70770 | 0.61000 |
+----------------+---------+---------+

내 질문은 다음과 같습니다.

• B가 정확도와 관련하여 A보다 성능이 우수한 것으로 간주 될 때 A에 대한 AUC가 B보다 나은 이유는 무엇입니까?
• 그렇다면 A와 B의 분류 성능을 어떻게 실제로 판단 / 비교합니까? AUC 값을 사용합니까? acc 값을 사용합니까? 그렇다면 왜됩니까?
• 또한 A와 B에 적절한 점수 규칙을 적용하면 B가 로그 손실, 2 차 손실 및 구면 손실 측면에서 A보다 뛰어납니다 (p <0.001). 이것들은 AUC와 관련하여 분류 성능을 판단하는 데 어떻게 중요합니까?
• A에 대한 ROC 그래프는 매우 매끄럽게 보이지만 (곡선 호) B에 대한 ROC 그래프는 연결된 선 집합처럼 보입니다. 왜 이런거야?

요청한대로 다음은 모델 A에 대한 도표입니다.

다음은 모델 B에 대한 도표입니다.

다음은 A와 B에 대한 확률 분포의 히스토그램 플롯입니다 (파단은 20으로 설정 됨).

다음은 B와 A의 확률에 대한 산포도입니다.

올바르게 분류 된 비율, 민감도 및 특이성과 같은 부적절한 점수 규칙은 임의적 (임계 값 선택시) 일뿐 아니라 부적절합니다. 즉,이를 최대화하면 가짜 모델로 이어지고 부정확 한 예측 및 잘못된 기능을 선택할 수있는 속성이 있습니다. . 적절한 점수 (로그 우도, 대수 점수 규칙, 브리 어 점수) 규칙과 색인 (반 적절한 점수 규칙-ROC 곡선 아래 영역, 일치 확률, Wilcoxon 통계, Somers ' 동의하지 않는 것이 좋습니다. 순위 상관 계수); 이를 통해 적절한 점수 규칙에 대한 자신감을 갖게됩니다.D x $c$$D_{xy}$

1. B가 정확도와 관련하여 A보다 성능이 우수한 것으로 간주 될 때 A에 대한 AUC가 B보다 나은 이유는 무엇입니까?

   정확도는 임계 값 0.5에서 계산됩니다. AUC는 가능한 모든 임계 값에 대해 계산 된 모든 "정확도"를 추가하여 계산됩니다. ROC는 모든 임계 값에 대해 계산 될 때 이러한 정확도의 평균 (예상 값)으로 볼 수 있습니다.

2. 그렇다면 A와 B의 분류 성능을 어떻게 실제로 판단 / 비교합니까? AUC 값을 사용합니까? acc 값을 사용합니까? 그리고 왜?

   따라 다릅니다. ROC 곡선은 임계 값의 위치에 상관없이 모델이 두 클래스를 얼마나 잘 분리하는지에 대한 정보를 제공합니다. 정확도는 수업이 훈련 및 시험 세트에서 동일한 균형을 유지하고 점수가 실제로 확률 일 때 일반적으로 잘 작동하는 척도입니다. ROC는이 가정이 위반 될 경우 모델이 어떻게 작동하는지에 대한 힌트를 제공합니다 (단, 아이디어 일뿐입니다).

3. 또한 A와 B에 적절한 점수 규칙을 적용하면 B가 로그 손실, 2 차 손실 및 구면 손실 측면에서 A보다 뛰어납니다 (p <0.001). 이것들은 AUC와 관련하여 분류 성능을 판단하는 데 어떻게 중요합니까?

   나도 몰라. 데이터가 무엇인지 더 잘 이해해야합니다. 각 모델이 데이터에서 이해할 수있는 것. 나중에 가장 좋은 타협을 결정하십시오. 그 이유는 분류기 성능에 대한 보편적 인 지표가 없기 때문입니다.

4. A에 대한 ROC 그래프는 매우 매끄럽게 보이지만 (곡선 호) B에 대한 ROC 그래프는 연결된 선 집합처럼 보입니다. 왜 이런거야?

   베이지안 모델이 두 클래스 사이를 부드럽게 전환하기 때문일 수 있습니다. 많은 임계 값으로 변환됩니다. ROC 곡선의 많은 점을 의미합니다. 두 번째 모델은 입력 공간의 더 큰 영역에서 동일한 값을 갖는 예측으로 인해 더 적은 값을 생성 할 수 있습니다. 기본적으로 첫 번째 ROC 곡선은 선으로 만들어지며 유일한 작은 차이점은 인접한 작은 선이 너무 많아 곡선으로 볼 수 있다는 것입니다.

B가 정확도와 관련하여 A보다 성능이 우수한 것으로 간주 될 때 A에 대한 AUC가 B보다 나은 이유는 무엇입니까?

먼저 컷오프 (0.5)는 동일하지만 A와 B의 비교는 전혀 불가능합니다. 실제로 히스토그램과는 상당히 다릅니다! B를보십시오 : 모든 예측은 <0.5입니다.

둘째, B가 왜 그렇게 정확합니까? 수업 불균형 때문에. 테스트 B에는 19138 개의 부정적인 예와 6687 개의 긍정적 인 예가 있습니다 (A에서 숫자가 다른 이유가 명확하지 않은 경우 : 결 측값이있을 수 있습니까?). 이것은 단순히 모든 것이 부정적이라고 말함으로써 정확하게 19138 / (19138 + 6687) = 74 %의 정확도를 달성 할 수 있음을 의미합니다. 이것은 클래스간에 불균형이 있다는 사실을 넘어서는 전혀 지식이 필요하지 않습니다. 멍청한 모델조차도 그렇게 할 수 있습니다!

그리고 이것은 테스트 B가 0.5 임계 값에서 정확히하는 것입니다.

A와 혼합 가방이 더 있습니다. 정확도는 약간 낮지 만이 차단에서 감도는 훨씬 높습니다.

마지막으로 정확도 (한 임계 값의 성능)와 AUC (모든 가능한 임계 값의 평균 성능)를 비교할 수 없습니다. 이러한 측정 항목이 서로 다른 것을 측정하므로 서로 다르다는 것은 놀라운 일이 아닙니다.

그렇다면 A와 B의 분류 성능을 어떻게 실제로 판단 / 비교합니까? AUC 값을 사용합니까? acc 값을 사용합니까? 그리고 왜?

또한 A와 B에 적절한 점수 규칙을 적용하면 B가 로그 손실, 2 차 손실 및 구면 손실 측면에서 A보다 뛰어납니다 (p <0.001). 이것들은 AUC와 관련하여 분류 성능을 판단하는 데 어떻게 중요합니까?

당신은 생각해야합니다 : 당신이 정말로하고 싶은 것은 무엇입니까? 중요한 것은 무엇입니까? 궁극적으로 질문에 대한 지식을 바탕으로이 질문에 대답 할 수 있습니다. 어쩌면 AUC는 의미가 있습니다 (당신이 스스로 결정을하고 싶지는 않지만 다른 사람들이 그렇게하도록 내버려 두는 경우를 제외하고는 실제로 생각할 때 실제로는 거의하지 않습니다). 정확도 (이진, 고노 고 답이 필요한 경우), 다른 임계 값, 다른 연속 측정, 프랭크 하렐 (Frank Harrell)이 제안한 측정 중 하나 일 수 있습니다 ... 이미 언급했듯이 보편적 인 질문은 없습니다. 이리.

A에 대한 ROC 그래프는 매우 매끄럽게 보이지만 (곡선 호) B에 대한 ROC 그래프는 연결된 선 집합처럼 보입니다. 왜 이런거야?

히스토그램에 표시 한 예측으로 돌아갑니다. A는 연속적이거나 거의 연속적인 예측을 제공합니다. 반대로, B는 ( "뾰족한"히스토그램으로 볼 수 있듯이) 대부분 다른 값만 반환합니다.

ROC 곡선에서 각 점은 임계 값에 해당합니다. A에서는 예측이 연속적이기 때문에 임계 값이 많으므로 곡선이 매끄 럽습니다. B에서는 임계 값이 거의 없으므로 곡선이 SN / SP에서 다른 것으로 "점프"합니다.

민감도 만 변경하면 수직 이동 (임계 값의 경우에만 임계 값이 차이가 발생 함), 특정도 만 변경되면 임계 값이 변경되는 경우 (수치가 음수의 경우에만 차이가 발생 함) 임계 값 변경이 두 클래스에 영향을 미치는 경우 대각선 이동이 나타납니다.