이 차트의 이름은 오 탐지율과 진양 율을 나타내며 어떻게 생성됩니까?

아래 이미지는 위양성 비율과 실제 양의 비율의 연속 곡선을 보여줍니다.

그러나 내가 즉시 얻지 못하는 것은 이러한 요율이 계산되는 방법입니다. 메소드가 데이터 세트에 적용되는 경우 특정 FP 속도 및 특정 FN 속도가 있습니다. 이것이 각 방법이 곡선이 아닌 단일 점을 가져야한다는 것을 의미하지 않습니까? 물론 방법을 구성하고 여러 가지 다른 점을 생성하는 여러 가지 방법이 있지만 이러한 연속성이 어떻게 발생하는지 또는 어떻게 생성되는지는 명확하지 않습니다.

플롯은 ROC 곡선 이며 (False Positive Rate, True Positive Rate) 포인트는 다른 임계 값에 대해 계산됩니다. 균일 한 유틸리티 기능이 있다고 가정하면 최적의 임계 값은 (0, 1)에 가장 가까운 점의 값입니다.

ROC 곡선을 생성하려면 (= 수신기 작동 특성 곡선) :

로지스틱 회귀와 같은 확률 적 이진 분류 기가 있다고 가정합니다. ROC 곡선을 제시하기 전에 혼동 행렬 의 개념을 이해해야합니다. 이진 예측을하면 4 가지 유형의 오류가있을 수 있습니다.

• 우리는 0을 예측하지만 클래스는 실제로 0이어야합니다 : 이것은 True Negative 라고합니다 . 즉, 클래스가 음수 (0)임을 정확하게 예측합니다. 예를 들어, 바이러스 백신은 무해한 파일을 바이러스로 탐지하지 못했습니다.
• 우리는 클래스가 실제로 1이어야 함을 0으로 예측하지만 이것은 거짓 부정 이라고합니다 . 즉, 클래스가 음 (0)이라고 잘못 예측합니다. 예를 들어 안티 바이러스가 바이러스를 탐지하지 못했습니다.
• 클래스가 실제로 0이되어야하는 동안 1을 예측합니다.이를 False Positive 라고합니다 . 즉, 클래스가 포지티브라고 잘못 예측합니다 (1). 예를 들어 바이러스 백신은 무해한 파일을 바이러스로 간주했습니다.
• 우리는 클래스가 실제로 1이어야 함을 1로 예측합니다. 이것은 True Positive 라고합니다 . 즉, 클래스가 포지티브라고 정확하게 예측합니다 (1). 예를 들어, 안티 바이러스가 바이러스를 올바르게 감지했습니다.

혼동 행렬을 얻기 위해 모델에 의한 모든 예측을 검토하고 4 가지 유형의 오류 각각이 몇 번 발생하는지 계산합니다.

이 혼동 행렬의 예에서, 분류 된 50 개의 데이터 포인트 중 45 개가 올바르게 분류되고 5 개가 잘못 분류됩니다.

서로 다른 두 모델을 비교하기 위해 여러 모델이 아닌 단일 메트릭을 사용하는 것이 더 편리하기 때문에 혼동 매트릭스에서 두 개의 메트릭을 계산하여 나중에 하나로 통합합니다.

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

이 그림에서 파란색 영역은 수신기 작동 특성 (AUROC) 곡선 아래 영역에 해당합니다. 대각선의 파선은 랜덤 예측 변수의 ROC 곡선을 나타냅니다. AUROC는 0.5입니다. 랜덤 예측 변수는 일반적으로 모형이 유용한 지 여부를 확인하기위한 기준선으로 사용됩니다.

직접 경험을 원한다면 :

• 파이썬 : http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB : http://www.mathworks.com/help/stats/perfcurve.html

Morten의 답변은 제목의 질문을 올바르게 처리합니다. 그림은 실제로 ROC 곡선입니다. FAL (False Positive Rate) 시퀀스를 해당하는 실제 포지티브 비율에 대해 플로팅하여 생성합니다.

그러나 게시물 본문에서 질문 한 내용에 답변하고 싶습니다.

메소드가 데이터 세트에 적용되는 경우 특정 FP 속도 및 특정 FN 속도가 있습니다. 이것이 각 방법이 곡선이 아닌 단일 점을 가져야한다는 것을 의미하지 않습니까? 물론 방법을 구성하고 여러 가지 다른 점을 생성하는 여러 가지 방법이 있지만 이러한 연속성이 어떻게 발생하는지 또는 어떻게 생성되는지는 명확하지 않습니다.

많은 머신 러닝 방법에는 조정 가능한 매개 변수가 있습니다. 예를 들어 로지스틱 회귀의 출력은 예상되는 클래스 멤버십 가능성입니다. 예측 확률이 일부 임계 값을 초과하는 모든 포인트를 한 등급으로 분류하고 나머지는 다른 등급으로 분류하는 결정 규칙은 각각 TPR 및 FPR 통계가 다른 유연한 분류기 범위를 만들 수 있습니다. 임의의 포리스트 (나무 표를 고려하는 SVM 또는 하이퍼 플레인과의 서명 거리를 고려중인 SVM)의 경우에도 마찬가지입니다.

샘플 외부 성능을 추정하기 위해 교차 검증을 수행하는 경우 일반적인 관행은 예측 값 (투표, 확률, 부호있는 거리)을 사용하여 일련의 TPR 및 FPR을 생성하는 것입니다. 일반적으로 단계 함수처럼 보입니다. 일반적으로 각 예측 된 값에서 TP에서 FN으로 또는 FP에서 FN으로 이동하는 지점이 하나뿐 이기 때문에 (즉, 모든 샘플 외부 예측 값은 고유합니다). 이 경우, TPR 및 FPR을 계산하기위한 연속 옵션 이 있지만, 샘플 수가 부족한 점이 많기 때문에 TPR 및 FPR 기능은 연속적이지 않으므로 결과 곡선은 계단 모양으로 나타납니다. .

Wikipedia에서 :

ROC 곡선은 전장에서 적의 물체를 감지하기 위해 제 2 차 세계 대전 중에 전기 엔지니어와 레이더 엔지니어가 처음 개발했으며 자극의 지각 감지를 설명하기 위해 심리학에 도입되었습니다. 그 이후 ROC 분석은 의학, 방사선학, 생체 인식 및 기타 분야에서 수십 년 동안 사용되어 왔으며 기계 학습 및 데이터 마이닝 연구에 점점 더 많이 사용되고 있습니다.

ROC는 기준이 변경 될 때 두 가지 작동 특성 (TPR 및 FPR)을 비교하기 때문에 상대 작동 특성 곡선이라고도합니다.

이진 분류 기가 작동하기 위해 발생해야하는 비용으로 두 축을 생각할 수 있습니다. 이상적으로는 긍정적 인 비율이 높을 때 가능한 한 낮은 오 탐지율을 원합니다. 즉, 이진 분류 기가 가능한 한 많은 양의 진양성에 대해 오 탐지를 호출하지 않기를 원합니다.

구체적으로 바이오 마커의 양을 측정하여 특정 질병이 있는지 여부를 감지 할 수있는 분류기를 상상해보십시오. 바이오 마커가 0 (없음) 내지 1 (포화) 범위의 값을 가졌다 고 상상해보십시오. 질병의 탐지를 극대화하는 수준은 무엇입니까? 일정 수준 이상에서 바이오 마커가 일부 사람들을 질병이있는 것으로 분류하지만 질병이없는 것으로 분류 할 수 있습니다. 이것은 오 탐지입니다. 물론 실제로 질병에 걸렸을 때 질병을 앓는 것으로 분류 될 사람들이 있습니다. 이것이 진정한 긍정입니다.

ROC는 가능한 모든 임계 값을 고려하여 모든 긍정의 긍정 비율을 오탐의 비율과 비교하여 평가합니다.