ROC 곡선 이해

ROC 곡선을 이해하는 데 문제가 있습니다.

트레이닝 세트의 각 고유 서브 세트에서 다른 모델을 빌드하고이를 사용하여 확률을 생성 할 경우 ROC 곡선 아래 영역의 장점 / 개선이 있습니까? 예를 들어, 에 값이 있고 1-4 번째 값과 8-9 번째 값을 사용하여 모델 를 작성 남은 열차 데이터를 사용하여 모델 를 빌드하십시오 . 마지막으로 확률을 생성하십시오. 모든 의견 / 의견은 대단히 감사하겠습니다.$y$$\{a, a, a, a, b, b, b, b\}$$A$$a$$y$$y$$B$

내 질문에 대한 더 나은 설명을위한 r 코드는 다음과 같습니다.

Y    = factor(0,0,0,0,1,1,1,1)
X    = matirx(rnorm(16,8,2))
ind  = c(1,4,8,9)
ind2 = -ind

mod_A    = rpart(Y[ind]~X[ind,])
mod_B    = rpart(Y[-ind]~X[-ind,])
mod_full = rpart(Y~X)

pred = numeric(8)
pred_combine[ind]  = predict(mod_A,type='prob')
pred_combine[-ind] = predict(mod_B,type='prob')
pred_full          = predict(mod_full, type='prob')

그래서 내 질문의 ROC 곡선 아래 영역입니다 pred_combine대는 pred_full.

질문이 확실하지 않지만 제목에 ROC 곡선을 설명하라는 메시지가 표시되므로 시도해 보겠습니다.

ROC 곡선은 분류 기가 긍정적 인 예와 부정적인 예를 얼마나 잘 분리하고 분리하기위한 최상의 임계 값을 식별하는 데 사용됩니다.

ROC 곡선을 사용하려면 분류자가 순위 를 매겨 야합니다. 즉, 순위가 높은 것이 더 긍정적일 수 있도록 예를 순위를 매길 수 있어야합니다. 예를 들어, 로지스틱 회귀 는 확률을 산출하는데, 이는 순위에 사용할 수있는 점수입니다.

ROC 곡선 그리기

데이터 세트와 순위 분류 기가 주어진 경우 :

• 가장 높은 점수부터 가장 낮은 점수까지 시험 예제를 정렬
• 에서 시작$(0, 0)$
• 정렬 된 순서 로 각 예제 에 대해 $x$
  • 경우 양수, 이동 까지$x$$1/\text{pos}$
  • 경우 음수 이동 권리를$x$$1/\text{neg}$

여기서 및 는 각각 긍정적이고 부정적인 예의 일부입니다.$\text{pos}$$\text{neg}$

이 멋진 gif 애니메이션 그림은이 과정을 명확하게 설명해야합니다.

이 그래프에서 축은 양의 비율이고 축은 위양의 비율입니다. 대각선을 주목하십시오-이것은 임의의 분류기로 얻을 수있는 기준선입니다. ROC 곡선이 선 위로 올라 갈수록 좋습니다.$y$$x$

ROC 영역

ROC 곡선 아래의 영역 (음영)은 곡선이 기준선에서 얼마나 멀리 떨어져 있는지 자연스럽게 보여줍니다. 기준선의 경우 0.5이고 완벽한 분류기의 경우 1입니다.

이 질문에서 AUC ROC에 대한 자세한 내용을 읽을 수 있습니다. AUC의 의미와 의미는 무엇입니까?

최고 임계 값 선택

최고의 임계 값을 선택하는 과정을 간략하게 설명하겠습니다. 자세한 내용은 참조에서 확인할 수 있습니다.

최상의 임계 값을 선택하기 위해 ROC 곡선의 각 점을 별도의 분류기로 볼 수 있습니다. 이 미니 분류기는 점수가 +와-사이의 경계로 얻은 점수를 사용합니다 (즉, 현재 점수보다 높은 모든 점수로 분류).

데이터 세트의 pos / neg 분수에 따라 (50 % / 50 %의 경우 기준선과 평행) ISO 정확도 라인을 구축하고 최고의 정확도로 하나를 선택하십시오.

다음은이를 보여주는 그림입니다. 자세한 내용은 다시 귀하를 참조로 초대합니다.

참고

• http://mlwiki.org/index.php/ROC_Analysis