AUC가 준 적절한 득점 규칙이라는 것은 무엇을 의미합니까?

적절한 점수 규칙은 '진정한'모델에 의해 극대화되는 규칙이며 시스템을 '헤지'하거나 게임을 할 수 없습니다 (점수를 향상시키기 위해 모델의 진정한 신념에 따라 다른 결과를 의도적으로보고 함). 브리 어 점수는 적절하고 정확성 (비율이 올바르게 분류 됨)이 부적절하며 종종 낙담합니다. 때로는 AUC가 준 정확한 스코어링 규칙이라고 불리는데, 이는 정확성으로 완벽하지는 않지만 적절한 규칙보다 덜 민감합니다 (예 : /stats//a/90705/53084 ).

준 적절한 점수 규칙이란 무엇입니까? 어딘가에 정의되어 있습니까?

예를 들어 보자. Alice가 트랙 코치이고 다가오는 스포츠 행사에서 200m 스프린트에서 팀을 대표 할 선수를 선택하고 싶다고 가정 해보십시오. 당연히 그녀는 가장 빠른 주자를 선택하고 싶어합니다.

• 엄격 적절한 채점 규칙은 200,000 거리에 팀의 빠른 주자를 추천하는 것입니다. 이것은 상황에서 앨리스 코치가 원하는 것을 정확하게 극대화합니다. 예상 성능이 가장 빠른 선수가 선발됩니다. 이것은 공정한 차별 테스트입니다.
• 적절한 채점 규칙은 수 실행 200m 가장 빠른하지만 시간이 두 번째의 가장 가까운 절반 반올림 선수를 선택하는 것입니다. 최고의 선수는 물론 다른 선수들도이 시험에 합격 할 수 있습니다. 이 방법으로 선택된 모든 운동 선수는 경쟁이 치열하지만 분명히 이것은 속도에 대한 완벽한 차별 테스트가 아닙니다.
• 반 적절한 채점 규칙은 22초을 예 경쟁력 시간 임계 값 아래에있게 실행 200m, 인 선수를 선택하는 것입니다. 이전과 마찬가지로 최고의 운동 선수와 다른 운동 선수들도이 시험을 통과 할 수 있습니다. 마찬가지로이 방법으로 선발 된 모든 선수는 상당히 경쟁적 일 수 있지만 분명히 이것은 완벽한 차별 테스트 일뿐만 아니라 끔찍하게 나빠질 수도 있습니다 (우리가 너무 관대하거나 너무 엄격한 시간을 고르면). 옳지 않은 것은 아닙니다.
• 부적절한 채점 규칙은 가장 가중치를 쪼그리고 수 있습니다 예를 들어, 강한 다리와 선수를 선택하는 것입니다. 확실히 좋은 단거리 선수는 아마도 다리가 매우 강할 수 있지만이 테스트는 역도 팀의 일부 사람들이 여기에서 뛰어남을 의미합니다. 분명히 200m 경주에서 역도 선수는 치명적일 것입니다!

위의 예는 다소 사소한 반면 점수 규칙을 사용하여 수행되는 작업을 보여줍니다. Alice는 예상 스프린트 시간을 예측하고있었습니다. 분류의 맥락 내에서 확률 적 분류기의 오류를 최소화하는 확률을 예측합니다.

• 엄격 적절한 채점 규칙은 우리가 가능한 진정한 확률에 근접하게되면, 찔레 점수 같은 보장은 최고 점수 만 달성 될 것이다.
• 적절한 채점 규칙은 , 연속 선정 확률 점수 (CRPS)처럼 최고 점수 만 그의 예측 진정한 확률에 가장 가까운 분류 자에 의해 달성 될 것이라고 보장하지 않습니다. 다른 후보 분류 기준은 최적 분류 기준과 일치하는 CRPS 점수를 획득 할 수 있습니다.
• 반 적절한 채점 규칙 의 AUC-ROC처럼, 최고의 성능이 누구의 예측 진정한 확률에 가장 가까운 분류 자에 의해 달성 될 것이라고하지 보증을 수행 할뿐만 아니라에 대한 개선 (가능성이) 가능하다 예측 확률을 실제 값에서 멀어지게하여 AUC-ROC의 가치. 그럼에도 불구하고 특정 조건 (예 : 등급 분포는 AUC-ROC의 경우 선험적으로 알려져 있음)에서 이러한 규칙은 적절한 점수 규칙에 근접 할 수 있습니다. Byrne (2016) " 확률 론적 예측을 평가하기위한 경험적 AUC의 사용에 관한 메모 "는 AUC-ROC에 관한 흥미로운 점을 제기 합니다 .
• 부적절한 채점 규칙 , 정확성 등, 진정한 확률에 가능한 가깝게 확률을 예측하는 우리의 원래 작업없이 연결에 대한 이벤트의 작은.

우리가 알 수 있듯이 반 적절한 점수 규칙 은 완벽하지는 않지만 완전히 치명적인 것은 아닙니다. 실제로 예측하는 동안 매우 유용 할 수 있습니다! Cagdas Ozgenc는 좋은 예제가 여기에 부적절한 / 반 적절한 규칙과 작업하는 것은 엄격하게 적절한 규칙에 바람직입니다. 일반적으로 준 적절한 점수 규칙 이라는 용어 는 그리 일반적이지 않습니다. 그럼에도 불구하고 도움이 될 수있는 부적절한 규칙 과 관련 이 있습니다 (예 : 확률 적 분류의 AUC-ROC 또는 MAE).

마지막으로 중요한 것을 주목하십시오. 스프린트는 강한 레그와 관련되어 있으므로 정확도를 사용한 정확한 확률 분류입니다. 좋은 스프린터가 다리가 약할 가능성은 낮고 마찬가지로 좋은 분류 기가 나쁜 정확도를 가질 가능성은 낮습니다. 그럼에도 불구하고, 우수한 분류기 성능을 갖는 적도 정확도는 우수한 스프린트 성능을 가진 다리 강도를 동일시하는 것과 같습니다. 근거가없는 것은 아니지만 말도 안되는 결과를 초래할 가능성이 매우 높습니다.