적절한 채점 규칙 중에서 선택


22

적절한 점수 규칙에 대한 대부분의 리소스에는 로그 손실, 브리 어 점수 또는 구면 점수와 같은 여러 가지 점수 규칙이 언급되어 있습니다. 그러나 그들은 종종 그들 사이의 차이점에 대해 많은 지침을 제공하지 않습니다. (A 전시회 : Wikipedia )

로그 점수를 최대화하는 모델을 선택하는 것은 최대 가능성 모델을 선택하는 것과 일치하며, 이는 로그 스코어링을 사용하기위한 좋은 논거처럼 보입니다. 브리 어 또는 구면 채점 또는 기타 채점 규칙에 대해 비슷한 근거가 있습니까? 왜 누군가가 대수 점수가 아닌 이들 중 하나를 사용합니까?


2
몇 가지 힌트는 명명법에 있습니다. "비용 기능"은 최적화 또는 최적의 제어 시스템 엔지니어링에서 비롯됩니다. "최고"는 없습니다. "선"을 갖는다는 것은 선의 척도가 있어야 함을 의미합니다. 선한 척도의 가족은 무한합니다. 사소한 예는 다음과 같습니다. 최고의 경로는 무엇입니까? 당신이 처형을 위해 행진하고 있다면-그것을 오랫동안 즐거운 것으로 만드십시오. Fields 금속으로 가려면 가장 짧게 만드십시오. 시스템 전문 지식을 통해 선량도를 선택할 수 있습니다. 선의 척도가 있으면 "최고"를 찾을 수 있습니다.
EngrStudent-복직 모니카


1
제목을보다 정확하고 유익하게 편집 할 수있는 자유를 얻었습니다. 잘못 해석 한 경우, 죄송합니다. 변경 사항을 되 돌리십시오.
Richard Hardy

답변:


18

왜 누군가가 대수 점수가 아닌 이들 중 하나를 사용합니까?

따라서 이상적으로 는 모델피팅하는 것이 결정을 내리는 것과 항상 구별 됩니다. 베이지안 방법론에서 모델 점수 및 선택은 항상 한계 우도를 사용하여 수행해야합니다 . 그런 다음 모델을 사용하여 확률 적 예측을 수행하고 손실 함수는 해당 예측에 대한 조치 방법을 알려줍니다.

불행하게도 실제 세계에서 계산 성능은 종종 모델 선택과 의사 결정을 혼동하여 손실 함수를 사용하여 모델에 맞도록 지시합니다. 모델 선택의 주관성이 등장하는 곳입니다. 왜냐하면 다른 종류의 실수로 인해 비용이 얼마나 드는지 짐작할 수 있기 때문입니다. 전형적인 예는 암 진단입니다. 누군가의 암 확률을 과대 평가하는 것은 좋지 않지만 과소 평가하는 것은 훨씬 나쁩니다.

또한 점수 규칙을 선택하는 방법에 대한 지침을 찾고 있다면 손실 함수 선택 또는 유틸리티 기능 설계에 대한 지침을 찾고 싶을 수도 있습니다. 더 방대한.


3
1) 브리 어 스코어링은 본질적으로 "변장의 손실 함수"입니다. 즉, 유틸리티-기능에 무관 한 스코어링 / 비교 규칙으로 가장하더라도 사람들이 유형에 대한 특정 선호도를 가지고 있기 때문에 실제로 사용됩니다. 모델이 만드는 오류?
Ben Kuhn

2) 그 이유 때문에 누군가가 로그 점수보다 Brier 또는 구형 점수를 선택할 수있는 설정의 구체적인 예가 있습니까 (= 내가 이해하는 한계 가능성)?
Ben Kuhn

3) 의사 결정시 한계 확률에 맞추고 손실 / 유틸리티 기능을 사용하는 것보다 손실 / 유틸리티 기능 가정을 모델에 적용하는 것이 왜 더 나은가? 이상적인 학습 알고리즘의 경우 이들 사이에 간격이 없어야합니다.
Ben Kuhn

3
1) 예. 2) 개인적으로는 아닙니다. 점수를 매기는 규칙은 내가 작업하는 ML에서 "유행"하지 않습니다. Scholar 에 대해 빠르게 살펴보면 일반적으로 약간 오래된 것 같습니다. 이 논문 은 당신에게 흥미로울 것 같습니다. 3) 성능이란 "예측 성능"이 아니라 "계산 성능"을 의미했습니다.
Andy Jones
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.