나는 최근에 확률 론적 분류 자에 대한 적절한 채점 규칙에 대해 배우고있다. 이 웹 사이트의 여러 스레드는 정확성이 부적절한 점수 규칙이며 로지스틱 회귀와 같은 확률 모델에 의해 생성 된 예측의 품질을 평가하는 데 사용해서는 안된다는 점을 강조했습니다.

그러나 내가 읽은 꽤 많은 학술 논문은 이진 분류 설정에서 (엄격하지 않은) 적절한 채점 규칙의 예로서 오 분류 손실을주었습니다. 내가 찾을 수있는 가장 명확한 설명은 7 페이지 하단에 있는 이 백서 에있었습니다. 이해를 돕기 위해 오 분류 손실을 최소화하는 것은 정확성을 최대화하는 것과 같습니다. 그리고 논문의 방정식은 직관적으로 이해됩니다.

예를 들어, 논문 표기법을 사용하여 관심 클래스의 실제 조건부 확률 (일부 특징 벡터 x가 주어진 경우 )이 η = 0.7 인 경우 예측 q > 0.5는 예상 손실 R (η | q ) = 0.7 (0) + 0.3 (1) = 0.3이며, q 0.5이면 예상 손실이 0.7입니다. 따라서 손실 함수는 q = η = 0.7 에서 최소화 되고 결과적으로 적절합니다. 진정한 조건부 확률과 예측의 전체 범위에 대한 일반화는 거기에서 충분히 간단 해 보입니다.$\leq$

위의 계산과 진술이 정확하다고 가정하면, 고유하지 않은 최소값과 0.5 이상의 동일한 예상 최소 손실을 공유하는 모든 예측은 명백합니다. 나는 여전히 로그 점수, 브리 어 점수 등과 같은 전통적인 대안에 비해 정확도를 사용할 이유가 없다. 그러나 이진 설정에서 확률 모델을 평가할 때 정확도가 적절한 점수 규칙이라고 말하는 것이 옳은가? 실수-잘못 분류 손실에 대한 나의 이해 또는 정확성과 동일시?

TL; DR

정확도는 부적절한 점수 규칙입니다. 사용하지 마십시오.

약간 긴 버전

실제로 정확도는 득점 규칙이 아닙니다. 따라서 (엄격히) 적절한 지 묻는 것은 카테고리 오류입니다. 우리가 말할 수있는 가장 큰 것은 추가 가정 하에서 정확성이 부적절하고 불 연속적이며 오도하는 점수 규칙과 일치한다는 것입니다. (사용하지 마십시오.)

혼란

귀하의 혼동은 귀하가 인용 한 논문에 따른 오 분류 손실도 점수 규칙이 아니라는 사실에서 비롯됩니다.

세부 사항 : 스코어링 규칙 대 분류 평가

용어를 고쳐 보자. 우리는 이진 결과 관련 , 우리는 확률 예측이 Q = P ( Y = 1 ) ∈ ( 0 , 1 ) . 우리는 알고 P ( Y = 1 ) = η > 0.5 하지만 우리의 모델 q는 나 알고하지 않을 수도 있습니다.$y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$

채점 규칙 확률 예측 소요 매핑 Q 및 결과 (Y)를 , 손실에$\widehat{q}$$y$

$$s\colon (\widehat{q},y) \mapsto s(\widehat{q},y).$$

$s$$\widehat{q}=\eta$$s$$\widehat{q}=\eta$

$s$$\widehat{q}_i$$y_i$

$\widehat{y}\in\{0,1\}$

$$a\colon (\widehat{y},y)\mapsto a(\widehat{y},y) = \begin{cases} 1, & \widehat{y}=y \\ 0, & \widehat{y} \neq y. \end{cases}$$

따라서 정확도는 점수 규칙이 아닙니다 . 분류 평가입니다. (이것은 방금 발명 한 용어이므로 문헌에서 찾지 마십시오.)

$\widehat{q}$$\widehat{y}$$\theta$

$$\widehat{y}(\widehat{q},\theta) := \begin{cases} 1, & \widehat{q}\geq \theta \\ 0, & \widehat{q}<\theta. \end{cases}$$

$\theta=0.5$$\widehat{q}_i$$y_i$

$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

$\widehat{y}$$\widehat{q}$

$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

$\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$$\widehat{q}\geq\theta$

따라서 정확성 또는 오 분류 손실이 오도 될 수 있습니다.

또한 결과가 iid가 아닌 더 복잡한 상황에서는 추가 가정 하에서 정확성과 오 분류 손실 이 부적절합니다. Frank Harrell은 자신의 블로그 게시물에서 분류 정확도 및 기타 비 연속적 부정확 한 정확도 점수 규칙으로 인한 손상이 올바른 조건부 예측에 의해 최적화 되지 않았기 때문에 정확도 또는 오 분류 손실을 사용하면 모델이 잘못 지정 될 수있는 사례 중 하나를 인용합니다. 개연성.

$\theta$

자세한 내용은 분류 모델을 평가할 때 정확도가 왜 최상의 척도가 아닌가?를 참조하십시오. .

결론

정확성을 사용하지 마십시오. 오 분류 손실도 없습니다.

nitpick : "엄격한"vs. "엄격한"

"엄격한"적절한 채점 규칙 또는 "엄격한"적절한 채점 규칙에 대해 이야기해야합니까? "엄격한"은 "점수 규칙"이 아닌 "적절한"을 수정합니다. ( "적절한 채점 규칙"및 "엄격한 채점 규칙"은 있지만 "엄격한 채점 규칙"은 없습니다.) "엄격하게"는 형용사가 아닌 부사이어야하며 "엄격하게"사용해야합니다. 문헌, 예를 들어 틸만 그네 팅 (Tilmann Gneiting)의 논문에서보다 일반적이다.