로지스틱 회귀 예측 확률을 분류의 신뢰도로 해석 할 수 있음

예측 된 클래스 값과 확률 (예 : 로지스틱 회귀 또는 Naive Bayes)을 출력하는 분류기에서 얻은 사후 확률을 예측 된 클래스 값에 할당 된 일종의 신뢰 점수로 해석 할 수 있습니까?

다른 답변의 상태가 정확하기 때문에 로지스틱 회귀 및 순진한 베이와 같은 모형의보고 된 확률은 클래스 확률의 추정치입니다. 모형이 참이면 확률은 정확한 분류의 확률 일 것입니다.

그러나 모델이 추정되어 올바른 모델이 아니기 때문에 이것이 오도 될 수 있음을 이해하는 것이 중요합니다. 적어도 세 가지 문제가 있습니다.

• 추정치의 불확실성.
• 모델이 잘못되었습니다.
• 편견.

불확실성은 확률이 단지 추정치입니다 단지 어디에나 사실이다. 추정 된 클래스 확률의 신뢰 구간은 (분류가 아닌 클래스 확률의) 불확실성에 대한 아이디어를 제공 할 수 있습니다.

경우 모델이 잘못 그리고 그것을 얼굴, 그것은이다 클래스 확률은 매우 클래스 예측이 좋은 경우에도 오해의 소지가 될 수 있습니다. 로지스틱 회귀는 일부 데이터 포인트가 약간 극단적 인 경우 상당히 분리 된 두 클래스에 대해 클래스 확률을 잘못 얻을 수 있습니다. 분류 측면에서 여전히 잘 작동 할 수 있습니다.$-$$-$

추정 절차가 (의도적으로) 편향 추정치를 제공하는 경우 클래스 확률이 잘못되었습니다. 이것은 로지스틱 회귀 분석을 위해 올가미 및 릿지와 같은 정규화 방법으로 볼 수 있습니다. 교차 검증 된 정규화를 선택하면 분류 측면에서 우수한 성능을 가진 모델이 생성되지만 결과 클래스 확률은 테스트 사례에서 명확하게 과소 평가됩니다 (너무 0.5에 가깝습니다). 반드시 나쁘지는 않지만 알고 있어야합니다.

A에 대한 테스트 케이스 (특정 입력)의 클래스 (이진 출력 레이블 1 말) , 예측 가능성은 시험 예 해당 클래스에 속하는 확률이다. 이러한 많은 테스트 사례에서 클래스 1에 속하는 비율은 예측 확률에 가깝습니다. 신뢰도 에는 신뢰 구간에 대한 의미가 있습니다.

분류자가 확률로 특정 클래스를 예측하면 해당 숫자를 해당 분류의 신뢰도에 대한 프록시로 사용할 수 있습니다. 신뢰 구간과 혼동하지 마십시오. 예를 들어 분류 자 ​​P가 두 경우를 확률 80 % & 60 %로 +1 & -1로 예측하면 -1 분류보다 +1 분류가 더 확실하다고 말하는 것이 옳습니다. p (1-p)에 의해 측정 된 분산은 또한 불확실성의 좋은 척도입니다. 기준 신뢰도는 0이 아니라 50 %입니다.

2 클래스가있는 분류 자 ​​(예 : 2 클래스 선형 판별 또는 로지스틱 회귀 분류기)를 지정하면 두 클래스의 판별 값을 softmax 함수에 적용하여 해당 클래스의 사후 확률을 추정 할 수 있습니다.

P1 = exp (d1) / (exp (d1) + exp (d2))

P1이 클래스 1에 대한 사후 확률 추정치 인 경우, d1 및 d2는 각각 클래스 1과 2에 대한 판별 값입니다. 이 경우 주어진 클래스에 대한 추정 사후 확률은 클래스에 대한 신뢰도로 간주 될 수 있습니다. 주어진 경우 P1은 1-P2와 같습니다.