F1 최적 임계 값은 무엇입니까? 그것을 계산하는 방법?


13

R에서 h2o.glm () 함수를 사용하여 결과에 우발성 테이블을 다른 통계와 함께 제공했습니다. 우발 사태 표는 " F1 최적 임계 값에 기초한 크로스 탭 "입니다.

Wikipedia 는 F1 Score 또는 F Score를 조화와 정밀도의 조화 평균으로 정의합니다. 그러나 로지스틱 회귀의 예측 값 (예 : 결과)이 컷오프를 사용하여 이진으로 변환 된 경우에만 정밀도 및 회수가 발견되지 않습니다.

이제 컷오프를 통해 F1 점수와 최적 임계 값 사이의 연결이 무엇인지 기억합니다. 최적의 임계 값은 어떻게 계산됩니까? F1 최적 임계 값은 어떻게 계산됩니까?

내가 놓친 부분이 있으면 죄송합니다. 여기 통계가 처음입니다.

답변:


22

나는 실제로이 주제에 관한 기계 학습에 관한 첫 번째 논문을 썼습니다. 그 결과 분류기에서 로지스틱 회귀 분석을 위해 보정 된 확률을 출력 할 때 최적의 임계 값이 달성하는 F1 점수의 약 1/2임을 확인했습니다. 이것은 당신에게 직관을 제공합니다. 최적의 임계 값은 0.5를 넘지 않습니다. F1이 .5이고 임계 값이 .5이면 임계 값을 낮추어 F1을 향상시킬 것으로 예상됩니다. 반면에 F1이 0.5이고 임계 값이 0.1 인 경우 F1을 개선하기 위해 임계 값을 늘려야합니다.

모든 세부 사항이 담긴 논문과 F1이 왜 단일 및 다중 라벨의 경우에 최적화하기에 좋은 척도인지 아닌지에 대한 설명은 여기에서 찾을 수 있습니다.

https://arxiv.org/abs/1402.1892

이 게시물이 주목을받는 데 9 개월이 걸렸습니다. 정보가 여전히 유용하기를 바랍니다.


1
F1이> 1 일 수 있습니까? 90 % A, & 10 % ~ A가 있다면 임계 값> .5를 원한다고 생각합니다.
gung-복직 모니카

1
안녕 @ 궁. 정의상 F1 = 2 * p * r / (p + r)이며 모든 F- 베타 측정 값과 마찬가지로 범위는 [0,1]입니다. 클래스 불균형은 F1 점수의 범위를 변경하지 않습니다. 일부 응용 프로그램의 경우 실제로 임계 값이 0.5보다 큰 예측을 원할 수 있습니다. 특히, 오 탐지가 오 탐지보다 나쁘다고 생각 될 때마다 발생합니다. 그러나 이러한 임계 값은 F1 점수를 최적화하지 않습니다. 이유를 이해하기 위해 F1 점수는 정보 검색의 맥락에서 개발되었습니다. 이러한 설정에서 포지티브 클래스는 드물며 일반적으로 오 탐지가 오 탐지만큼 비싸지 않습니다.
Zachary Chase Lipton

@ZacharyChaseLipton 데이터 세트가 train / val / test로 분할되었다고 가정합니다. 확률을 출력하는 분류기의 경우 최상의 F1을 생성하는 임계 값을 검사하여 유효성 검사 세트에서 최적 F1 임계 값을 선택합니다. 임계 값을 선택하는 것이 가장 적합한 모델을 선택하는 것과 비슷해 보이므로 합리적인 것 같습니다. 그것이 올바른 일입니까?
pir

또한 SVM과 같은 확률을 출력하지 않는 분류 기가 있다고 가정합니다. 그렇다면 검증 세트에서 F1을 어떻게 최적화하겠습니까?
pir

질문으로 만들었습니다 : stats.stackexchange.com/questions/283931/…
pir
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.