고정밀 또는 리콜 이진 분류기를 얻기 위해 어떤 손실 함수를 사용해야합니까?

슬라이딩 / 크기 조정 창에 적용된 CNN 이진 분류기를 사용하여 매우 드물게 발생하는 물체 (이미지에서)를 탐지하려고합니다. 균형 잡힌 1 : 1 양의 음수 훈련 및 테스트 세트를 구성했으며 (이 경우 btw입니까?) 분류기는 정확도 측면에서 테스트 세트에서 잘 수행됩니다. 이제 분류기의 리콜 / 정밀도를 제어하고 싶습니다. 예를 들어, 대다수 클래스 발생에 대해 너무 많은 레이블을 잘못 지정하지 않습니다.

분명히 (나를 위해) 해결책은 현재 사용되는 것과 동일한 로지스틱 손실을 사용하는 것이지만 무게 유형 I과 유형 II 오류는 두 경우 중 하나의 손실을 일정 상수에 곱하여 조정할 수 있습니다. 맞아?

추신 : 두 번째 생각에 이것은 일부 훈련 샘플을 다른 것보다 더 가중치를 부여하는 것과 같습니다. 하나 이상의 클래스를 추가하면 생각과 동일한 결과를 얻을 수 있습니다.

균형 잡힌 훈련 세트를 인공적으로 구성하는 것은 논쟁의 여지가 있으며 실제로 논쟁의 여지가 있습니다. 그렇게하면 훈련 세트의 균형을 맞추지 않은 것보다 실제로 더 잘 작동하는지 경험적으로 검증해야합니다. 인위적으로 테스트 세트의 균형을 잡는 것은 좋은 생각이 아닙니다. 테스트 세트는 레이블이없는 새로운 데이터 포인트를 나타내야합니다. 균형이 맞지 않을 것으로 예상되므로 모델이 불균형 테스트 세트를 처리 할 수 ​​있는지 알아야합니다. (새 레코드의 균형이 맞지 않을 것으로 예상되는 경우 기존 레코드가 모두 불균형 인 이유는 무엇입니까?)

실적 통계와 관련하여 언제든지 원하는 정보를 얻을 수 있습니다. 불균형 세트에서 정확도가 가장 중요하지 않은 경우, 클래스뿐만 아니라 오 분류 비용도 불균형하므로 사용하지 마십시오. 정확도를 미터법으로 사용하고 항상 최고의 정확도를 사용하여 모든 모델 선택 및 하이퍼 파라미터 튜닝을 수행 한 경우 정확도를 최적화하는 것입니다.

나는 소수 계층을 긍정적 클래스로 생각합니다. 이것은 그들을 명명하는 일반적인 방법입니다. 따라서 아래에서 논의되는 정밀도와 회수는 소수 계급의 정밀도와 회수입니다.

• 중요한 것은 모든 소수 계급 레코드를 식별하는 것이라면 리콜 할 수 있습니다. 따라서 더 많은 오 탐지를 받아들입니다.
• 정밀도 만 최적화하는 것은 매우 이상한 생각입니다. 당신은 분류 자에게 소수 클래스를 과소 평가하는 것이 문제가 아니라고 말하고있을 것입니다. 높은 정밀도를 얻는 가장 쉬운 방법은 소수 계층을 선언 할 때주의를 기울이는 것입니다.
• 정밀도와 리콜이 필요한 경우 F- 측정을 수행 할 수 있습니다. 이는 정밀도와 리콜 사이의 조화 평균이므로 두 메트릭이 서로 다른 결과에 불이익을줍니다.
• 양방향으로 구체적인 오 분류 비용을 알고 있고 (클래스마다 다른 경우 올바른 분류의 이익) 알면 손실 함수에이를 모두 넣고 최적화 할 수 있습니다.

몇 가지 가정을하고 있습니다. 궁극적 인 목표를 일반적인 용어로 생각한 다음 그 목표를 달성하는 전략을 세우는 것이 가장 좋습니다. 예를 들어 강제 선택 분류가 실제로 필요하고 신호 : 잡음 비율이이를 지원할만큼 충분히 큽니까 (예 : 소리 및 이미지 인식)? 또는 신호 : 잡음비가 낮거나 경향에 관심이 있습니까? 후자의 경우 위험 평가는 당신을위한 것입니다. 선택이 핵심이며 선택한 예측 정확도 메트릭을 결정합니다. 이에 대한 자세한 내용은 http://www.fharrell.com/2017/01/classification-vs-prediction.html 및 http://www.fharrell.com/2017/03/damage-caused-by-classification을 참조 하십시오 . .html .

대부분의 문제는 의사 결정 과 관련이 있으며 최적의 결정은 손실 / 비용 / 유틸리티 기능과 함께 위험 평가에서 비롯됩니다.

위험 (확률) 추정 방법의 가장 좋은 측면 중 하나는 더 많은 데이터를 획득하지 않고 분류 또는 결정을하는 것이 실수 인 그레이 존을 처리 한다는 것입니다. 그리고 확률 추정은 표본을 인위적으로 조작함으로써 결과의 "균형"을 요구하지 않습니다 (심지어 허용하지는 않습니다).

$$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^K\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$$ $j$$k$$f(\cdot)$$x$
$$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^Kw\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$$ $w>1$$w$$w=2$