F1 / 주사위 점수 vs IoU

F1 점수, 주사위 점수 및 IoU (노조에 대한 교차점)의 차이에 대해 혼란 스러웠습니다. 지금까지 나는 F1과 Dice가 같은 것을 의미한다는 것을 알았고 (오른쪽?) IoU는 다른 두 가지와 매우 유사한 공식을 가지고 있습니다.

• F1 / 주사위 : $$\frac{2TP}{2TP+FP+FN}$$
• IoU / 자카드 : $$\frac{TP}{TP+FP+FN}$$

F1이 실제 양성에 가중치를 부여한다는 점을 제외하고는 실질적인 차이점이나 주목할만한 것이 있습니까? 하나만 사용하고 다른 쪽은 사용하지 않는 상황이 있습니까?

당신은 올바른 길을 가고 있습니다.

그러나 기계 학습으로 분류를 일반적으로 적용 할 수있는 더 강력한 진술이 있습니다. 고정 된 "지상 진실"에 대해 두 메트릭은 항상 양의 상관 관계가 있습니다. 즉, 분류 자 ​​A가 한 메트릭에서 B보다 낫다면 다른 메트릭에서 분류 자 ​​B보다 낫습니다.

그런 다음 두 메트릭이 기능적으로 동일하므로 그 중에서 선택하는 것은 임의적이지만 빠르지는 않다는 결론을 내릴 것입니다! 문제는 일련의 추론에 대해 평균 점수를 얻을 때 발생합니다 . 그러면 어떤 경우에 대해 분류기 B가 A보다 얼마나 나쁜지를 정량화 할 때 차이가 나타납니다 .

일반적으로 IoU 지표는이 하나의 인스턴스가 나쁘다는 데 둘 다 동의 할 수있는 경우에도 불량 분류의 단일 인스턴스를 F 점수보다 더 많은 양으로 벌칙을 부과하는 경향이 있습니다. L2가 L1보다 더 큰 실수를 페널티하는 방법과 유사하게 IoU 메트릭은 F 점수와 관련된 오류에 "제곱"효과를 갖는 경향이 있습니다. 따라서 F 점수는 평균 성능에 가까운 것을 측정하는 반면 IoU 점수는 최악의 성능에 가까운 것을 측정합니다.

예를 들어, 대부분의 추론이 B보다 분류 자 ​​A에 비해 적당히 우수하지만 그 중 일부는 분류 자 ​​A를 사용하면 상당히 나빠진다고 가정하십시오. 분류기 B.

확실히,이 두 지표는 서로 다른 것보다 훨씬 비슷합니다. 그러나 둘 다 많은 추론에 대해 이러한 점수의 평균을 취한다는 관점에서 또 다른 단점이 있습니다. 둘 다 실제 근거가 아닌 진실의 긍정적 세트로 세트의 중요성을 과장합니다. 이미지 분할의 일반적인 예에서 이미지에 감지 가능한 클래스의 단일 픽셀 만 있고 분류자가 해당 픽셀과 다른 하나의 픽셀을 감지하면 F 점수는 2/3로 낮고 IoU는 1 / 2. 이와 같은 사소한 실수는 이미지 세트에서 얻은 평균 점수를 심각하게 지배 할 수 있습니다. 즉, 각 픽셀 오류를 동일하게 취급하지 않고 선택된 / 관련 세트의 크기에 반비례하여 가중치를 둡니다.

이 문제를 피하는 훨씬 간단한 메트릭이 있습니다. 총 오류 : FN + FP를 사용하십시오 (예 : 이미지 픽셀의 5 %가 잘못 분류 됨). 하나가 다른 것보다 더 중요한 경우 가중 평균을 사용할 수 있습니다.$c_0$$c_1$