mAP @ [. 5 : .95] 표기법의 의미는 무엇입니까?

17

감지를 위해 하나의 오브젝트 제안이 올바른지 판별하는 일반적인 방법은 IoU, IU ( Intersection over Union )입니다. 제안 된 객체 픽셀 세트 와 실제 객체 픽셀 세트를 가져 와서 다음을 계산합니다. $A$ $B$

I o U (A, B) = \frac{A \cap B}{A \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

일반적으로 IoU> 0.5는 적중했음을 의미하며, 그렇지 않으면 실패했습니다. 각 클래스에 대해

진 양성 ( ) : 클래스 대한 제안이 있었고 실제로 클래스 의 객체가있었습니다. $TP(c)$ $c$ $c$
False Positive ( ) : 클래스에 대한 제안이 있었지만 클래스의 목적은 없습니다 $FP(c)$ $c$ $c$
클래스 평균 정밀도 : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

mAP (평균 평균 정밀도) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

더 나은 제안을 원한다면 IoU를 0.5에서 더 높은 값 (최대 1.0까지)으로 높이십시오. 이를 mAP @ p로 표시 할 수 있습니다. 여기서 은 IoU입니다. $p \in (0, 1)$

그러나 mAP@[.5:.95]( 이 백서 에서 볼 수 있듯이) 무엇을 의미합니까?

computer-vision

— 마틴 토마
소스

나는 그 [.5:.95]부분이 IoU 값의 범위를 참조한다고 생각 하지만 그 범위가 어떻게 알 수없는 단일 mAP로 평가되는지.

— Neil Slater

@NeilSlater 그런데 왜 상한을 원하십니까? 항상 높은 IoU가 더 좋지 않습니까?

— Martin Thoma 2012

IoU가 더 높은 일치를 달성하는 것이 더 좋지만 모델이 완벽하게 일치하는 항목 (모든 모델에 대해)을 얼마나 잘 설명하는지 측정하면 유용한 값으로 간주되지 않을 수 있습니다. 왜 그것이 알지 못하는 범위에 포함되지 않습니까? 그러나이 경우 mAP가 어떻게 계산되는지 모르겠습니다. 예를 들어 샘플을 기반으로 한 간단한 평균 일 수 있습니다.

— Neil Slater

1

이 이 GitHub의 저장소 에 대한 훌륭한 설명과 IOU , 정밀 , 리콜 , 평균 정밀 및 지도 . 또한 모든 물체 탐지기를 평가하는 코드가 있습니다. 그것은 당신에게 확실히 도움이 될 것입니다 : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](누군가 표시됨 mAP@[.5,.95])은 0.5 내지 0.95, 단계 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95)의 상이한 IoU 임계 값에 대한 평균 mAP를 의미한다.

0.5에서 0.95 ( "0.5 : 0.95"로 작성)의 다른 IoU 임계 값에 대한 평균 mAP 인 새로운 평가 메트릭과 관련된 MS COCO 챌린지가 있습니다. [ 참조 ]

IoU ∈ [0.5 : 0.05 : 0.95] (COCO의 표준 메트릭, 간단히 mAP @ [. 5, .95]로 표시됨) 및 mAP@0.5 (PASCAL VOC의 메트릭)에 대해 평균 된 mAP를 평가합니다. [ 참조 ]

최종 탐지를 평가하기 위해 공식 COCO API [20]를 사용하는데,이 지표는 [0.5 : 0.05 : 0.95]의 IOU 임계 값에 대한 평균 mAP를 측정합니다. [ 참조 ]

coco 의 소스 코드 인 BTW 는 다음을 정확히 보여줍니다 .mAP@[.5:.95]

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)