mAP 메트릭은 무엇이며 어떻게 계산됩니까?

컴퓨터 비전 및 물체 감지에서 일반적인 평가 방법은 mAP입니다. 그것은 무엇이며 어떻게 계산됩니까?

인용은 위에서 언급 한 Zisserman 논문 에서 인용 한 것입니다 -4.2 결과 평가 (페이지 11) :

먼저 "중복 기준"은 0.5보다 큰 교차 결합으로 정의됩니다. (예를 들어, 예측 된 상자가 실측 값 상자와 관련하여이 기준을 충족하면 탐지로 간주됩니다). 그런 다음이 "탐욕스러운"접근 방식을 사용하여 GT 상자와 예측 된 상자간에 일치가 이루어집니다.

방법에 의해 출력 된 탐지는 (감소하는) 신뢰도 출력에 의해 순위가 매겨진 순서대로 중첩 기준을 충족하는 Ground Truth 객체에 할당되었습니다. 이미지에서 동일한 물체에 대한 다중 탐지는 잘못된 탐지로 간주되었습니다. 예를 들어 단일 물체에 대한 5 개의 탐지는 1 개의 올바른 탐지와 4 개의 잘못된 탐지로 계산됩니다.

따라서 각 예측 상자는 참 양성 또는 거짓 양성입니다. 각 실측 상자는 True-Positive입니다. 참 음성이 없습니다.

그런 다음 평균 정밀도는 재현율이 [0, 0.1, ..., 1] 범위에있는 정밀도-재현율 곡선의 정밀도 값을 평균화하여 계산됩니다 (예 : 11 개의 정밀도 값의 평균). 더 정확하게 말하자면, 약간 수정 된 PR 곡선을 고려합니다. 여기서 각 곡선 점 (p, r)에 대해 p '> p 및 r'> = r과 같은 다른 곡선 점 (p ', r')이있는 경우 , p를 해당 포인트의 최대 p '로 대체합니다.

나에게 여전히 불분명 한 것은 (신뢰도가 0이더라도) 감지 되지 않는 GT 상자로 수행되는 작업입니다 . 이것은 정밀도-재현율 곡선이 결코 도달하지 않는 특정 재 호출 값이 있음을 의미하며, 이는 평균 정밀도 계산이 정의되지 않음을 의미합니다.

편집하다:

짧은 대답 : 리콜에 도달 할 수없는 지역에서는 정밀도가 0으로 떨어집니다.

이를 설명하는 한 가지 방법은 신뢰도 임계 값이 0에 가까워 지면 이미지 전체 에서 무한한 수의 예측 경계 상자가 켜진다 고 가정하는 것 입니다. 그런 다음 정밀도는 즉시 0이되고 (GT 상자의 수가 한정되어 있기 때문에) 리콜은 100 %에 도달 할 때까지이 평평한 곡선에서 계속 증가합니다.

mAP는 평균 평균 정밀도입니다.

정보 검색 (참조 [1] [2] ) 및 다중 클래스 분류 (객체 감지) 설정 분야에서 사용 방법이 다릅니다 .

객체 감지를 위해 계산하려면 모델 예측을 기반으로 데이터의 각 클래스에 대한 평균 정밀도를 계산합니다. 평균 정밀도는 클래스의 정밀도-재현율 곡선 아래 영역과 관련이 있습니다. 그런 다음 이러한 평균 개별 클래스 정밀도의 평균을 취하면 평균 평균 정밀도가 제공됩니다.

평균 정밀도를 계산하려면 [3]을 참조하십시오 .

탐지를 위해 하나의 객체 제안이 옳았는지 확인하는 일반적인 방법은 Intersection over Union (IoU, IU)입니다. A 제안 된 객체 픽셀 세트와 실제 객체 픽셀 세트 를 가져 와서 다음을 B계산합니다.

일반적으로 IoU> 0.5는 히트 였음을 의미하고 그렇지 않으면 실패했습니다. 각 클래스에 대해 다음을 계산할 수 있습니다.

• 참 양성 TP (c) : 클래스 c에 대한 제안이 있었고 실제로 클래스 c의 객체가있었습니다.
• False Positive FP (c) : 클래스 c에 대한 제안이 있었지만 클래스 c의 대상이 없습니다.
• 클래스 c의 평균 정밀도 :
  

mAP (평균 평균 정밀도)는 다음과 같습니다.

참고 : 더 나은 제안을 원하면 IoU를 0.5에서 더 높은 값 (완벽한 최대 1.0까지)으로 늘립니다. mAP @ p로이를 나타낼 수 있습니다. 여기서 p \ in (0, 1)은 IoU입니다.

mAP@[.5:.95] mAP가 여러 임계 값에 대해 계산 된 다음 다시 평균화됨을 의미합니다.

편집 : 자세한 정보는 COCO 평가 지표를 참조하십시오.

여기서 중요한 부분은 물체 감지 가 평균 정밀도에 대한 우수한 설명이 하나 이상 존재하는 표준 정보 검색 문제와 동일한 것으로 간주 될 수있는 방법을 연결하는 것이라고 생각합니다 .

일부 객체 감지 알고리즘의 출력은 제안 된 경계 상자 집합이며 각 상자에 대한 신뢰도 및 분류 점수 (클래스 당 하나의 점수)입니다. 지금은 분류 점수를 무시하고 신뢰도를 임계 값 이진 분류 에 대한 입력으로 사용하겠습니다 . 직관적으로 평균 정밀도는 임계 값 / 차단 값에 대한 모든 선택 항목에 대한 집계입니다. 하지만 기다려; 정밀도를 계산하려면 상자가 올바른지 알아야합니다!

이것이 혼란 스럽거나 어려운 곳입니다. 일반적인 정보 검색 문제와 달리 실제로 여기에는 추가 수준의 분류가 있습니다. 즉, 상자간에 정확한 일치를 수행 할 수 없으므로 경계 상자가 올바른지 여부를 분류해야합니다. 해결책은 기본적으로 상자 치수에 대해 하드 코딩 된 분류를 수행하는 것입니다. 우리는 그것이 '올바른'것으로 간주 될만한 근거와 충분히 겹치는 지 확인합니다. 이 부분의 임계 값은 상식에 따라 선택됩니다. 작업중인 데이터 세트는 '올바른'경계 상자에 대한이 임계 값이 무엇인지 정의 할 것입니다. 대부분의 데이터 세트는 0.5 IoU로 설정 하고 그대로 둡니다 (실제로 IoU가 얼마나 엄격한 지 확인하려면 몇 가지 수동 IoU 계산을 수행하는 것이 좋습니다.).

이제 '정확하다'는 의미를 실제로 정의 했으므로 정보 검색과 동일한 프로세스를 사용할 수 있습니다.

평균 평균 정밀도 (mAP)를 찾으려면 해당 상자와 관련된 분류 점수의 최대 값을 기준으로 제안 된 상자를 계층화 한 다음 클래스에 대한 평균 정밀도 (AP)의 평균을냅니다 (평균을 취합니다).

TLDR; 경계 상자 예측이 '올바른'(추가 분류 수준)인지 결정하고 상자 신뢰도가 '올바른'경계 상자 예측 (정보 검색 사례와 완전히 유사 함)에 대해 얼마나 잘 알려주는지 평가하고 다음의 일반적인 설명을 구분합니다. mAP이 의미가 있습니다.

정밀도 / 재현율 곡선 아래의 면적은 평균 정밀도와 동일 하며 본질적으로 적분을 근사하기위한 사다리꼴 또는 오른손 법칙을 사용하여이 면적을 근사화 한다는 점에 주목할 가치가 있습니다.

정의 : mAP → 평균 정밀도

대부분의 물체 감지 대회에서 감지 할 범주가 많으며 모델 평가는 매번 특정 범주에 대해 수행되며 평가 결과는 해당 범주의 AP입니다.

모든 범주를 평가할 때 모든 AP의 평균은 모델의 최종 결과 인 mAP로 계산됩니다.

IOU (Intersection Over Union)는 두 경계 상자 간의 겹침을 평가하는 Jaccard Index를 기반으로하는 측정입니다. IOU를 적용하면 감지가 유효한지 (True Positive) 아닌지 (False Positive)를 알 수 있습니다. 진실 경계 상자는 그들 사이의 결합 영역으로 나뉩니다.