평균 평균 정밀도 vs 평균 역수

MAP을 사용하는 것이 적절한시기와 MRR을 사용해야하는시기를 이해하려고합니다. 이 프레젠테이션에서 MRR은 관련 결과 수가 5 개 미만일 때 가장 잘 활용되고 1 일 때 가장 잘 사용된다는 내용을 발견 했습니다. 다른 경우에는 MAP이 적합합니다. 두 가지 질문이 있습니다.

• 나는 이것이 왜 그런지 정말로 이해하지 못한다.
• 이 주장에 대한 인용 가능한 참고 문헌을 찾을 수 없습니다.

나는 통계적 배경이 매우 없으므로 평신도의 설명이 많은 도움이 될 것입니다. 감사합니다.

어떤 종류의 쿼리가 있고 검색 시스템이 쿼리와 가장 관련이 있다고 생각되는 상위 20 개 항목의 순위 목록을 리턴했다고 가정하십시오. 이제 이것에 대한 진실이 있다고 상상해보십시오. 실제로 20 명 각각에 대해 "예"라고 대답하면 "아니오"라고 대답 할 수 있습니다.

MRR (Mean reciprocal rank) 은 이러한 상황에서 일반적인 품질 척도를 제공하지만 MRR은 단일 등급 관련 항목에만 관심이 있습니다. 시스템이 세 번째로 높은 지점에서 관련 항목을 반환하면 MRR이 관심을 갖습니다. 다른 관련 항목 (있는 경우)의 순위가 4 위인지 20 위인지는 중요하지 않습니다.

따라서 MRR은 (a) 관련 결과가 하나만 있거나 (b) 사용 사례에서 가장 높은 순위에 관심이있는 시스템을 판단하는 데 적합합니다. 예를 들어 사용자가 클릭 할 항목을 찾기 만하면 더 이상 필요하지 않은 일부 웹 검색 시나리오에서 이는 사실 일 수 있습니다. (일반적으로 사실입니까, 아니면 10 개의 꽤 좋은 답변을 반환하는 웹 검색에 더 만족할 것입니까, 클릭하는 사람에 대한 자신의 판단을 내릴 수 있습니다 ...?)

평균 평균 정밀도 (MAP) 는 모든 관련 항목의 순위가 높은지 여부를 고려합니다 . 따라서 상위 20 개의 예에서는 3 번에 관련 답변이 있는지 여부 만 신경 쓰지 않고 해당 목록의 모든 "예"항목이 맨 위로 묶여 있는지 여부도 관리합니다.

데이터 세트에 관련 답변이 하나만있는 경우 MRR과 MAP은 표준 MAP 정의에서 정확히 동일 합니다.

이유를 알아 보려면 이 블로그 게시물 의 예제에서 영감을 얻은 다음 장난감 예제를 고려하십시오 .

실시 예 1

쿼리 : "캘리포니아의 수도"

순위 결과 : "포틀랜드", "새크라멘토", "로스 앤젤레스"

순위 결과 (이진 관련성) : [0, 1, 0]

가능한 정답 수 : 1

$\frac{1}{2}$

1 : 정밀도 $\frac{0}{1}$

2 : 정밀도 $\frac{1}{2}$

3 : 정밀도 $\frac{1}{3}$

$\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$

보다시피 정확히 하나의 정답을 가진 쿼리의 평균 정밀도는 정확한 결과의 역수와 같습니다. 그런 쿼리 모음의 MRR은 MAP과 같습니다. 그러나 다음 예에서 볼 수 있듯이 정답이 두 개 이상이면 상황이 달라집니다.

실시 예 2

쿼리 : "캘리포니아의 도시"

순위 결과 : "포틀랜드", "새크라멘토", "로스 앤젤레스"

순위 결과 (이진 관련성) : [0, 1, 1]

가능한 정답 수 : 2

$\frac{1}{2}$

1 : 정밀도 $\frac{0}{1}$

2 : 정밀도 $\frac{1}{2}$

3 : 정밀도 $\frac{2}{3}$

$\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$

따라서이 경우 MRR 대 MAP의 선택은 전적으로 정확한 적중 후 순위가 영향을 받는지 여부에 달려 있습니다.