답변:
리콜이 더 중요 할 때 실제 사례를 알려줄 수 있습니다.
매주 수천 명의 무료 고객이 웹 사이트에 등록하고 있습니다. 콜센터 팀은 모두 전화하기를 원하지만 불가능하기 때문에 구매자가 될 가능성이 높은 사람들을 선택하도록 요청합니다 (고온이 우리를 참조하는 방법입니다). 우리는 사지 않을 사람을 부르는 것을 신경 쓰지 않습니다 (정밀도는 중요하지 않습니다). 그러나 우리에게는 고온의 모든 사람들이 항상 내 선택에있어서 사지 않고 가지 않는 것이 매우 중요합니다. 즉 , 정밀도에 문제가 없는지 여부에 관계없이 내 모델은 리콜 이 높아야합니다 .
도움이 되길 바랍니다! 미겔.
어떤 상황에서는 리콜이 정밀도보다 중요하거나 그 반대 일 수도 있지만 보다 해석 가능한 평가를 위해서는 둘 다 필요합니다.
예를 들어, 의료 커뮤니티에서 @SmallChess가 지적한 바와 같이,가 음성 (false negative)은 일반적으로 예비 진단에 대한 가양 성 (false positive)보다 더 비참합니다. 따라서 리콜이 더 중요한 측정이라고 생각할 수 있습니다. 그러나 100 % 리콜을 수행 할 수는 있지만 쓸모없는 모델이있을 수 있습니다. 모델이 항상 긍정적 인 예측을 출력하면 100 % 리콜을 수행하지만 완전히 정보가 없습니다.
이것이 우리가 여러 메트릭을 보는 이유입니다.
더 중요한 것은 각 오류의 비용이 무엇인지에 달려 있습니다.
정밀성은 직접적인 비용을 수반하는 경향이 있습니다. 허위 긍정이 많을수록 실제 긍정 당 더 많은 비용이 듭니다. 비용이 낮 으면 정밀도는 그다지 중요하지 않습니다. 예를 들어 전자 메일 주소가 1M이고 모든 전자 메일을 보내는 데 10 달러의 비용이들 경우 응답 할 가능성이 가장 높은 사람을 식별하는 대신 시간을 낭비하는 것이 좋습니다.
반면에 리콜은 기회 비용과 관련이 있습니다. 당신은 거짓 부정이있을 때마다 기회를 포기합니다. 따라서 추가적인 정확한 식별의 한계 값이 작을 때 리콜은 가장 중요하지 않습니다. 예를 들어 사과를 사고 싶다고 가정 해 봅시다. 가게에 사과가 100 개 있는데 그 중 10 개가 나쁘다. 좋은 사과의 80 %가 빠진 나쁜 사과를 구별 할 수있는 방법이 있다면 약 18 개의 좋은 사과를 식별 할 수 있습니다. 일반적으로 20 %의 리콜은 끔찍할 수 있지만 5 개의 사과 만 원한다면 다른 72 개의 사과를 놓치는 것은 중요하지 않습니다.
따라서 다음과 같은 경우에 리콜이 가장 중요합니다.
-기회의 수가 적습니다 (좋은 사과가 10 개뿐이라면 리콜 율이 20 % 인 좋은 사과 5 개를 찾지 못할 것입니다)
-기회 사이에 상당한 차이가 있습니다 (일부 사과가 다른 사과보다 낫다면) 그런 다음, 회수율이 20 %이면 5 개의 좋은 사과를 얻을 수 있지만, 반드시 최고의 사과 가 될 필요는 없습니다. )
-
또는
-기회가 많더라도 기회의 한계 이익은 여전히 높습니다. 예를 들어, 대부분의 쇼핑객에게는 18 개 이상의 좋은 사과가 많은 혜택을 미치지 않지만, 상점 에는 18 개 이상의 사과를 판매하려고합니다.
따라서, 행동 비용은 높지만 행동하지 않는 비용은 낮을 때 리콜보다 정밀도가 중요합니다. 이는 "아무 조치도 취하지 않은 비용"대 "아무 조치도 취하지 않은 비용"이 아니라 후보자 당 행동 / 비 행동 비용입니다. 사과의 예에서, 특정 사과를 사거나 사지 않는 비용, 사과를 사지 않는 비용과 사과를 사지 않는 비용; 다른 사과가 많기 때문에 특정 사과를 사지 않는 비용이 저렴합니다. 나쁜 사과를 구입하는 비용은 높지만 특정 좋은 사과를 전달하는 비용은 낮기 때문에이 예에서는 정밀도가 더 중요합니다. 비슷한 후보자가 많을 때 다른 예를 채용 할 수 있습니다.
연기 비용이 낮을 경우 리콜이 정밀도보다 중요하지만 후보를 통과하는 기회 비용은 높습니다. 이전에 제공 한 스팸 사례가 있습니다 (이메일 주소 누락 비용은 높지 않지만 응답하지 않는 사람에게 이메일을 보내는 데 드는 비용은 훨씬 낮음). 또 다른 예는 후보를 식별하는 것입니다. 독감 예방 주사 : 독감 예방 주사를 필요로하지 않는 사람에게 주사를주고, 몇 달러가 들며, 필요한 사람에게 주사를주지 않으면 죽을 수도 있습니다. 이로 인해 건강 관리 계획은 일반적으로 정밀성을 무시하고 독감 예방 주사를 모든 사람에게 제공합니다.
어큐 뮬레이션 은 리콜보다 정밀도의 중요성을 설명하는 더 많은 예제를 제시하는 방법과 그 반대의 방법에 대한 훌륭한 답변을 제공합니다.
다른 답변의 대부분은 리콜의 중요성에 대한 설득력있는 사례를 제시하므로 정밀도의 중요성에 대한 예를 제시 할 것이라고 생각했습니다. 이것은 완전히 가설적인 예이지만 사실입니다.
특정 날이 위성을 발사하기 좋은 날인지 날씨를 기반으로하지 않는지를 예측하기 위해 머신 러닝 모델이 만들어 졌다고 가정 해 봅시다.
모델이 실수로 위성을 발사하기 좋은 날이 잘못되었다고 잘못 예측 한 경우 ( false negative ) 발사 할 기회를 놓치게됩니다. 이것은 그렇게 큰 문제가 아닙니다.
그러나 모델이 좋은 날이라고 예측하지만 실제로 위성을 발사하는 것은 나쁜 날입니다 ( false positive ) 위성이 파괴 될 수 있으며 피해 비용은 수십억 달러입니다.
리콜보다 정밀도가 더 중요한 경우입니다.
나는이 니모닉을 스스로 만들 때까지 정밀도와 리콜의 차이점을 기억하는 데 어려움을 겪었습니다.
reCALL이 CALL 센터에 있기 때문에 정밀 검사는 임신 테스트입니다.
임신 테스트를 통해 테스트 제조업체는 긍정적 인 결과가 여성이 실제로 임신했는지 확인해야합니다. 사람들은 갑자기 결혼하거나 집을 사서 긍정적 인 시험에 반응 할 수 있습니다. 나는 거짓 음성 임신 검사를 한 번 받았는데, 임신을 알기까지 몇 주가 더 걸렸다는 것을 의미했습니다. (펀칭 예정)
이제 보험 청구에 대한 콜센터를 그려보십시오. 대부분의 사기 클레임은 월요일에 전화로, 사기꾼이 공동 작업자와 연결하여 주말에 차를 도난 당했다고 가정합니다. 월요일에 보험 회사가하는 가장 좋은 일은 무엇입니까? 아마도 정확성보다 리콜을 선호하도록 조정해야 할 수도 있습니다. 사기의 일부를 놓치고 지불하지 말아야 할 현금을 지불하는 것보다 더 많은 조사를 위해 더 많은 주장을 긍정적 (사기 가능성)으로 표시하는 것이 훨씬 좋습니다. 경찰 보고서를 주장하고 보안 비디오를 구축 할 수있는 숙련 된 조정자를 지정하면 오탐 (추가 사기로 인해 추가 조사가 있었지만 고객 손실이 실제로 발생했을 가능성이 있음)을 해결할 수 있습니다. 사기꾼
F1은 훌륭하지만 테스트 / 예측이 어떻게 사용되는지 이해하는 것이 정말 중요합니다. 항상 잘못 될 위험이 있기 때문입니다. 잘못된 결과가 얼마나 심각한 지 알고 싶습니다.
Email Spam detection : Recall 보다 Precision 이 더 중요한 예 중 하나입니다 .
빠른 요약 :
정확성 : 긍정적 인 것을 예측할 때, 실제로 긍정적 인 횟수를 알려줍니다. 이므로,
리콜 : 실제 긍정적 인 데이터를 통해 몇 번이나 정확하게 예측했는지 알 수 있습니다.
데는 스팸 메일 (양의 경우)이 발견되지 않은 왼쪽 스팸 폴더로 이동하지 않는 경우 스팸 메일 탐지의 경우, 하나는 괜찮을 것 같네요, 위 말했다 하지만 이메일이 좋은 (음) 인 경우, 다음에 갈 안, 스팸 메세지 함. 즉 Precison이 더 중요합니다. (모델이 스팸 (예 : 스팸)을 예측하는 경우 스팸이 더 좋습니다. 그렇지 않으면 중요한 이메일이 누락 될 수 있습니다).
그것이 명확하기를 바랍니다.