엣지 케이스의 정밀도 및 리콜에 대한 올바른 값은 무엇입니까?

20

정밀도는 다음과 같이 정의됩니다.

p = true positives / (true positives + false positives)

로, 즉를 정확 true positives하고 false positives, 정밀도가 한 접근 방식 0?

리콜에 대한 동일한 질문 :

r = true positives / (true positives + false negatives)

현재이 값을 계산 해야하는 통계 테스트를 구현 중이며 때로는 분모가 0 일 때 발생 하며이 경우 반환 할 값이 궁금합니다.

추신 : 내가 사용하고 싶었, 부적절한 태그를 실례 recall, precision그리고 limit,하지만 난 아직 새 태그를 만들 수 없습니다.

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

— 비욘 폴 렉스
소스

제한 태그가 필요하지 않다고 생각합니다.

아마도 일부 진단 절차의 성능을 수치화하려고 시도하고 있습니다. d ', A'또는 ROC 곡선 아래 영역과 같은 적절한 신호 감지 이론 메트릭을 사용하지 않는 이유가 있습니까?

— Mike Lawrence

3

@Mike, precision 및 recall은 ROC 또는 특히 특이성이 높은 정보 검색 (예 : 이미 많은 수의 오 탐지를 기대하기 때문에 사용하기 어려운 경우)에서 일반적인 평가 지표입니다.

— user979

17

혼동 매트릭스가 주어지면 :

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

우리는 그것을 알고 있습니다 :

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

분모가 0 인 경우를 고려해 보겠습니다.

TP + FN = 0 : 입력 데이터에 긍정적 인 사례가 없음을 의미
TP + FP = 0 : 모든 인스턴스가 음성으로 예측됨을 의미

— 암로
소스

9

답변 확장 : TP = 0 (두 경우 모두) 인 경우,이 방법이 모두 진정한 긍정적 인 것을 발견하지 못했기 때문에 재 호출은 1입니다. FP가 있으면 정밀도는 0이고, 그렇지 않으면 1입니다.

11

대답은 '예'입니다. 정의되지 않은 엣지 사례는 P (P)와 R (모두)의 분모에 있으므로 TP (참 양성)가 0 일 때 발생합니다.

TP의 100 %가 발견되었으므로 FN = 0 일 때의 리콜 = 1
가짜 결과가 없었기 때문에 FP = 0 일 때 정밀도 = 1

이것은 @mbq의 의견을 재구성 한 것입니다.

— 존 레만
소스

3

다른 용어에 익숙합니다. 당신이 정밀도라고 부르는 것은 긍정적 예측 가치 (PPV)입니다. 그리고 당신이 부르는 것은 감도 (Sens)라고 부릅니다. :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

민감도 (호출)의 경우 분모가 0이면 (Amro가 지적한대로) 긍정적 인 경우가 없으므로 분류는 의미가 없습니다. TP 또는 FN이 0이되는 것을 멈추지 않습니다. 1 또는 0의 제한 감도가 발생합니다.이 점은 각각 ROC 곡선의 오른쪽 위와 왼쪽 아래에 있습니다 (TPR = 1 및 TPR = 0). )

PPV의 한계는 의미가 있습니다. 모든 경우가 음성으로 예측 될 수 있도록 테스트 컷오프를 너무 높게 (또는 낮게) 설정할 수 있습니다. 이것이 ROC 곡선의 원점입니다. 컷오프가 원점에 도달하기 직전에 PPV의 제한 값은 원점 직전에 ROC 곡선의 최종 세그먼트를 고려하여 추정 할 수 있습니다. (이것은 ROC 곡선이 노이즈로 악명이 높기 때문에 모델링하는 것이 좋습니다.)

예를 들어 100 개의 실제 포지티브와 100 개의 실제 네거티브가 있고 ROC 곡선의 최종 세그먼트가 TPR = 0.08, FPR = 0.02에서 접근하면 제한 PPV는 PPR ~ 0.08 * 100 / (0.08 * 100 + 0.02 * 100입니다. ) = 8/10 = 0.8, 즉 진정한 양성일 확률의 80 %.

실제로 각 샘플은 ROC 곡선의 세그먼트로 표시됩니다 (실제 음수의 경우 수평, 실제 양수의 경우 수직). 원점 이전의 마지막 세그먼트에 의해 제한 PPV를 추정 할 수 있지만, 마지막 샘플이 참 양성인지 거짓 양성 (실제 음성)인지에 따라 1, 0 또는 0.5의 추정 PPV를 제공합니다. TP와 FP가 동일합니다. 데이터가 양이 정상이라고 가정하면 모델링 방식이 더 나을 것입니다. 일반적인 가정은 다음과 같습니다. http://mdm.sagepub.com/content/8/3/197.short

— 틸라 콜로
소스

1

"접근 0"의 의미에 따라 다릅니다. 오 탐지와 오 탐지가 모두 오 탐지보다 빠른 속도로 0에 가까워지면 두 질문에 모두 예입니다. 그러나 그렇지 않다면 반드시 그런 것은 아닙니다.

— 롭 헨 드먼
소스

나는 정말로 비율을 모른다. 솔직히 말하면 내 프로그램이 0으로 나뉘어져 서 그 사건을 어떻게 든 처리해야한다는 것입니다.

— Björn Pollex