통계 및 빅 데이터 auc

3

F1- 점수는 정밀도와 리콜의 조화 평균입니다. 리콜의 y 축은 진정한 양의 비율입니다 (이 또한 리콜입니다). 따라서 분류자가 때때로 리콜은 적지 만 AUC는 매우 높을 수 있습니다. 그 의미는 무엇입니까? AUC와 F1- 점수의 차이점은 무엇입니까?

14 machine-learning precision-recall auc accuracy

1

AUC 대신 정규화 된 Gini Score를 평가로 사용하는 이유는 무엇입니까?

Kaggle의 경쟁 Porto Seguro의 Safe Driver Prediction 은 Normalized Gini Score를 평가 지표로 사용 하므로이 선택에 대한 이유가 궁금합니다. 평가에 AUC와 같은 가장 일반적인 지표 대신 정규화 된 gini 점수를 사용하는 이점은 무엇입니까?

14 classification auc model-evaluation gini

3

ROC AUC (평균)에 대한 두 분류기를 비교하기위한 통계적 유의성 (p- 값), 민감도 및 특이성

100 건의 테스트 세트와 2 개의 분류 기가 있습니다. 두 분류기 모두에 대한 예측을 생성하고 ROC AUC, 감도 및 특이성을 계산했습니다. 질문 1 : 모든 점수 (ROC AUC, 민감도, 특이성)와 관련하여 p- 값을 계산하여 하나가 다른 것보다 훨씬 나은지 확인하려면 어떻게해야합니까? 이제 100 건의 동일한 테스트 집합에 대해 각 사례마다 …

14 machine-learning statistical-significance roc auc sensitivity-specificity

3

AUC의 확률 론적 해석을 도출하는 방법은 무엇입니까?

ROC 곡선 아래의 영역이 분류자가 무작위로 선택된 "긍정적 인"인스턴스 (검색된 예측에서)를 무작위로 선택한 "긍정적 인"인스턴스 (원래의 긍정적 인 클래스에서)보다 높은 순위로 순위를 매기는 이유는 무엇입니까? 적분을 사용하여 수학적으로이 진술을 어떻게 증명하고 CDF와 PDF에 진정한 양수 분포와 음수 분포를 제공합니까?

14 probability roc auc

1

가능성을 최대화하는 로지스틱 회귀 분석이 선형 모델보다 AUC를 최대화해야합니까?

이항 결과 와이∈ { 0 , 1 }엔y∈{0,1}ny\in\{0,1\}^n 및 일부 예측 변수 행렬 X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} 갖는 데이터 세트가 주어지면 표준 로지스틱 회귀 모델 은 이항 우도를 최대화하는 계수 βMLEβMLE\beta_{MLE} 를 추정 합니다. XXX 가 전체 순위 일 때 βMLEβMLE\beta_{MLE} 는 유일하다; 완벽한 분리가 없으면 유한합니다. 이 최대 우도 모델이 ROC …

13 logistic maximum-likelihood auc

1

ROC 곡선이 서로 교차 할 때 두 모델 비교

둘 이상의 분류 모델을 비교하는 데 사용되는 일반적인 방법 중 하나는 ROC 곡선 (AUC) 아래 면적을 성능을 간접적으로 평가하는 방법으로 사용하는 것입니다. 이 경우 AUC가 큰 모델은 일반적으로 AUC가 작은 모델보다 성능이 우수한 것으로 해석됩니다. 그러나 Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ )에 따르면 두 곡선이 서로 교차하면 이러한 비교는 더 이상 …

13 machine-learning classification roc auc model-evaluation

1

랜덤 포레스트 평가 : OOB 대 CV

예를 들어 AUC를 사용하여 랜덤 포레스트의 품질을 평가할 때 백 아웃 샘플 또는 홀드 아웃 교차 검증 세트를 통해 이러한 수량을 계산하는 것이 더 적절합니까? OOB 샘플을 통해 계산하면 더 비관적 인 평가를 제공하지만 그 이유는 알 수 없습니다.

13 cross-validation random-forest auc

1

(d-prime)과 AUC (ROC 곡선 아래 영역) 사이의 연결 ; 기본 가정

기계 학습에서는 시스템 이 두 범주를 얼마나 잘 구별 할 수 있는지를 요약하기 위해 ROC 곡선 아래 영역 (대개 약어 AUC 또는 AUROC)을 사용할 수 있습니다. 신호 검출 이론에서 종종 (감도 지수) 는 비슷한 목적으로 사용됩니다. 이 두 가지는 밀접하게 연결되어 있으며 특정 가정이 충족되면 서로 동등 하다고 생각 합니다.d′d′d' …

13 machine-learning roc auc signal-detection d-prime

2

주사위 계수는 정확도와 동일합니까?

볼륨 유사성 ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) 및 정확성 ( https://en.wikipedia.org/wiki/Accuracy_and_precision )에 대한 주사위 계수를 살펴 봅니다. ). 이 두 측정 값이 동일한 것 같습니다. 이견있는 사람?

13 descriptive-statistics roc accuracy precision-recall auc

3

진단 지표 ( / AUC / 정확도 / RMSE 등) 값을 기준으로 내 모델이 양호 합니까?

내 모델을 장착했으며 그것이 좋은지 이해하려고합니다. 이를 평가하기 위해 권장 측정 항목을 계산했지만 ( / AUC / 정확도 / 예측 오류 등), 해석 방법을 모릅니다. 요컨대, 메트릭을 기반으로 모델이 좋은지 어떻게 알 수 있습니까? 되어 충분한 (예를 들어) 0.6의 날 추론 또는 기본 과학 / 비즈니스 의사 결정을 그릴 진행하도록하려면?R2R2R^2R2R2R^2 …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

이진 분류 문제에서 auc 대 logloss 최적화

결과 확률이 매우 낮은 이진 분류 작업을 수행하고 있습니다 (3 %). AUC 또는 로그 손실로 최적화할지 여부를 결정하려고합니다. 내가 아는 한, AUC는 클래스를 구별하는 모델의 능력을 최대화하는 반면, logloss는 실제 확률과 추정 된 확률 사이의 차이를 불이익을줍니다. 내 작업에서 정밀 정확도를 교정하는 것이 매우 중요합니다. 그래서 logloss를 선택하지만 최고의 log-loss …

12 classification binary-data auc log-loss

2

AUROC 또는 정확도를 기준으로 분류기를 비교 하시겠습니까?

이진 분류 문제가 있고 다른 분류자를 실험합니다. 분류자를 비교하고 싶습니다. 어느 것이 AUC 또는 정확도를 더 잘 측정합니까? 그리고 왜? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning classification auc

1

R / mgcv : te () 및 ti () 텐서 제품이 다른 표면을 생성하는 이유는 무엇입니까?

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

정밀 회수 곡선에 적합한 AUC는 무엇입니까?

매우 불균형 한 데이터 집합 (9 % 긍정적 결과)이 있기 때문에 ROC 곡선보다 정밀 회수 곡선이 더 적합하다고 결정했습니다. PR 곡선 아래에서 면적의 비슷한 요약 측정 값을 얻었지만 (관심이 있다면 .49) 해석 방법을 잘 모르겠습니다. 0.8 이상이 ROC에 대한 좋은 AUC라고 들었습니다.하지만 정밀 리콜 곡선에 대한 AUC의 일반 컷오프는 동일합니까?

11 classification precision-recall auc

4

AUC는 각 클래스에서 무작위로 선택된 인스턴스를 올바르게 분류 할 가능성이 있습니까?

나는이 자막을 종이로 읽었고 AUC가 다른 곳에서는 이런 식으로 묘사 된 것을 본 적이 없다. 이것이 사실입니까? 이것을 볼 수있는 증거 또는 간단한 방법이 있습니까? 그림 2는 수신기 작동 특성 곡선 (AUC) 아래 영역으로 표현 된 이분법 변수의 예측 정확도를 보여줍니다. 이는 각 등급에서 무작위로 선택된 두 명의 사용자 (예 …

11 classification roc auc

«auc» 태그된 질문