«roc» 태그된 질문

이 질문은 상관 척도의 존재 하에서 이진 종점을 예측하기 위해 다차원 스크리닝 설문지에서 컷오프 점수를 추정하는 것에 관한 것입니다. 알코올 중독 검사에 사용될 수있는 측정 척도 (개인 특성)의 각 차원에서 컷오프 점수를 고안 할 때 관련 하위 점수를 제어하는 ​​데 관심이있었습니다. 즉,이 특정한 경우에, 사람은 외부 공변량 (예측 자)에 대한 …

20 epidemiology  roc 

가능한 한 예를 들어 회귀 분석과 곡선 피팅 (선형 및 비선형)의 실제 차이점을 나에게 설명해 줄 수 있습니까? 두 변수 (종속 대 독립) 사이의 관계를 찾은 다음 제안되는 모델과 관련된 매개 변수 (또는 계수)를 결정하려고합니다. 예를 들어 다음과 같은 데이터 세트가있는 경우 : Y = [1.000 1.000 1.000 0.961 0.884 …

17 regression  multiple-regression  fitting  roc  curve-fitting 

방금 이 토론을 읽었습니다 . 그들은 PR AUC가 불균형 데이터 세트에서 ROC AUC보다 낫다고 주장합니다. 예를 들어 테스트 데이터 세트에 10 개의 샘플이 있습니다. 9 개의 샘플은 양수이고 1은 음수입니다. 모든 것을 긍정적으로 예측하는 끔찍한 모델이 있습니다. 따라서 TP = 9, FP = 1, TN = 0, FN = 0이라는 …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

적절한 점수 규칙은 '진정한'모델에 의해 극대화되는 규칙이며 시스템을 '헤지'하거나 게임을 할 수 없습니다 (점수를 향상시키기 위해 모델의 진정한 신념에 따라 다른 결과를 의도적으로보고 함). 브리 어 점수는 적절하고 정확성 (비율이 올바르게 분류 됨)이 부적절하며 종종 낙담합니다. 때로는 AUC가 준 정확한 스코어링 규칙이라고 불리는데, 이는 정확성으로 완벽하지는 않지만 적절한 규칙보다 덜 …

16 classification  references  roc  measurement-error  scoring-rules 

사용할 성능 측정, ROC 곡선 아래 영역 (FPR의 함수로서 TPR) 또는 정밀 회수 곡선 아래 영역 (리콜 함수로서의 정밀도)에 대해 의문이 있습니다. 내 데이터가 불균형합니다. 즉, 부정적인 인스턴스의 수가 긍정적 인 인스턴스보다 훨씬 많습니다. weka의 출력 예측을 사용하고 있으며 샘플은 다음과 같습니다. inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 5,2:0,2:0,0.97 6,2:0,2:0,0.896 7,2:0,2:0,0.973 …

16 r  machine-learning  roc  precision-recall  auc 

진단 시스템을위한 ROC 곡선을 구성했습니다. 곡선 아래 면적은 비모수 적으로 AUC = 0.89 인 것으로 추정되었다. 최적의 임계 값 설정 (점 (0, 1)에 가장 가까운 지점)에서 정확도를 계산하려고 할 때 진단 시스템의 정확도는 0.8로 AUC보다 작습니다! 최적의 임계 값과는 다른 다른 임계 값 설정에서 정확도를 확인했을 때 정확도는 0.92와 같습니다. …

16 roc  reliability  accuracy  auc 

AUC-ROC 값이 0-0.5 일 수 있습니까? 모델이 0에서 0.5 사이의 값을 출력합니까?

16 roc  model-evaluation  auc 

caretR 의 패키지를 통해 그라디언트 부스팅 머신 알고리즘을 실험하고 있습니다 . 소규모 대학 입학 데이터 세트를 사용하여 다음 코드를 실행했습니다. library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

기계 학습 과정을 공부하고 있는데 강의 슬라이드에는 권장 도서와 모순되는 내용이 포함되어 있습니다. 문제는 다음과 같습니다. 세 가지 분류 기가 있습니다. 낮은 범위의 임계 값에서 더 나은 성능을 제공하는 분류기 A 더 높은 범위의 임계 값에서 더 나은 성능을 제공하는 분류기 B 분류기 C p-coin을 뒤집고 두 분류기에서 선택하여 얻는 …

15 machine-learning  probability  data-visualization  classification  roc 

하나의 데이터 세트 (모델 구축 데이터 세트)에서 특정 질병의 발생에 대한 예측 모델을 구성했으며 이제 새 데이터 세트 (유효성 검증 데이터 세트)에서 모델이 얼마나 잘 작동하는지 확인하려고합니다. 로지스틱 회귀로 작성된 모델의 경우 모델 빌딩 데이터 세트에서 얻은 모델 계수를 기반으로 유효성 검사 데이터 세트의 각 사람에 대한 예측 확률을 계산 …

15 predictive-models  cross-validation  survival  roc 

ROC 곡선의 장점은 무엇입니까? 예를 들어 바이너리 분류 문제 인 일부 이미지를 분류하고 있습니다. 약 500 개의 기능을 추출하고 기능 선택 알고리즘을 적용하여 기능 세트를 선택한 다음 분류를 위해 SVM을 적용했습니다. 이 경우 어떻게 ROC 곡선을 얻을 수 있습니까? 기능 선택 알고리즘의 임계 값을 변경하고 ROC 곡선을 그리려면 출력의 감도와 …

15 machine-learning  roc 

기계 학습 알고리즘을 사용하여 약 10,000 건에 대해 반복 (10 배) 계층화 된 10 배 교차 검증을 사용할 계획입니다. 반복 할 때마다 다른 임의의 시드로 수행됩니다. 이 과정에서 각 사례에 대해 10 개의 확률 추정치 인스턴스를 작성합니다. 10 배 교차 검증의 10 회 반복 각각에 대한 1 개의 확률 추정치 …

15 roc 

100 건의 테스트 세트와 2 개의 분류 기가 있습니다. 두 분류기 모두에 대한 예측을 생성하고 ROC AUC, 감도 및 특이성을 계산했습니다. 질문 1 : 모든 점수 (ROC AUC, 민감도, 특이성)와 관련하여 p- 값을 계산하여 하나가 다른 것보다 훨씬 나은지 확인하려면 어떻게해야합니까? 이제 100 건의 동일한 테스트 집합에 대해 각 사례마다 …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

SAS의 데이터에 로지스틱 회귀를 적용했으며 여기에 ROC 곡선 및 분류 표가 있습니다. 나는 분류 표의 수치에 익숙하지만 roc 곡선과 그 아래 영역이 무엇을 나타내는 지 정확히 알지 못합니다. 모든 설명은 크게 감사하겠습니다.

14 regression  logistic  classification  roc 

ROC 곡선에 대한 최적의 컷 포인트를 계산하는 방법을 이해하려고합니다 (감도 및 특이성이 최대화되는 값). aSAH패키지 의 데이터 세트 를 사용하고 pROC있습니다. outcome변수는 두 개의 독립 변수에 의해 설명 될 수있다 : s100b및 ndka. Epi패키지 의 구문을 사용하여 두 가지 모델을 만들었습니다. library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) 출력은 다음 두 …

14 r  roc  sensitivity-analysis  sensitivity-specificity