«scoring-rules» 태그된 질문

이것은 여기서 여러 번 간접적으로 묻는 일반적인 질문이지만 단일 정식 답변이 없습니다. 참조를 위해 이에 대한 자세한 답변을 얻는 것이 좋습니다. 모든 분류 중에서 올바른 분류의 비율 인 정확도 는 매우 간단하고 매우 "직관적 인"측정이지만 불균형 데이터에 대한 측정 은 좋지 않을 수 있습니다 . 왜 직관이 우리를 잘못 인도하고이 …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

나는 최근 기계 / 통계학 학습에서 "클래스 불균형 문제"에 대해 많은 생각을하고 있었고, 무슨 일이 일어나고 있는지 이해하지 못하는 느낌에 더 깊이 빠져들고 있습니다. 먼저 용어를 정의 (또는 정의)하려고합니다. 클래스 불균형 문제 기계 / 통계적 학습 1 등급 0 등급의 비율이 매우 기울어 진 경우 일부 분류 (*) 알고리즘이 잘 …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

카운트를 예측하려는 모델을 교차 검증하고 있습니다. 이진 분류 문제인 경우 접기 AUC를 계산하고이 문제가 회귀 문제인 경우 접기 RMSE 또는 MAE를 계산합니다. 포아송 모델의 경우 표본 외 예측의 "정확도"를 평가하기 위해 어떤 오류 메트릭을 사용할 수 있습니까? 예측이 실제 값을 얼마나 잘 정렬하는지 보여주는 AUC의 포아송 확장이 있습니까? 카운트에 대한 …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) 글 : 적절한 채점 규칙을 공식적으로 정의하려면 를 진정한 성공 확률 가진 Bernoulli 시행 의 확률 적 예측 이라고합시다 . 적절한 점수 규칙은 경우 예상 값이 최소화되는 지표입니다 .에프에프f디디d피피p에프= p에프=피f = p 나는 우리가 예측 인들이 그들의 진실한 믿음을 정직하게 반영하는 예측을 생성하도록 장려하고, 그렇지 않으면 …

27 classification  forecasting  scoring-rules 

나는 최근 경쟁 요구 사항에 따라 roc auc 점수가 사용되는 Kaggle 경쟁을 완료했습니다. 이 프로젝트 이전에는 일반적으로 f1 점수를 메트릭으로 사용하여 모델 성능을 측정했습니다. 앞으로이 두 지표 중에서 어떻게 선택해야하는지 궁금합니다. 언제 어떤 것을 사용해야하며 각각의 장단점이 무엇입니까? Btw, 나는 기사를 읽었습니다. AUC와 F1 점수의 차이점은 무엇입니까? 그러나 언제 어느 …

26 machine-learning  modeling  roc  scoring-rules 

적절한 점수 규칙에 대한 대부분의 리소스에는 로그 손실, 브리 어 점수 또는 구면 점수와 같은 여러 가지 점수 규칙이 언급되어 있습니다. 그러나 그들은 종종 그들 사이의 차이점에 대해 많은 지침을 제공하지 않습니다. (A 전시회 : Wikipedia ) 로그 점수를 최대화하는 모델을 선택하는 것은 최대 가능성 모델을 선택하는 것과 일치하며, 이는 …

22 machine-learning  classification  model-selection  theory  scoring-rules 

첫째, 그는 결과의 가능성을 준다. 예를 들어, 미국 선거에 대한 그의 예측 은 현재 82 % 클린턴 대 18 % 트럼프입니다. 이제 트럼프가 이겼어도 그가 승리 한 시간의 18 %만이 아니라는 것을 어떻게 알 수 있습니까? 다른 문제는 그의 확률이 시간이 지남에 따라 변한다는 것입니다. 7 월 31 일 트럼프와 …

19 forecasting  prediction  validation  accuracy  scoring-rules 

적절한 점수 규칙은 '진정한'모델에 의해 극대화되는 규칙이며 시스템을 '헤지'하거나 게임을 할 수 없습니다 (점수를 향상시키기 위해 모델의 진정한 신념에 따라 다른 결과를 의도적으로보고 함). 브리 어 점수는 적절하고 정확성 (비율이 올바르게 분류 됨)이 부적절하며 종종 낙담합니다. 때로는 AUC가 준 정확한 스코어링 규칙이라고 불리는데, 이는 정확성으로 완벽하지는 않지만 적절한 규칙보다 덜 …

16 classification  references  roc  measurement-error  scoring-rules 

나는 최근에 확률 론적 분류 자에 대한 적절한 채점 규칙에 대해 배우고있다. 이 웹 사이트의 여러 스레드는 정확성이 부적절한 점수 규칙이며 로지스틱 회귀와 같은 확률 모델에 의해 생성 된 예측의 품질을 평가하는 데 사용해서는 안된다는 점을 강조했습니다. 그러나 내가 읽은 꽤 많은 학술 논문은 이진 분류 설정에서 (엄격하지 않은) 적절한 …

13 probability  accuracy  scoring-rules 

배경 : 결과 발생 가능성을 예측하는 모델을 교정하는 방법에 대한 몇 가지 훌륭한 질문 / 답변이 있습니다. 예를 들어 브리 어 점수 및 결의, 불확실성 및 신뢰성 으로의 분해 . 교정 플롯 및 등장 회귀 . 이러한 방법은 종종 예측 된 확률에 비닝 방법을 사용해야하므로 결과의 동작 (0, 1)이 평균 …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

어제의 질문 사건 확률을 추정하는 모델의 정확성을 결정 하여 확률 점수에 대해 궁금해했습니다. 찔레 점수 이고 평균 제곱 오차 측정. 유사한 평균 절대 오차 성능 측정이 이름도 있니?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

두 가지 결과 a와 b로 이벤트를 모델링하고 있습니다. a 또는 b가 발생할 확률을 추정하는 모델을 만들었습니다 (예 : 모델이 a가 40 % 확률로 발생하고 b가 60 % 확률로 발생한다고 계산합니다). 모델의 추정치에 대한 시행 결과에 대한 큰 기록이 있습니다. 모델이이 데이터를 얼마나 정확하게 사용하고 있는지 정량화하고 싶습니다. 이것이 가능합니까? 그렇다면 …

12 predictive-models  scoring-rules 

테스트 중심 개발을 프로그래밍하고 수행합니다. 코드를 변경 한 후 테스트를 실행합니다. 때때로 그들은 성공하고 때로는 실패합니다. 테스트를 실행하기 전에 테스트가 성공할 것이라는 신뢰를 위해 0.01에서 0.99 사이의 숫자를 기록합니다. 테스트의 성공 여부를 예측하는 데있어 개선되고 있는지 알고 싶습니다. 테스트가 월요일 또는 금요일에 성공할지 예측하는 것이 더 나은지 여부를 추적 할 …

10 forecasting  decision-theory  calibration  scoring-rules 

예 : 직업 설명에 "영국의 Java Senior Engineer"문장이 있습니다. 나는 2 개 종류로 예측하는 깊은 학습 모델을 사용하려면 : English 와 IT jobs. 기존 분류 모델을 사용하는 경우 softmax마지막 레이어에서 함수가있는 레이블 하나만 예측할 수 있습니다 . 따라서 두 모델 신경망을 사용하여 두 범주 모두에서 "예"/ "아니오"를 예측할 수 있지만 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

분류 문제를 해결하는 일반적인 방법은 후보 모델 클래스를 식별 한 다음 교차 검증과 같은 일부 절차를 사용하여 모델 선택을 수행하는 것입니다. 일반적으로 가장 높은 정확도를 가진 모델을 선택하거나 다음과 같은 문제 별 정보를 인코딩하는 관련 기능을 선택합니다.에프βFβ\text{F}_\beta. 최종 목표가 정확한 분류 자 ​​(정확도의 정의가 다시 문제에 의존하는 경우)를 생성하는 것으로 …

9 machine-learning  model-selection  error  scoring-rules