«model-evaluation» 태그된 질문

테스트 세트를 보유하고 트레이닝 세트에서 모델을 훈련하여 분류 모델의 성능을 평가하는 것에 대해 종종 듣습니다. 그런 다음 예측 된 값과 실제 값을위한 2 개의 벡터를 만듭니다. 분명히 비교를 수행하면 F-Score, Kappa Statistic, Precision & Recall, ROC 곡선 등을 사용하여 예측력으로 모델의 성능을 판단 할 수 있습니다. 이것은 회귀와 같은 수치 …

10 regression  machine-learning  model-evaluation 

데이터 세트를 작업 중입니다. 일부 모델 식별 기술을 사용한 후 ARIMA (0,2,1) 모델을 만들었습니다. R detectIO의 패키지 TSA에 있는 함수를 사용하여 48 번째 원본 데이터 세트에서 혁신적인 이상치 (IO) 를 감지했습니다 . 이 특이 치를 내 모델에 어떻게 통합하여 예측 목적으로 사용할 수 있습니까? R에서 예측할 수 없기 때문에 ARIMAX …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

시계열 예측 작업을하고 있습니다. 두 개의 데이터 세트 및 있습니다. 세 가지 예측 모델이 있습니다. 이러한 모델은 모두 데이터 세트 의 샘플을 사용하여 학습되며 성능은 데이터 세트 의 샘플을 사용하여 측정됩니다 . 성능 지표가 MSE (또는 다른 것)라고 가정 해 봅시다. 데이터 세트 대해 측정 할 때 해당 모델의 MSE …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

기본적으로 거대한 데이터 세트에 대해 배우는 두 가지 일반적인 방법이 있습니다 (시간 / 공간 제한이있는 경우). 부정 행위 :)-훈련을 ​​위해 "관리 가능한"하위 집합 만 사용하십시오. 수익 감소 법칙으로 인해 정확도 손실을 무시할 수 있습니다. 모델의 예측 성능은 모든 교육 데이터가 통합되기 훨씬 전에 평평 해집니다. 병렬 컴퓨팅-문제를 더 작은 부분으로 …

10 machine-learning  large-data  model-evaluation  train 

내가 본 것보다 낫다고 생각하는 아이디어를 테스트하고 싶습니다. 나는 틀릴 수 있지만 내 아이디어를 테스트하고 더 확실한 관찰로 내 의심을 없애고 싶습니다. 내가 생각한 것은 다음과 같습니다. 분포 세트를 분석적으로 정의합니다. 이들 중 일부는 가우시안, 유니폼 또는 Tophat와 같은 쉬운 것입니다. 그러나 이들 중 일부는 심슨 분포와 같이 어렵고 도전적이어야합니다. …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

몇 가지 시간 변수에 대해 훈련 된 Dynamic Naive Bayes Model이 있습니다. 모델의 결과는 P(Event) @ t+1각각의 추정치 t입니다. P(Event)vs 의 도표는 time아래 그림에 나와 있습니다. 이 그림에서 검은 선 은 P(Event)내 모델에서 예측 한대로 나타냅니다 . 수평 적색 라인 이벤트 일어나는의 사전 확률을 나타내고; 그리고 점선 수직선은 시계열에 (오) …

9 time-series  probability  prediction  model-comparison  model-evaluation 

여러 분류자를 사용하여 분류를 수행하는 데이터로 분류 된 2 클래스가 있습니다. 그리고 데이터 세트의 균형이 잘 잡혀 있습니다. 분류 자의 성능을 평가할 때 분류자가 실제 긍정적 인 것뿐만 아니라 실제 부정적인 것을 결정하는 데 얼마나 정확한지 고려해야합니다. 따라서 정확도를 사용하고 분류자가 긍정적으로 편향되고 모든 것을 긍정적으로 분류하면 진정한 부정을 분류하지 …

9 classification  roc  model-evaluation  sensitivity-specificity 

내 데이터에는 로 표시된 클래스 변수가 있습니다. 이 클래스 변수 값은 (이진)입니다. 거의 모든 관측치 는 0입니다 (100 %에 가깝고 더 정확하게는 97 %). 다른 분류 모델에 대한 "성능"테스트를 원합니다 (정확할 수 있음). 내가 두려워하는 것은 항상 관찰을 클래스 0으로 분류하는 분류 모델이 있으면 해당 모델은 다른 변수를 고려하지 않더라도 …

9 classification  binary-data  model-evaluation 

현재 시계열 데이터를 작업 중이며 LOESS / ARIMA 모델을 사용할 수 있다는 것을 알고 있습니다. 데이터는 길이가 1000 인 대기열에 벡터로 기록되며 15 분마다 업데이트됩니다. 따라서 새 데이터가 벡터를 푸시하는 동안 이전 데이터가 튀어 나옵니다. 스케줄러에서 전체 모델을 다시 실행할 수 있습니다. 예를 들어 15 분마다 모델을 다시 학습하십시오. 즉, …

9 time-series  model-evaluation