«validation» 태그된 질문

Matlab에서 신경망 도구 상자를 사용할 때 혼란 스럽습니다. 원시 데이터 세트를 세 부분으로 나누었습니다. 훈련 세트 검증 세트 테스트 세트 많은 훈련 또는 학습 알고리즘에서 데이터는 종종 훈련 세트와 테스트 세트의 두 부분으로 나뉩니다. 내 질문은 : 검증 세트와 테스트 세트의 차이점은 무엇입니까? 유효성 검사가 실제로 신경망에만 적용됩니까? 또는 선택 …

431 machine-learning  validation 

나에게 홀드 아웃 유효성 검사는 쓸모없는 것 같습니다. 즉, 원래 데이터 세트를 두 부분으로 나누고 (훈련 및 테스트) 테스트 점수를 일반화 척도로 사용하는 것은 다소 쓸모가 없습니다. K- 폴드 교차 검증은 일반화에 대해 더 나은 근사치를 제공하는 것으로 보입니다 (모든 지점에서 학습하고 테스트하므로). 그렇다면 표준 보류 검증을 사용하는 이유는 무엇입니까? …

54 machine-learning  cross-validation  validation 

"빅 데이터"는 미디어 어디에나 있습니다. KDNuggets는 2012 년의 뜨거운 주제에 대한 설문 조사와 같이 "빅 데이터"가 2012 년에 가장 중요한 것이라고 말합니다 . 그러나 나는 여기에 깊은 우려가 있습니다. 빅 데이터를 사용하면 모든 것이 무엇이든 기뻐하는 것 같습니다 . 그러나 우리는 가설 검정 및 대표 표본 추출과 같은 모든 고전적인 …

40 data-mining  dataset  large-data  validation 

군집 분석의 가장 큰 문제 중 하나는 사용 된 다른 군집 방법 (계층 군집의 다른 연결 방법 포함)을 기반으로 다른 결론을 도출해야 할 수도 있다는 것 입니다. 이 방법 에 대한 귀하의 의견을 알고 싶습니다- 어떤 방법을 선택하고 어떻게 해야합니까 ? "클러스터링의 가장 좋은 방법은 정답을 제공하는 것입니다."라고 말할 수 …

35 clustering  validation  model-evaluation  hierarchical-clustering 

내가 본 일부 강의 및 자습서 에서는 데이터를 교육, 유효성 검사 및 테스트의 세 부분으로 나누는 것이 좋습니다. 그러나 테스트 데이터 세트를 어떻게 사용해야하는지, 전체 데이터 세트에 대해 교차 검증보다이 방법이 더 나은 방법은 명확하지 않습니다. 데이터의 20 %를 테스트 세트로 저장했다고 가정 해 봅시다. 그런 다음 나머지를 가져 와서 …

25 machine-learning  cross-validation  validation 

훈련 세트에 대해 여러 모델을 훈련시키고 교차 검증 세트를 사용하여 최상의 모델을 선택하고 테스트 세트에서 성능을 측정했다고 가정합니다. 이제 최종 최고의 모델이 하나 있습니다. 사용 가능한 모든 데이터 또는 훈련 세트에 대해서만 훈련 된 선박 솔루션에 대해 교육해야합니까? 후자의 경우 왜? 업데이트 : @ P.Windridge가 지적했듯이 재교육 모델을 배송하는 것은 …

23 machine-learning  validation  regression-strategies 

과학은 재현 할 수 있어야하므로 정의에 따라 데이터와 코드가 데이터와 코드 공유를 위해 Yale Roundtable에서 논의한 것처럼 재현성의 필수 구성 요소라는 인식이 높아지고 있습니다. 데이터 및 코드 공유가 필요없는 저널의 원고를 검토 할 때 데이터 및 코드를 사용할 수 있도록 요청할 수 있습니까 검토 할 때 나에게 출판 당시 공개적으로 …

23 dataset  validation  reproducible-research  journals 

k- 폴드 유효성 검사에 대해 읽었으며 작동 방식을 이해하고 싶습니다. 홀드 아웃 방법의 경우 데이터가 세 세트로 분할되며 테스트 세트는 모델 성능을 평가하기 위해 맨 마지막에만 사용되는 반면 검증 세트는 하이퍼 파라미터 등을 조정하는 데 사용됩니다. k-fold 방법에서, 우리는 여전히 최종 테스트 세트를 유지하고 훈련 및 하이퍼 파라미터 튜닝을 위해 …

21 cross-validation  validation  out-of-sample 

크로스 밸리데이션 외부에서 하이퍼 파라미터 튜닝을 수행하면 성능을 측정하는 데 사용하는 데이터 세트가 기능을 튜닝하는 데 사용한 것과 동일하므로 바이어스 유효성이 높은 외부 유효성 추정치가 발생할 수 있습니다. 내가 궁금한 것은 이것이 얼마나 나쁜 문제인지 입니다. 튜닝 할 매개 변수가 매우 많기 때문에 기능 선택이 실제로 얼마나 나쁜지 이해할 수 …

20 cross-validation  validation  hyperparameter 

전통적인 잦은 통계 영역에서 예측 모델을 검증하기위한 방법 및 소프트웨어 개발에 많은 시간을 투자했습니다 . 더 많은 베이지안 아이디어를 실천하고 가르치면서 나는 수용해야 할 몇 가지 중요한 차이점을 봅니다. 먼저, 베이지안 예측 모델링은 분석가에게 후보 기능에 맞게 사용자 정의 할 수있는 이전 분포에 대해 열심히 생각하도록 요구하며, 이러한 사전은 모델을 …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

첫째, 그는 결과의 가능성을 준다. 예를 들어, 미국 선거에 대한 그의 예측 은 현재 82 % 클린턴 대 18 % 트럼프입니다. 이제 트럼프가 이겼어도 그가 승리 한 시간의 18 %만이 아니라는 것을 어떻게 알 수 있습니까? 다른 문제는 그의 확률이 시간이 지남에 따라 변한다는 것입니다. 7 월 31 일 트럼프와 …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Scikit에는 CalibratedClassifierCV 가있어 특정 X, y 쌍에서 모델을 교정 할 수 있습니다. 또한 명확하게data for fitting the classifier and for calibrating it must be disjoint. 그들이 분리되어 있어야한다면, 분류기를 다음과 같이 훈련시키는 것이 합법적인가? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) 나는 동일한 훈련 세트를 사용함으로써 disjoint data규칙을 어 기고 있다는 것을 …

16 cross-validation  scikit-learn  validation  train  calibration 

데이터를 테스트 세트와 검증 세트로 나누는 이유를 이해합니다. 또한 분할 규모는 상황에 따라 다르지만 일반적으로 50/50에서 90/10까지 다양합니다. 철자를 수정하고 ~ 5m 문장의 데이터 세트로 시작하기 위해 RNN을 만들었습니다. 나는 500k 문장을 깎고 나머지 ~ 4.5m 문장으로 훈련합니다. 훈련이 끝나면 검증 세트를 가져와 정확도를 계산합니다. 흥미로운 점은 유효성 검사 세트의 …

15 machine-learning  neural-networks  validation 

순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

"부트 스트랩 유효성 검사"/ "리샘플링 교차 유효성 검사"는 처음이지만 이 질문 에 대한 답변으로 논의되었습니다 . 시뮬레이션 데이터의 크기가 실제 데이터와 동일한 크기가 될 때까지 대체로 리샘플링하여 주어진 시뮬레이션 데이터 세트가 실제 데이터에서 생성되는 실제 데이터와 시뮬레이션 데이터의 두 가지 유형의 데이터를 수집합니다. 이러한 데이터 유형을 사용하는 두 가지 접근법을 …

15 cross-validation  bootstrap  validation  resampling