«validation» 태그된 질문

두 가지 모델 (h2o AutoML을 사용하는 이진 분류기)을 훈련했으며 사용할 모델을 선택하려고합니다. 다음과 같은 결과가 있습니다. model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 auc과 logloss열이 교차 유효성 검사 측정 항목 (교차 검증은 훈련 데이터를 사용). ..._train및 …

15 model-selection  validation  auc  gini  log-loss 

모델링 / 검증 관찰간에 80/20 분할이 있다고 가정합니다. 모델을 모델링 데이터 세트에 적합 시켰으며 유효성 검증 데이터 세트에서보고있는 오류에 익숙합니다. 향후 관측 값을 채점하기 위해 모델을 롤아웃하기 전에 유효성 검사를 모델링 데이터와 다시 결합하여 100 % 데이터에 대한 매개 변수 추정치를 업데이트하는 것이 적절합니까? 나는 이것에 대한 두 가지 관점을 …

13 regression  predictive-models  validation 

교실에서 데이터 마이닝에 노출 할 때 모델 성능을 평가하는 방법으로 홀드 아웃 방법이 도입되었습니다. 그러나 선형 모델에서 첫 수업을 들었을 때 이것은 모델 검증 또는 평가의 수단으로 소개되지 않았습니다. 저의 온라인 조사에서도 교차점이 보이지 않습니다. 고전 통계에서 홀드 아웃 방법이 사용되지 않는 이유는 무엇입니까?

12 regression  validation  model-evaluation  out-of-sample 

어제의 질문 사건 확률을 추정하는 모델의 정확성을 결정 하여 확률 점수에 대해 궁금해했습니다. 찔레 점수 이고 평균 제곱 오차 측정. 유사한 평균 절대 오차 성능 측정이 이름도 있니?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

시계열 데이터를 기차 / 테스트 / 검증 세트로 분할하는 가장 좋은 방법은 무엇입니까? 여기서 유효성 검사 세트는 하이퍼 파라미터 튜닝에 사용됩니까? 우리는 3 년 분량의 일일 판매 데이터를 보유하고 있으며, 2015-2016 년을 교육 데이터로 사용한 다음 2017 년 데이터에서 10 주를 무작위로 샘플링하여 유효성 검사 세트로 사용하고 2017 년 데이터에서 …

12 time-series  cross-validation  validation 

Ridge 또는 Lasso에서 정규화 매개 변수 람다를 선택할 때 권장되는 방법은 다른 람다 값을 시도하고 유효성 검사 세트에서 오류를 측정 한 다음 마지막으로 가장 낮은 오류를 반환하는 람다 값을 선택하는 것입니다. 함수 f (lambda) = error가 볼록한 경우 나에게 오지 않습니다. 이렇게 될 수 있을까요? 즉,이 곡선은 하나 이상의 지역 …

11 cross-validation  error  regularization  validation  optimization 

나와 같은 비 통계학 자의 VI경우 Marina Melia " 클러스터링 비교-정보 기반 거리 "(2007 년 저널)에 의해 관련 논문을 읽은 후에도 메트릭 (정보 변형) 아이디어를 포착하기가 매우 어렵습니다 . 사실, 많은 클러스터링 용어에 익숙하지 않습니다. 아래는 MWE이며 사용되는 다른 메트릭에서 출력이 무엇을 의미하는지 알고 싶습니다. R에 동일한 순서로 두 개의 …

11 r  clustering  validation  intuition 

매월 수준에서 행동 예측을 제공하는 여러 가지 다른 모델을 평가하고 싶습니다. 데이터는 균형이 잡히고 100,000이고 T = 12입니다. 결과는 주어진 달에 콘서트에 참석하므로 한 달에 ~ 80 %의 사람들에게는 0이지만, 무거운 사용자의 긴 꼬리가 있습니다. 내가 예측 한 결과는 결과의 카운트 특성을 존중하지 않는 것 같습니다. 분수 콘서트가 만연합니다.n =n=n=티=T=T= …

11 repeated-measures  predictive-models  stata  panel-data  validation 

나는 "일일 작업에서 일관성 검사를 했습니까?"와 같은 질문을 받았습니다. Biostatistician 입장을위한 전화 인터뷰 중. 무엇을 대답해야할지 모르겠습니다. 모든 정보를 부탁드립니다.

11 validation 

전체 모집단을 나타내는 표본 집합을 생성하는 통계적 기술은 무엇입니까 (알려진 신뢰 수준)? 또한, 샘플이 전체 데이터 세트에 맞는지 확인하는 방법은 무엇입니까? 전체 데이터 세트를 구문 분석하지 않고도 가능합니까 (수십억 개의 레코드가 될 수 있음)?

10 sampling  sample-size  validation 

통계 학습의 요소 (PDF 온라인에서 사용 가능)는 낙관적 편견 (229 페이지 7.21)에 대해 설명합니다. 낙관주의 편견은 훈련 오류와 표본 내 오류 (각 원래 훈련 지점에서 새로운 결과 값을 샘플링 할 경우 관찰되는 오류)의 차이 (아래 참조)입니다. 다음으로이 낙관주의 편견 (ωω\omega)는 추정 된 y 값과 실제 y 값 (아래 수식)의 공분산과 …

9 error  bias  validation 

데이터 예측에 사용할 샘플 크기 "N"을 제공했습니다. 데이터를 세분화하여 일부를 사용하여 모델을 설정하고 나머지 데이터를 사용하여 모델을 확인하는 방법에는 어떤 것이 있습니까? 나는 이것에 대한 흑인과 백인의 대답이 없다는 것을 알고 있지만, 어떤 "엄지 규칙"이나 일반적으로 사용되는 비율을 아는 것이 흥미로울 것입니다. 나는 교수 중 한 명이 대학에서 60 %에 …

9 machine-learning  modeling  sample  validation