«cross-validation» 태그된 질문

데이터가 있고이 데이터로 모델 (선형 회귀 모델)을 만들고 싶습니다. 다음 단계에서는 모델에 LOOCV (Leave-One-Out Cross-Validation)를 적용하여 성능이 어느 정도인지 확인하고 싶습니다. LOOCV를 올바르게 이해했다면이 샘플 (훈련 세트)을 제외한 모든 샘플을 사용하여 각 샘플 (테스트 세트)에 대해 새 모델을 작성합니다. 그런 다음 모델을 사용하여 테스트 세트를 예측하고 오류 합니다.( 예측 - …

25 cross-validation 

중첩 된 교차 유효성 검사를 수행하고 있습니다. 일대일 교차 검증이 바이어스 될 수 있음을 읽었습니다 (이유를 기억하지 마십시오). leave-one-out 교차 검증을 위해 더 긴 런타임과 별도로 10 배 교차 검증 또는 leave-one-out 교차 검증을 사용하는 것이 더 낫습니까?

25 machine-learning  cross-validation 

특정 데이터 세트에서 분류기의 성능을 평가하고이를 다른 분류기와 비교하는 가장 적합한 샘플링 방법은 무엇입니까? 교차 검증은 표준 관행 인 것처럼 보이지만 .632 부트 스트랩과 같은 방법이 더 나은 선택임을 읽었습니다. 후속 조치 : 성능 지표 선택이 답변에 영향을 미칩니 까 (정확성 대신 AUC를 사용하는 경우)? 나의 궁극적 인 목표는 한 …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

토론 : 이진 분류에 대한 roc 곡선을 생성하는 방법에 대해서는 혼란이 "이진 분류기"(2 개의 클래스를 분리하는 분류기 임)가 양의 "이산 분류기"( ANN 또는 Bayes 분류기와 같은 연속 출력이 아닌 SVM과 같은 개별 출력 0/1) 따라서 ROC가 "이진 연속 분류기"에 대해 표시되는 방법에 대한 논의가 이루어졌으며 그 결과는 출력이 정렬됩니다. 출력이 …

24 cross-validation  roc  auc 

k-fold cross-validation이 도입 된 논문에 대한 참조를 찾고 있습니다 (주제에 대한 좋은 학문적 참조가 아니라). 아마도 첫 번째 논문을 모호하지 않게 식별하기에는 시간이 너무 많이 걸리기 때문에 아이디어가 사용 된 초기 논문이 흥미로울 것입니다. 내가 아는 가장 빠른 것은 PA Lachenbruch 및 MR Mickey,“차별 분석에서의 오류율 추정”, Technometrics, vol. 10 …

24 cross-validation  references 

선형 검증 과 관련된 교차 검증 (CV) 통계 및 일반 교차 검증 (GCV) 통계에 대해 상충되는 정의를 찾았습니다 ( Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon정상적인 동형 오류 벡터 포함). 굵은 기호 \ varepsilonεε\boldsymbol\varepsilon ). 한편 Golub, Heath & Wahba는 GCV 추정치 λ^λ^\hat{\lambda} 를 (p. 216)으로 정의합니다 . V \ left (\ …

23 cross-validation 

오늘 아침에 나는 궁금해했다. (이것은 지난 밤에 잠을 잘 못 잤기 때문일 수있다) : 교차 검증은 적절한 시계열 예측의 초석 인 것 같아서, "정상적으로해야하는 모델은 무엇인가?" "에 대한 교차 검증? 나는 몇 가지 (쉬운) 것들을 생각해 냈지만 곧 ARIMA 모델의 특별한 경우가 아니라는 것을 깨달았습니다. 이제 궁금합니다. 이것이 실제 질문입니다. …

23 time-series  cross-validation  arima 

시계열 설정에서 모델 선택에 관심이 있습니다. 구체적으로 지연 순서가 다른 ARMA 모델 풀에서 ARMA 모델을 선택한다고 가정합니다. 궁극적 인 의도는 예측 입니다. 모델 선택은 교차 검증, 정보 기준 (AIC, BIC) 사용 다른 방법들 중에서도 Rob J. Hyndman은 시계열에 대해 교차 검증 을 수행하는 방법을 제공합니다 . 비교적 작은 샘플의 경우, …

23 time-series  forecasting  cross-validation  model-selection  aic 

정서 분류 및 관련 주제에 대한 많은 연구 논문을 읽었습니다. 대부분은 10 배 교차 검증을 사용하여 분류기를 훈련시키고 테스트합니다. 즉, 별도의 테스트 / 검증이 수행되지 않습니다. 왜 그런가요? 이 방법의 장점, 단점은 무엇입니까? 특히 연구를하는 사람들에게는 어떤가요?

23 classification  cross-validation 

탄력적 그물 회귀에서 람다의 역할을 이해합니다. 교차 검증 된 오류를 최소화하는 람다의 값 인 lambda.min을 선택하는 이유를 이해할 수 있습니다. 내 질문은 통계 문헌에서 lambda.1se를 사용하는 것이 좋습니다. 즉, CV 오류와 하나의 표준 오류를 최소화하는 lambda의 값 입니까? 나는 공식적인 인용이나 심지어 이것이 종종 가치가있는 이유를 찾지 못하는 것 같습니다. …

23 regression  cross-validation  regularization  glmnet  elastic-net 

소개 : 고전적인 "큰 p, 작은 n 문제"의 데이터 집합이 있습니다. 사용 가능한 샘플 수는 n = 150이고 가능한 예측 변수 수는 p = 400입니다. 결과는 연속 변수입니다. 가장 중요한 "설명자", 즉 결과를 설명하고 이론을 세우는 데 가장 적합한 후보자를 찾고 싶습니다. 이 주제에 대한 연구 후 LASSO와 Elastic Net이 …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

(선형) 혼합 효과 모델은 일반적으로 서로 어떻게 비교됩니까? 가능성 비율 테스트를 사용할 수 있지만 한 모델이 다른 모델의 '서브셋'이 아닌 경우 작동하지 않습니다. 모델 df의 추정은 항상 간단합니까? 고정 효과 수 + 분산 성분 수 추정? 랜덤 효과 추정값을 무시합니까? 유효성 검사는 어떻습니까? 내 첫 번째 생각은 교차 검증이지만 데이터 …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

다양한 모델 또는 포함 할 기능의 수를 선택하려고 할 때 예측이라고하면 두 가지 접근법을 생각할 수 있습니다. 데이터를 학습 및 테스트 세트로 분할하십시오. 더 나은 방법은 부트 스트랩 또는 k- 폴드 교차 검증을 사용하는 것입니다. 매번 훈련 세트를 훈련시키고 테스트 세트에 대한 오차를 계산하십시오. 테스트 오류 대 매개 변수 수를 …

22 bayesian  model-selection  cross-validation  feature-selection 

제과점의 과거 판매 데이터가 있습니다 (매일, 3 년 이상). 이제 주중, 날씨 변수 등과 같은 기능을 사용하여 향후 판매를 예측하는 모델을 만들고 싶습니다. 모델 피팅 및 평가를 위해 데이터 세트를 어떻게 분할해야합니까? 시간순으로 기차 / 검증 / 테스트 분할해야합니까? 그런 다음 열차 및 검증 세트로 하이퍼 파라미터 튜닝을 수행합니까? (중첩 …

22 cross-validation  partitioning 

0에서 1 사이 glmnet의 그리드에서 람다 값을 선택하여 R 의 패키지를 사용하여 건강 관리 데이터 세트에서 탄력적 그물 로지스틱 회귀를 수행하고 있습니다. 약식 코드는 다음과 같습니다.αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} 씩 증가하면서 에서 까지의 각 알파 …

22 machine-learning  cross-validation  glmnet  elastic-net