«cross-validation» 태그된 질문

AIC와 BIC는 추정 된 매개 변수의 수에 대해 벌점을 적용한 모형 적합을 평가하는 방법입니다. 내가 알기로, BIC는 AIC보다 무료 매개 변수에 대해 모델에 더 많은 불이익을가합니다. 기준의 엄격 성을 기반으로 한 선호를 넘어서, BIC보다 AIC를 선호하거나 그 반대의 다른 이유가 있습니까?

222 modeling  aic  cross-validation  bic  model-selection 

K- 폴드 교차 검증을 수행 한 후 예측 모델을 선택하는 방법이 궁금합니다. 이것은 어색하게 표현 될 수 있으므로 K- 폴드 크로스 밸리데이션을 실행할 때마다 K 서브셋의 훈련 데이터를 사용하고 K 개의 다른 모델로 끝납니다. K 모델 중 하나를 선택하는 방법을 알고 싶습니다.이를 누군가에게 제시하고 "이 모델은 우리가 생산할 수있는 최고의 …

148 cross-validation  model-selection 

교차 유효성 검사 후 전체 데이터 세트 를 학습 하는 것이 항상 좋은 생각 입니까? 또 다른 방법으로 넣어, 그것은과 훈련 괜찮 모든 내 데이터 세트의 샘플 및 하지 이 특정 피팅 여부를 확인 할 수있는 overfits ? 문제에 대한 배경 지식 : 매개 변수화 된 모델 패밀리 가 있다고 …

139 machine-learning  cross-validation  model-selection 

일부 학습 알고리즘의 성능을 평가하기 위해 폴드 교차 검증을 몇 번 사용했지만 항상 값을 선택하는 방법에 대해 의아해했습니다 .KKKKKKK 나는 종종 값을 보았고 사용 했지만 이것은 완전히 임의적 인 것처럼 보이며 이제는 생각하지 않고 습관으로 을 사용 합니다. 나에게 의 가치를 높이면 더 세분화 된 것처럼 보이므로 이상적으로는 크게 해야 …

136 machine-learning  classification  cross-validation 

교차 유효성 검사와 부트 스트랩의 차이점에 대한 귀하의 생각을 예측 오류로 추정하고 싶습니다. 작은 데이터 세트 크기 또는 큰 데이터 세트에 더 효과적입니까?

102 cross-validation  predictive-models  bootstrap 

모델 선택을 위해 어떻게 중첩 교차 검증을 사용할 수 있습니까? 온라인에서 읽은 내용에서 중첩 CV는 다음과 같이 작동합니다. 내부 CV 루프가 있으며 그리드 검색을 수행 할 수 있습니다 (예 : 사용 가능한 모든 모델 (예 : 하이퍼 파라미터 / 기능 조합)에 대해 K- 폴드 실행) 외부 CV 루프가 있는데, 여기서 …

91 cross-validation  model-selection 

서로 다른 교차 검증 방법이 모델 분산 및 바이어스 측면에서 어떻게 비교됩니까? 내 질문은 부분적으로이 스레드에 의해 좌우된다 폴드의 최적의 수 -fold 교차 검증 : 항상 남겨-하나를 아웃 CV 최선의 선택? 케이KK K. 이에 대한 답은 Leave-one-Out 교차 검증으로 학습 된 모델은 일반적인 -fold 교차 검증으로 학습 된 모델 보다 …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

데이터 분석 배경이없는 사람에게 교차 검증 을 어떻게 설명 하시겠습니까?

77 cross-validation 

나는 최근에이 사이트 (@Aniko, @Dikran Marsupial, @Erik)와 교차 검증에서 발생하는 과잉 적합 문제에 대해 많은 것을 읽었습니다. 제안은이다 모든 감독 기능 선택 (클래스 라벨 상관을 이용)을 초래할 수 overfitting 교차 검증 (또는 부트 스트랩으로 추정 방식의 다른 모델)을 사용하여 모델의 성능 평가의 외부에서 수행. 이것은 직관적이지 않은 것 같습니다. 특징 …

76 cross-validation  feature-selection 

기능 선택 및 기계 학습에 대해 약간 혼란스러워하며 도움이되는지 궁금합니다. 두 그룹으로 분류되고 1000 개의 기능을 가진 마이크로 어레이 데이터 세트가 있습니다. 내 목표는 이론적으로 다른 데이터 세트에 적용하여 해당 샘플을 최적으로 분류 할 수있는 서명으로 소수의 유전자 (내 특징) (10-20)를 얻는 것입니다. 샘플 수가 많지 않기 때문에 (<100), 테스트 …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

질문 : 무언가를 확신하고 싶습니다 . 시계열과 함께 k- 폴드 교차 검증을 사용하는 것이 간단합니까, 사용하기 전에 특별한주의를 기울여야합니까? 배경 : 5 분마다 데이터 샘플을 사용하여 6 년의 시계열 (반 마코프 체인 사용)을 모델링하고 있습니다. 여러 모델을 비교하기 위해 6 년 안에 데이터를 분리하여 6 배 교차 검증을 사용하고 있으므로 …

70 time-series  modeling  cross-validation 

데이터 세트를 분할하기위한 적절한 전략은 무엇입니까? 나는 다음과 같은 접근 방식에 대한 피드백을 요청 (안 같은 개별 매개 변수에 대한 test_size또는 n_iter,하지만 내가 사용하는 경우 X, y, X_train, y_train, X_test, 그리고 y_test적절하고 순서가 의미가있는 경우) : ( scikit-learn 문서 에서이 예제를 확장 ) 1. 데이터 셋로드 from sklearn.datasets import load_digits …

69 machine-learning  cross-validation  python  scikit-learn 

클래스 불균형 데이터가 있으며 xgboost를 사용하여 증폭 된 머릿단의 하이퍼 파라미터를 조정하고 싶습니다. 질문 xgboost에 대해 gridsearchcv 또는 randomsearchcv에 해당하는 것이 있습니까? 그렇지 않다면 xgboost의 매개 변수를 조정하는 권장 방법은 무엇입니까?

68 machine-learning  cross-validation  xgboost  boosting 

예측 모델을 구축하는 사람이 있지만 적절한 통계 또는 기계 학습 원칙에 정통한 사람이 아니라고 가정합니다. 어쩌면 우리는 그 사람이 배우면서 도움을 줄 수도 있고, 또는 그 사람이 최소한의 지식이 필요한 소프트웨어 패키지를 사용하고있을 수도 있습니다. 이제이 사람은 실제 테스트가 샘플 외부 데이터 의 정확도 (또는 다른 메트릭)에서 온 것임을 잘 …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

나는 이 문제에 관해 여기 와 여기 에 두 가지 질문을 찾았 지만 아직 명확한 대답이나 설명이 없습니다 .Convolution Neural Network의 유효성 검사 오류가 훈련 오류보다 작은 동일한 문제를 시행합니다. 그게 무슨 뜻이야?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation