«cross-validation» 태그된 질문

보류 된 데이터 서브 세트에서 모델 성능을 정량화하기 위해 모델 피팅 중에 데이터 서브 세트를 반복적으로 보류합니다.

11
AIC 또는 BIC를 다른 것보다 선호하는 이유가 있습니까?
AIC와 BIC는 추정 된 매개 변수의 수에 대해 벌점을 적용한 모형 적합을 평가하는 방법입니다. 내가 알기로, BIC는 AIC보다 무료 매개 변수에 대해 모델에 더 많은 불이익을가합니다. 기준의 엄격 성을 기반으로 한 선호를 넘어서, BIC보다 AIC를 선호하거나 그 반대의 다른 이유가 있습니까?

6
k- 겹 교차 검증 후 예측 모델을 선택하는 방법은 무엇입니까?
K- 폴드 교차 검증을 수행 한 후 예측 모델을 선택하는 방법이 궁금합니다. 이것은 어색하게 표현 될 수 있으므로 K- 폴드 크로스 밸리데이션을 실행할 때마다 K 서브셋의 훈련 데이터를 사용하고 K 개의 다른 모델로 끝납니다. K 모델 중 하나를 선택하는 방법을 알고 싶습니다.이를 누군가에게 제시하고 "이 모델은 우리가 생산할 수있는 최고의 …

5
교차 유효성 검사 후 전체 데이터 세트를 사용한 교육?
교차 유효성 검사 후 전체 데이터 세트 를 학습 하는 것이 항상 좋은 생각 입니까? 또 다른 방법으로 넣어, 그것은과 훈련 괜찮 모든 내 데이터 세트의 샘플 및 하지 이 특정 피팅 여부를 확인 할 수있는 overfits ? 문제에 대한 배경 지식 : 매개 변수화 된 모델 패밀리 가 있다고 …

4
K- 폴드 교차 검증에서 K의 선택
일부 학습 알고리즘의 성능을 평가하기 위해 폴드 교차 검증을 몇 번 사용했지만 항상 값을 선택하는 방법에 대해 의아해했습니다 .KKKKKKK 나는 종종 값을 보았고 사용 했지만 이것은 완전히 임의적 인 것처럼 보이며 이제는 생각하지 않고 습관으로 을 사용 합니다. 나에게 의 가치를 높이면 더 세분화 된 것처럼 보이므로 이상적으로는 크게 해야 …


3
모델 선택을위한 중첩 교차 검증
모델 선택을 위해 어떻게 중첩 교차 검증을 사용할 수 있습니까? 온라인에서 읽은 내용에서 중첩 CV는 다음과 같이 작동합니다. 내부 CV 루프가 있으며 그리드 검색을 수행 할 수 있습니다 (예 : 사용 가능한 모든 모델 (예 : 하이퍼 파라미터 / 기능 조합)에 대해 K- 폴드 실행) 외부 CV 루프가 있는데, 여기서 …

7
Leave-one-Out 대 K- 폴드 교차 검증의 편차 및 편차
서로 다른 교차 검증 방법이 모델 분산 및 바이어스 측면에서 어떻게 비교됩니까? 내 질문은 부분적으로이 스레드에 의해 좌우된다 폴드의 최적의 수 -fold 교차 검증 : 항상 남겨-하나를 아웃 CV 최선의 선택? 케이KK K. 이에 대한 답은 Leave-one-Out 교차 검증으로 학습 된 모델은 일반적인 -fold 교차 검증으로 학습 된 모델 보다 …


3
기능 선택 및 교차 검증
나는 최근에이 사이트 (@Aniko, @Dikran Marsupial, @Erik)와 교차 검증에서 발생하는 과잉 적합 문제에 대해 많은 것을 읽었습니다. 제안은이다 모든 감독 기능 선택 (클래스 라벨 상관을 이용)을 초래할 수 overfitting 교차 검증 (또는 부트 스트랩으로 추정 방식의 다른 모델)을 사용하여 모델의 성능 평가의 외부에서 수행. 이것은 직관적이지 않은 것 같습니다. 특징 …

6
머신 러닝에서 교차 검증을 수행 할 때 "최종"모델을위한 기능 선택
기능 선택 및 기계 학습에 대해 약간 혼란스러워하며 도움이되는지 궁금합니다. 두 그룹으로 분류되고 1000 개의 기능을 가진 마이크로 어레이 데이터 세트가 있습니다. 내 목표는 이론적으로 다른 데이터 세트에 적용하여 해당 샘플을 최적으로 분류 할 수있는 서명으로 소수의 유전자 (내 특징) (10-20)를 얻는 것입니다. 샘플 수가 많지 않기 때문에 (<100), 테스트 …

5
시계열 모델 선택에 k- 폴드 교차 검증 사용
질문 : 무언가를 확신하고 싶습니다 . 시계열과 함께 k- 폴드 교차 검증을 사용하는 것이 간단합니까, 사용하기 전에 특별한주의를 기울여야합니까? 배경 : 5 분마다 데이터 샘플을 사용하여 6 년의 시계열 (반 마코프 체인 사용)을 모델링하고 있습니다. 여러 모델을 비교하기 위해 6 년 안에 데이터를 분리하여 6 배 교차 검증을 사용하고 있으므로 …

1
교차 검증, 학습 곡선 및 최종 평가를 위해 데이터 세트를 분할하는 방법은 무엇입니까?
데이터 세트를 분할하기위한 적절한 전략은 무엇입니까? 나는 다음과 같은 접근 방식에 대한 피드백을 요청 (안 같은 개별 매개 변수에 대한 test_size또는 n_iter,하지만 내가 사용하는 경우 X, y, X_train, y_train, X_test, 그리고 y_test적절하고 순서가 의미가있는 경우) : ( scikit-learn 문서 에서이 예제를 확장 ) 1. 데이터 셋로드 from sklearn.datasets import load_digits …


8
테스트 데이터가 교육 데이터로 누출되지 않도록하려면 어떻게해야합니까?
예측 모델을 구축하는 사람이 있지만 적절한 통계 또는 기계 학습 원칙에 정통한 사람이 아니라고 가정합니다. 어쩌면 우리는 그 사람이 배우면서 도움을 줄 수도 있고, 또는 그 사람이 최소한의 지식이 필요한 소프트웨어 패키지를 사용하고있을 수도 있습니다. 이제이 사람은 실제 테스트가 샘플 외부 데이터 의 정확도 (또는 다른 메트릭)에서 온 것임을 잘 …


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.