데이터 세트를 분할하기위한 적절한 전략은 무엇입니까?
나는 다음과 같은 접근 방식에 대한 피드백을 요청 (안 같은 개별 매개 변수에 대한 test_size또는 n_iter,하지만 내가 사용하는 경우 X, y, X_train, y_train, X_test, 그리고 y_test적절하고 순서가 의미가있는 경우) :
( scikit-learn 문서 에서이 예제를 확장 )
1. 데이터 셋로드
from sklearn.datasets import load_digits
digits = load_digits()
X, y = digits.data, digits.target
2. 교육 및 테스트 세트로 분할 (예 : 80/20)
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
3. 견적자를 선택하십시오
from sklearn.svm import SVC
estimator = SVC(kernel='linear')
4. 교차 검증 반복자를 선택하십시오
from sklearn.cross_validation import ShuffleSplit
cv = ShuffleSplit(X_train.shape[0], n_iter=10, test_size=0.2, random_state=0)
5. 하이퍼 파라미터 조정
훈련 세트 에 교차 검증 반복자를 적용
from sklearn.grid_search import GridSearchCV
import numpy as np
gammas = np.logspace(-6, -1, 10)
classifier = GridSearchCV(estimator=estimator, cv=cv, param_grid=dict(gamma=gammas))
classifier.fit(X_train, y_train)
6. 학습 곡선으로 디버그 알고리즘
X_train훈련과 테스트 세트로 무작위로 10 회 분할됩니다 ( n_iter=10). 훈련 점수 곡선의 각 지점은 모델이 첫 i 훈련 예제 에서 훈련되고 평가 된 평균 10 점 입니다. 교차 검증 점수 곡선의 각 지점은 모델이 첫 번째 i 훈련 예제에서 학습되고 테스트 세트의 모든 예제에서 평가 된 평균 10 점 입니다.
from sklearn.learning_curve import learning_curve
title = 'Learning Curves (SVM, linear kernel, $\gamma=%.6f$)' %classifier.best_estimator_.gamma
estimator = SVC(kernel='linear', gamma=classifier.best_estimator_.gamma)
plot_learning_curve(estimator, title, X_train, y_train, cv=cv)
plt.show()
plot_learning_curve () 는 현재 개발 버전의 scikit-learn (0.15-git)에서 찾을 수 있습니다.
7. 시험 세트에 대한 최종 평가
classifier.score(X_test, y_test)7a. 중첩 교차 검증을 사용하여 모델 선택에서 오버 피팅 테스트 (전체 데이터 세트 사용)
from sklearn.cross_validation import cross_val_score
cross_val_score(classifier, X, y)
추가 질문 : 7 단계를 중첩 교차 검증으로 대체하는 것이 합리적입니까? 또는 중첩 된 cv가 7 단계를 보완하는 것으로 간주되어야합니다.
(코드는 scikit-learn에서 k-fold cross validation으로 작동하지만 shuffle & split에서는 작동하지 않는 것 같습니다. 따라서 cv코드를 작동 시키려면 위의 코드를 변경해야합니다)
8. 전체 데이터 세트에서 최종 모델 훈련
classifier.fit(X, y)편집 : 이제 7a 단계 가이 순서에서 의미가 없다는 맹세에 동의합니다. 그래서 나는 그것을 채택하지 않을 것입니다.
어떤 정확도 점수 규칙을 사용하고 있습니까? 분류 정확도 인 경우 이러한 부적절한 점수 지정 규칙은 수행 한 많은 작업을 취소합니다.
—
Frank Harrell
실제로 분류 정확도 인 기본값을 사용했습니다. 예를 들어 F1이 더 적합하다는 것을 알고 있습니다. 그러나 여기서는 분할이 잘 사용되는지 관심이 있습니다.
—
tobip
나는 F1이 오래된 개념의 새로운 이름이라고 거의 확신합니다. 나는 오래된 것들에 대한 새로운 이름을 발명하는 것이 비생산적이라고 생각합니다. 더 중요한 것은 잘못된 점수 지정 규칙으로 인해 잘못된 기능을 선택하고 전체 프로세스에 많은 노이즈를 추가하게됩니다.
—
Frank Harrell
... 어쨌든 F1은 @FrankHarrell이 다음과 같이 주장하는 정확성 문제를 공유합니다. 이는 하드 분류의 테스트 사례의 일부를 세는 것에서 비롯됩니다. Frank의 적절한 점수 규칙 중 하나를 얻으려면 SVM의 확률 적 출력으로 전환 한 다음 정확도 대신 Brier의 점수 (평균 제곱 오차)를 사용해야합니다. M1 유형의 F1 버전을 파생시킬 수도 있습니다. 이러한 조치는 실제로 튜닝 단계에 더 좋습니다. 최종 성과를 전달하려면 커뮤니티의 성과를 표현하는 일반적인 방법 (예 : 정확성, F1)이 필요할 수도 있습니다.
—
cbeleites
@ ta.ft : 접근 방식이 잘못된 지 여부는 잘못된 것으로 간주됩니다. 비율에 대한 그리드 검색은 엄청나게 많은 수의 독립적 인 사례가없는 한 분산 차이가 크게 줄어들 위험이 있습니다. 따라서 많은 상황에서 그리드 검색이 최적의 모델을 생성한다는 주장은 잘못되었습니다. 그러나 적절한 중첩 유효성 검사를 수행하는 경우 외부 유효성 검사는 선택된 "최적의"모델 성능을 정직하게 측정합니다. 그래서 그것은 잘못이 아닙니다. 그리드 검색에 최적의 모델이 있다는 보장은 없습니다. 문헌에 대해서는 답변을 업데이트하겠습니다.
—
cbeleites
