임의의 숲이 과적입니까?

나는 scikit-learn을 사용하여 임의의 숲을 실험하고 있으며 훈련 세트의 결과는 훌륭하지만 테스트 세트에서는 상대적으로 열악한 결과를 얻습니다 ...

내가 해결하려고하는 문제 (포커에서 영감을 얻음)는 다음과 같습니다 .A 플레이어의 홀 카드, B 플레이어의 홀 카드 및 플롭 (3 카드)을 고려할 때 어떤 플레이어가 가장 좋은 핸드를 가지고 있습니까? 수학적으로 이것은 14 개의 입력 (7 개의 카드-1 개의 등급과 각각에 대한 1 개의 벌)과 1 개의 출력 (0 또는 1)입니다.

지금까지 내 결과 중 일부는 다음과 같습니다.

Training set size: 600k, test set size: 120k, number of trees: 25
Success rate in training set: 99.975%
Success rate in testing set: 90.05%

Training set size: 400k, test set size: 80k, number of trees: 100
Success rate in training set: 100%
Success rate in testing set: 89.7%

Training set size: 600k, test set size: 120k, number of trees: 5
Success rate in training set: 98.685%
Success rate in testing set: 85.69%

사용 된 관련 코드는 다음과 같습니다.

from sklearn.ensemble import RandomForestClassifier
Forest = RandomForestClassifier(n_estimators = 25) #n_estimator varies
Forest = Forest.fit(inputs[:trainingSetSize],outputs[:trainingSetSize])
trainingOutputs = Forest.predict(inputs[:trainingSetSize])
testOutputs = Forest.predict(inputs[trainingSetSize:])

사용 된 트리 수에 관계없이 훈련 세트의 성능 은 비교적 큰 훈련 세트와 상당히 적은 수의 기능에도 불구하고 테스트 세트보다 훨씬 우수합니다 ...

이것은 RF 모델을 사용할 때 일반적인 신인 오류입니다 (손을 이전의 가해자로 올려 놓겠습니다). 훈련 세트를 사용하여 구축 한 포리스트는 전체적으로 고려할 때 훈련 데이터를 거의 완벽하게 (찾는대로) 맞습니다. 그러나 알고리즘이 포리스트를 구축 할 때 일반화 오류를 가장 정확하게 추측하는 OOB (Out-of-Bag) 예측 오류를 기억합니다.

훈련 데이터를 예측 방법으로 다시 보내면 (정확한) 정확한 OOB 오류 대신에 거의 완벽한 예측을 얻을 수 있습니다. 이러지 마 대신 훈련 된 Forest 개체는 OOB 오류를 기억해야합니다. 나는 scikit-learn 구현에 익숙하지 않지만 여기 에서 설명서 를 보면 oob_score=Truefit 메소드를 호출 할 때 지정 해야하는 것처럼 보이며 일반화 오류는 다음과 같이 저장됩니다oob_score_반환 된 객체에서. R 패키지 "randomForest"에서 리턴 된 오브젝트에 인수가없는 predict 메소드를 호출하면 학습 세트에 대한 OOB 예측이 리턴됩니다. 다른 측정 값을 사용하여 오류를 정의 할 수 있습니다. 훈련 세트를 예측 방법으로 다시 보내면 모든 트리를 사용하므로 다른 결과를 얻을 수 있습니다. scikit-learn구현 이이 작업을 수행할지 여부를 모르겠습니다 .

정확도를 테스트하기 위해 훈련 데이터를 예측 방법으로 다시 보내는 것은 실수입니다. 그러나 매우 일반적인 실수이므로 걱정하지 마십시오.

대답은 max_features 매개 변수 인 int, string 또는 None, 선택적 (default =”auto”) 매개 변수라고 생각합니다. 기본적 으로이 문제의 경우 None으로 설정하여 각 트리가 모든 입력으로 빌드되도록하십시오. 카드의 일부만 사용하여 적절한 분류기를 만들 수 없으므로 명확하게 (기본 "auto"는 sqrt (nfeatures)를 선택합니다) 각 트리에 대한 입력)