컴퓨터 과학 배경을 가지고 있지만 인터넷에서 문제를 해결하여 데이터 과학을 가르치려고합니다.

나는 지난 몇 주 동안이 문제를 연구 해 왔습니다 (약 900 행과 10 기능). 처음에는 로지스틱 회귀를 사용했지만 이제는 임의의 포리스트로 전환했습니다. 훈련 데이터에서 임의의 포리스트 모델을 실행하면 auc (> 99 %)의 값이 실제로 높아집니다. 그러나 테스트 데이터에서 동일한 모델을 실행하면 결과가 좋지 않습니다 (정확도는 약 77 %). 이로 인해 훈련 ​​데이터가 적합하지 않다고 생각합니다.

임의의 포리스트에서 과잉 맞춤 방지에 대한 모범 사례는 무엇입니까?

r과 rstudio를 개발 환경으로 사용하고 있습니다. 내가 사용하고 randomForest패키지를 모든 매개 변수에 대한 기본값을 수락

임의 포리스트에서 과적 합을 피하기 위해서는 부트 스트랩 된 데이터에서 각 트리를 성장시키기 위해 임의로 선택된 기능 수를 제어하는 ​​조정 매개 변수를 최적화해야합니다. 일반적으로, 당신은을 통해이 작업을 수행 -fold 교차 검증, 여기서 , 그리고 최소화 샘플 예측 오차를 테스트하는 것이 튜닝 매개 변수를 선택합니다. 또한 더 큰 숲을 키우면 예측 정확도가 향상되지만 수백 그루의 나무에 도달하면 일반적으로 수익이 감소합니다.k ∈ { 5 , 10 $k$$k \in \{5, 10\}$

훈련 데이터에서 99 % AUC를 어떻게 얻습니까? 차이가 있음을 명심하십시오

predict(model)

과

predict(model, newdata=train)

훈련 데이터 세트에 대한 예측을 얻을 때. 첫 번째 옵션은 임의 포리스트에서 봉지 외부 예측을 가져옵니다. 훈련 데이터의 예측값과 실제 값을 비교할 때 일반적으로 원하는 것입니다.

두 번째는 훈련 데이터를 새로운 데이터 세트처럼 취급하고 각 트리에서 관측치를 실행합니다. RF 알고리즘은 일반적으로 개별 트리를 프룬 (prune)하지 않고 오 버핏을 제어하기 위해 트리의 앙상블에 의존하기 때문에 예측과 실제 간의 인위적인 밀접한 상관 관계가 발생합니다. 따라서 훈련 데이터에 대한 예측을 원한다면이 작업을 수행하지 마십시오.

의사 결정 트리에는 과적 합을 처리하는 두 가지 방법이 있습니다. (a) 나무를 완전히 자라지 마십시오 (b) 자두

나무 숲에도 동일하게 적용됩니다. 너무 많이 자라지 말고 자두하십시오.

randomForest많이 사용하지는 않지만 숲을 조정하는 데 사용할 수있는 몇 가지 매개 변수가 있습니다.

• nodesize -최소 크기의 터미널 노드
• maxnodes -최대 터미널 노드 수
• mtry -각 트리를 만드는 데 사용되는 변수의 수 (@ user777 덕분에)

K 폴드 교차 검증과 같은 교차 검증 방법을 사용할 수 있습니다.

gridsearch를 사용하여 매개 변수를 조정할 수 있습니다

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

max_depth 매개 변수를 [5, 15] 범위에서 조정 하지만 이보다 크지 않은 깊이를 사용하면 과적 합의 가능성이 높아집니다.