Scikit-learn Random Forest의 기능 중요성은 매우 높은 표준 편차를 보여줍니다

scikit-learn Random Forest Classifier를 사용하고 있으며이 예제 와 같이 기능의 중요도를 그려보고 싶습니다 .

그러나 피처 중요도 표준 편차가 피처 중요도 자체보다 거의 항상 크다는 점에서 필자의 결과는 완전히 다릅니다 (첨부 된 이미지 참조).

그런 행동을하는 것이 가능합니까, 아니면 그것을 그릴 때 실수를 저지르고 있습니까?

내 코드는 다음과 같습니다

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

기본 트리 수 (10)와 함께 RandomForest를 사용하고 있습니다. 약 30 개의 기능에 대해서는 너무 적습니다. 따라서 표준 편차가 큽니다. 적어도 100 개 또는 1000 개의 나무를 사용해보십시오.

clf = RandomForestClassifier(n_estimators=1000)

보다 정교한 분석을 위해 기능 간의 상관 관계가 얼마나 큰지 확인할 수도 있습니다.

당신의 결과는 그렇게 이상하지 않습니다. 으로 lanenok의 상태, 당신은 첫 번째 단계에서이 기능의 importances에 관한 '통계'결과를 얻을 수 있는지 확인하기 위해 나무의 수를 늘려야합니다.

그러나,이 같은 종이 Genuer 외 알 의한. (2010)에 따르면 피처를 제거하기 위해 실제로 표준 편차를 사용할 수 있습니다. " 우리는 실제 변수 표준 편차가 0에 가까운 잡음이있는 변수에 비해 크다는 것을 알 수 있습니다. "

시도하십시오 clf = RandomForestClassifier(max_features=None). 이 max_features매개 변수의 기본값 'auto'은 sqrt(n_features)입니다. max_features"최상의 분할을 찾을 때 고려해야 할 기능의 수"로 설명됩니다. 의사 결정 트리의 특정 시점에서 적은 수의 기능 만 보는 것은 단일 기능의 중요성이 많은 트리에 따라 크게 다를 수 있음을 의미합니다. 따라서 임의의 하위 집합을 보지 말고 트리의 모든 수준에서 모든 기능을 살펴보십시오.

가장 일반적인 이유는 제공 한 (또는 기본값 인) 매개 변수 RandomForestClassifier가 데이터 세트에 적합하지 않기 때문입니다.

이 문제를 해결하는 일반적인 방법은 다음을 사용하여 하이퍼 파라미터 공간을 검색하는 것입니다 GridSearchCV.

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_grid다음은 검색하려는 매개 변수의 순열이며, make_scorer(accuracy_score)는 최적화하려는 측정 값입니다.

참고 accuracy_score불균형 세트의 균형 세트에 적합하지만,하지 않습니다. 특정 목표에 적합한 측정 항목을 선택하십시오.

여러 가지 이유가있을 수 있습니다. 나무의 수와 깊이는 결과를 바꿀 수 있습니다. 매개 변수 (교차 유효성 검사 등)를 선택한 후 모델이 제대로 작동하지 않으면 지형지 물이 예측하기 어렵 기 때문에 거의 "임의로"선택되어 트리에서 트리로 높은 표준 편차가 발생합니다. 그러나 다른 가능성이 있습니다. 예를 들어 기능이 서로 밀접한 관련이있을 수도 있습니다. 조금 더 많은 정보가 도움이 될 것입니다.