파이썬에서 공선 변수를 체계적으로 제거하는 방법은 무엇입니까? [닫은]

지금까지 상관 테이블을보고 특정 임계 값을 초과하는 변수를 제거하여 데이터 준비 프로세스의 일부로 공선 변수를 제거했습니다. 이 작업을 수행하는 데 더 허용되는 방법이 있습니까? 또한 한 번에 두 변수 사이의 상관 관계 만 보는 것이 이상적이지 않다는 것을 알고 있습니다. VIF와 같은 측정은 여러 변수의 잠재적 상관 관계를 고려합니다. 다중 공선 성을 나타내지 않는 변수 조합을 체계적으로 선택하는 방법은 무엇입니까?

팬더 데이터 프레임 내에 데이터가 있으며 sklearn의 모델을 사용하고 있습니다.

감사합니다 SpanishBoy-좋은 코드입니다. @ilanman : VIF 값을 확인한 다음 VIF가 5보다 큰 변수를 삭제합니다. "성능"이란 런타임을 의미한다고 생각합니다. 위의 코드는 약 300 개의 변수, 5000 개의 행에서 실행하는 데 약 3 시간이 걸렸습니다.

그건 그렇고, 여분의 루프를 제거하기 위해 수정했습니다. 또한, 나는 그것을 좀 더 깨끗하게 만들고 감소 된 변수로 데이터 프레임을 반환합니다. 이 버전은 내 실행 시간을 절반으로 줄였습니다! 내 코드는 아래에 있습니다-도움이되기를 바랍니다.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

아래 코드를 사용해보십시오.

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

작동하지만 그 접근 방식의 성능이 마음에 들지 않습니다.

SpanishBoy의 답변을 시도하고 데이터 프레임에 대해 실행할 때 서비스 오류가 발견되었습니다. 다음은 디버깅 된 솔루션입니다.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

또한 성능에는 문제가 없었지만 광범위하게 테스트하지는 않았습니다.