"F 회귀"및

피쳐를 F-regression레이블과 개별적으로 상관시키고 값을 관찰하는 것과 동일한 피쳐를 사용하여 피쳐를 비교 합니까?$R^2$

나는 종종 동료 F regression들이 다음의 머신 러닝 파이프 라인에서 기능 선택을 위해 사용하는 것을 보았습니다 sklearn.

sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)`  

일부는 말해주십시오-왜 레이블 / 종속 변수와 상관 관계가있는 것과 동일한 결과를 제공합니까?

F_regression기능 선택에서 사용하는 이점이 명확하지 않습니다 .

여기에 내 코드입니다 : 내가 사용하고 있습니다 mtcars에서 데이터 세트를 R:

import pandas as pd
import numpy as np
from sklearn import feature_selection
from sklearn.linear_model import LinearRegression

#....load mtcars dataset into a pandas dataframe called "df", not shown here for conciseness

# only using these numerical columns as features ['mpg', 'disp', 'drat', 'wt']
# using this column as the label:  ['qsec']

model = feature_selection.SelectKBest(score_func=feature_selection.f_regression,\
                                      k=4)

results = model.fit(df[columns], df['qsec'])

print results.scores_
print results.pvalues_

# Using just correlation coefficient:

columns = ['mpg', 'disp', 'drat', 'wt']
for col in columns:
    lm = LinearRegression(fit_intercept=True)
    lm.fit(df[[col]], df['qsec'])
    print lm.score(df[[col]], df['qsec'])

의심되는대로 기능의 순위는 정확히 동일합니다.

scores using f_regression:

[ 6.376702    6.95008354  0.25164249  0.94460378]


 scores using coefficient of determination:

0.175296320261  
0.18809385182
0.00831830818303
0.0305256382746

보시다시피 두 번째 기능은 가장 높은 순위가 매겨지고 첫 번째 기능은 두 번째이며 네 번째 기능은 세 번째이며 세 번째 기능은 두 경우 모두 마지막입니다.

(가) 경우 지금까지 거기에 F_regression다른 결과를 줄 것이다, 또는 어떤 방법으로 다른 기능을 순위 것은?

편집 : 요약하면,이 두 기능 순위가 다른 결과를 낳는 지 알고 싶습니다.

1) 결과를 개별적으로 회귀 할 때 F 통계로 기능 순위를 매기고 (이것은 sklearn 이하는 것입니다),

2) 결과와 함께 다시 개별적으로 회귀 할 때 R- 제곱 값으로 피쳐 순위를 매 깁니다.

TL : DR

F-regressionF 통계량을 계산하고 최상의 기능을 선택하면 차이가 없습니다 . 다음을 가정하면 순위에 차이가있을 수 있습니다 F-regression.

• $M_0$
• $M_1$
• $M_2$$M_1$

상관 관계는 각 반복에서 동일하지 않습니다. 그러나 각 단계에서 상관 관계를 계산하여이 순위를 계속 얻을 수 있으므로 F-regression추가 단계 가 필요한 이유는 무엇입니까? 두 가지 작업을 수행합니다.

• $k$
• $p$F-regression

---

F- 테스트 란?

$M_0$$M_1$$M_0$$M_1$$M_0$$p$

이를 위해 잔차 제곱합을 오차 측정으로 사용하고 오차 감소를 추가 된 변수 수 및 관측치 수와 비교합니다 ( Wikipedia에 대한 자세한 내용 ). 변수가 완전히 무작위 임에도 불구하고 변수를 추가하면 다른 차원을 추가하여 모델이 오류를 낮추는 데 항상 도움이 될 것으로 예상됩니다. 새로운 기능이 실제로 유용한 지 또는 임의의 숫자인지 확인하지만 치수를 추가하기 때문에 모델에 여전히 도움이 되는 것이 목표입니다 .

---

무엇 않습니다 f_regression할

Scikit learn 구현에 익숙하지 않지만 f_regression수행중인 작업 을 파악하려고합니다 . 문서는 절차가 순차적 것을 말한다. 순차적이라는 단어가 Matlab Sequential Feature Selection 과 같은 다른 통계 패키지와 같은 의미라면 다음과 같이 진행됩니다.

• $M_0$
• $M_1$
• $M_2$$M_1$

지금은 귀하의 질문에 대답하기에 충분한 근사치라고 생각합니다. f_regression상관 관계에 의한 순위와 순위 사이에 차이 가 있습니까?

$M_0$$M_1$f_regression$M_0$$M_1$$M_2$

$x_1, x_2, x_3$$x_1$$x_2$$y$$x_3$$y$$x_1$$x_2$$x_1$$M_1$$x_2$$x_3$$M_2$$x_2$$x_3$$y$$x_1$$x_2$

$M_0$f_regression

---

$p$$k$

---

추가 자료 : 다음은 도움이 될 수 있는 F- 테스트에 대한 소개입니다.

무엇을 이해하기 위해 Scikit 소스 코드를 살펴 보는 데 시간을 보냈으며 f_regression여기에 내 관찰 내용을 게시하고 싶습니다.

원래 질문은 다음과 같습니다.

Q : 가장 높은 점수를받은 첫 4 가지 기능을 SelectKBest(f_regression, k = 4)사용 LinearRegression(fit_intercept=True)하고 선택 하는 것과 동일한 결과를 생성 합니까 ?

대답은 ' 예' 입니다. 또한, 점수에 의해 주어진 상대 순서는 동일합니다.

f_regression$X$$y$$X[:, i]$$y$

$$\rho_i = \frac{(X[:, i] - mean(X[:, i])) * (y - mean(y))}{std(X[:, i]) * std(y)}.$$ $$F_i = \frac{\rho_i^2}{1 - \rho_i^2}*(n-2),$$ $n = len(y)$centerFalse$n-1$SelectKBest$k$$X$가장 높은 점수. 순차 적용 또는 아무것도 없으며 p- 값도 사용되지 않습니다.

$R_i^2$LinearRegression$X[:, i]$$y$$R_i^2 = \rho_i^2$

$$R_i^2 < R_j^2 \Leftrightarrow \frac{\rho_i^2}{1 - \rho_i^2} < \frac{\rho_j^2}{1 - \rho_j^2} \Leftrightarrow F_i < F_j.$$ f_regressionLinearRegressionSelectKBest