다중 회귀 분석에서 예측 변수의 중요성 : 부분

선형 모델에서 부분 $R^2$ 와 계수 사이의 정확한 관계가 무엇인지, 그리고 요인의 중요성과 영향을 설명하기 위해 하나 또는 둘 다를 사용 해야하는지 궁금 합니다.

내가 아는 한, summary계수의 추정치와 anova각 요인에 대한 제곱합을 얻으면 한 요인의 제곱합의 합을 제곱의 합과 잔차의 합으로 나눈 비율은 부분 $R^2$ ( 다음 코드는에 있습니다 R).

library(car)
mod<-lm(education~income+young+urban,data=Anscombe)
    summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe)

Residuals:
    Min      1Q  Median      3Q     Max 
-60.240 -15.738  -1.156  15.883  51.380 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.868e+02  6.492e+01  -4.418 5.82e-05 ***
income       8.065e-02  9.299e-03   8.674 2.56e-11 ***
young        8.173e-01  1.598e-01   5.115 5.69e-06 ***
urban       -1.058e-01  3.428e-02  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 26.69 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df Sum Sq Mean Sq F value    Pr(>F)    
income     1  48087   48087 67.4869 1.219e-10 ***
young      1  19537   19537 27.4192 3.767e-06 ***
urban      1   6787    6787  9.5255  0.003393 ** 
Residuals 47  33489     713                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

'young'(0.8) 및 'urban'(-0.1을 무시하고 전자의 약 1/8)에 대한 계수의 크기가 설명 된 분산 ( 'young'~ 19500 및 'urban'~ 6790, 즉 약 1/3).

따라서 요인의 범위가 다른 요인의 범위보다 훨씬 넓 으면 계수를 비교하기가 어렵다고 가정했기 때문에 데이터를 확장해야한다고 생각했습니다.

Anscombe.sc<-data.frame(scale(Anscombe))
mod<-lm(education~income+young+urban,data=Anscombe.sc)
summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe.sc)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.29675 -0.33879 -0.02489  0.34191  1.10602 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.084e-16  8.046e-02   0.000  1.00000    
income       9.723e-01  1.121e-01   8.674 2.56e-11 ***
young        4.216e-01  8.242e-02   5.115 5.69e-06 ***
urban       -3.447e-01  1.117e-01  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5746 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df  Sum Sq Mean Sq F value    Pr(>F)    
income     1 22.2830 22.2830 67.4869 1.219e-10 ***
young      1  9.0533  9.0533 27.4192 3.767e-06 ***
urban      1  3.1451  3.1451  9.5255  0.003393 ** 
Residuals 47 15.5186  0.3302                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1    

그러나 이것이 실제로 차이를 만들지는 않지만 부분 와 계수의 크기 (이제 표준화 된 계수 임)는 여전히 일치하지 않습니다.$R^2$

22.3/(22.3+9.1+3.1+15.5)
# income: partial R2 0.446, Coeff 0.97
9.1/(22.3+9.1+3.1+15.5)
# young:  partial R2 0.182, Coeff 0.42
3.1/(22.3+9.1+3.1+15.5)
# urban:  partial R2 0.062, Coeff -0.34

'young'에 대한 부분 가 'urban'의 3 배 이기 때문에 'young'이 'urban'보다 3 배 많은 차이를 설명한다고 말하는 것이 공평 합니까? $R^2$왜 '젊음'의 계수가 '도시'의 계수의 3 배가 아닌가?

이 질문에 대한 답이 초기 질문에 대한 답을 알려줄 것이라고 생각합니다. 부분 또는 계수를 사용 하여 요인의 상대적 중요성을 설명해야합니까? (당분간 영향의 방향 무시-표시-)$R^2$

편집하다:

부분 에타 제곱은 내가 부분 라고하는 다른 이름 인 것 같습니다 . etasq {heplots} 는 비슷한 결과를 생성하는 유용한 함수입니다.$R^2$

etasq(mod)
          Partial eta^2
income        0.6154918
young         0.3576083
urban         0.1685162
Residuals            NA

간단히 말해서 , 나는 독립적이지 않기 때문에 동일한 분석에서 부분 와 표준화 된 계수를 모두 사용하지 않을 것 입니다. 표준화 된 계수를 사용하여 관계를 비교하는 것이 일반적으로 모델 정의 (즉, Y = β X ) 와 쉽게 관련되기 때문에 더 직관적이라고 주장합니다 . 부분 R 2는 , 차례로, 본질적으로 예측 종속 변수 (DV) 사이의 고유 한 공유 편차의 비율 (상기 제 1 예측기에 대한 그것의 부분 상관의 제곱이다 R X 1 개 , Y가 . X 2 . . . (X) $R^2$$Y = \beta X$$R^2$$r_{x_1y.x_2...x_n}$). 또한, 매우 작은 오차에 적합하기 위해서는 모든 계수의 부분 가 1 인 경향이 있으므로 예측 변수의 상대적 중요성을 식별하는 데 유용하지 않습니다.$R^2$

---

효과 크기 정의

• 표준화 계수, 표준화 변수에 대한 모형을 추정하여 얻은 계수 β (평균 = 0, 표준 편차 = 1).$\beta_{std}$$\beta$

• 부분 예측 변수를 제한된 모형 (예측자가없는 전체 모형)에 추가하여 설명 된 잔차 변동 비율입니다. 다음과 같습니다 :$R^2$

  • 모형의 다른 모든 예측 변수를 제어하여 예측 변수와 종속 변수 간의 부분 상관의 제곱입니다. .$R_{partial}^2 = r_{x_iy.X\setminus x_i}^2$
  • 부분 예측 변수와 예측 변수에 기여한 제곱의 합에 대한 III 유형 제곱의 제곱 비율과 오류 SS 효과 / ( SS 효과 + SS 오류$\eta^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$

• 제한된 모델과 전체 모델의 R 2 차이. 동일:$\Delta R^2$$R^2$

  • 제곱 반 부분 상관 관계 $r_{x_i(y.X\setminus x_i)}^2$
  • 제 III 유형의 제곱 SS 효과에 대한 η 2 SS 효과 / SS 총계 -문제에서부분 R 2 로 계산한 것.$\eta^2$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$

이들 모두는 밀접하게 관련되어 있지만 변수 간의 상관 관계 구조를 처리하는 방법이 다릅니다. 이 차이를 조금 더 잘 이해하기 위해 상관 관계가 r x y , r x z , r y z 인 3 개의 표준화 된 (평균 = 0, sd = 1) 변수 가 있다고 가정 합니다. 우리는 걸릴 X을 종속 변수로하고 , Y 및 $x,y,z$$r_{xy}, r_{xz}, r_{yz}$$x$$y$$z$예측 자로. 모든 효과 크기 계수를 상관 관계로 표현하여 상관 구조가 각각에 의해 처리되는 방식을 명시 적으로 볼 수 있습니다. 먼저 OLS를 사용하여 추정 된 회귀 모델 의 계수를 나열합니다 . 계수 공식 : β y = r x y − r y z r z $x=\beta_{y}Y+\beta_{z}Z$예측 변수에 대한R2부분의 제곱근은 다음과 같습니다.

$$\begin{align}\beta_{y} = \frac{r_{xy}-r_{yz}r_{zx}}{1-r_{yz}^2}\\ \beta_{z}= \frac{r_{xz}-r_{yz}r_{yx}}{1-r_{yz}^2}, \end{align}$$ $R_\text{partial}^2$

$$\sqrt{R^2_{xy.z}} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{xz}^2)(1-r_{yz}^2)}}\\ \sqrt{R^2_{xz.y}} = \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{xy}^2)(1-r_{yz}^2)}}$$

$\sqrt{\Delta R^2}$

$$\sqrt{R^2_{xyz}-R^2_{xz}}= r_{y(x.z)} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{yz}^2)}}\\ \sqrt{R^2_{xzy}-R^2_{xy}}= r_{z(x.y)}= \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{yz}^2)}}$$

$\beta$$\sqrt{\Delta R^2}$$\sqrt{ R_\text{partial}^2}$$\beta_{std}$

anova$R^2$lm

Anovacar$F$$t$$F(1,n) = t^2(n)$anova(mod)Anova(mod, type = 2)options(contrasts = c("contr.sum","contr.poly"))Anova(mod,type=3)$R^2$etasq()$p$$R^2$

---

신용

• 부분 상관에 대한 공식은 여기에 ttnphns answer : 다중 회귀 또는 부분 상관 계수? 그리고 둘 사이의 관계

• 반 부분 상관 관계 공식은 다음과 같습니다. https://www3.nd.edu/~rwilliam/stats1/x92.pdf
• $R^2$

다른 답변과 의견에서 이미 설명 했듯이이 질문은 적어도 세 가지 혼란에 기초했습니다.

1. anova()$t$Anova()car

2. $R^2$$\beta_\mathrm{std}$

3. $R^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$$\text{SS}_\text{effect}$

이러한 혼란이 명확 해지면 예측 효과 크기 또는 중요도에 대한 가장 적절한 척도는 무엇인지에 대한 의문이 남아 있습니다.

---

R에는 relaimpo상대적으로 중요한 몇 가지 측정 값을 제공 하는 패키지 가 있습니다.

library(car)
library(relaimpo)
mod <- lm(education~income+young+urban, data=Anscombe)
metrics <- calc.relimp(mod, type = c("lmg", "first", "last", "betasq", "pratt", "genizi", "car"))

Anscombe귀하의 질문 과 동일한 데이터 세트를 사용하면 다음과 같은 메트릭이 생성됩니다.

Relative importance metrics: 

              lmg      last      first    betasq       pratt     genizi        car
income 0.47702843 0.4968187 0.44565951 0.9453764  0.64908857 0.47690056 0.55375085
young  0.14069003 0.1727782 0.09702319 0.1777135  0.13131006 0.13751552 0.13572338
urban  0.07191039 0.0629027 0.06933945 0.1188235 -0.09076978 0.07521276 0.00015460

이러한 메트릭 중 일부는 이미 논의되었습니다.

• betasq로 구한 값과 동일한 값으로 제곱 된 표준화 계수입니다 lm().
• first$\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$anova()
• last$R^2$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$$R^2$anova()

$R^2$

relaimpo패키지 relaimpo가 수동으로 설치된 경우 4 가지 추가 메트릭 이 있습니다. 패키지 를 수동으로 설치 한 경우 하나 이상 (5 번째)을 사용할 수 있습니다 . . R을 온라인으로 실행하고 있으며 액세스 할 수 없으므로 누구나 수동으로 설치할 수 있다면 relaimpo위의 출력 에이 메트릭을 추가하여 완성도를 높이십시오.

두 가지 메트릭은 pratt음수 (나쁜) 일 수 있으며 genizi매우 모호합니다.

두 가지 흥미로운 접근법은 lmg및 car입니다.

$\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$

두 번째는 (Zuber & Strimmer, 2011)에 소개되었으며 많은 매력적인 이론적 특성을 가지고 있습니다. 예측 변수가 먼저 표준화 된 후 ZCA / Mahalanobis 변환으로 미백 된 후 (즉, 재구성 오류를 최소화하면서 미백 된) 제곱 표준화 된 계수입니다.

'젊음'이 '도시'에 대한 기여 비율은 $2:1$lmg$878:1$car

서지:

1. Ulrike Grömping 웹 사이트 에서 상대적 중요성 에 대한 언급 – 그녀는 저자입니다 relaimpo.

2. Grömping, U. (2006). R의 선형 회귀에 대한 상대적 중요성 : 패키지 relaimpo . 통계 소프트웨어 저널 17, 1 호.

3. Grömping, U. (2007). 분산 분해에 기반한 선형 회귀 분석의 상대 중요도 추정값 . 미국 통계 학자 61, 139-147.

4. Zuber, V. and Strimmer, K. (2010). CAR 점수를 사용한 고차원 회귀 및 변수 선택 . 유전학과 분자 생물학 10.1 (2011)의 통계적 응용 : 1-27.

5. Grömping, U. (2015). 회귀 모형에서 변수의 중요성 . 와일리 학제 간 검토 : 전산 통계, 7 (2), 137-152. (유료 벽 뒤에)

당신은 썼습니다 :

내 질문은 : 부분 R² 또는 계수를 사용하여 각 요소가 결과에 얼마나 많은 영향을 미치는지를 보여야합니까?

여기서 두 가지를 혼동하지 않는 것이 중요합니다. 먼저, 모델 사양에 대한 문제가 있습니다. lm 알고리즘은 OLS 가정이 충족되었다고 가정합니다. 무엇보다도 이는 편견없는 추정의 경우 모델에서 NO 유의 한 변수가 누락 될 수 있음을 의미합니다 (모든 다른 회귀 변수와 관련이없는 경우는 드물지만).
따라서 모델을 찾을 때 R² 또는 조정 된 R²에 대한 추가 영향이 중요합니다. 예를 들어, 조정 된 R²의 개선이 멈출 때까지 회귀자를 추가하는 것이 적절하다고 생각할 수 있습니다. 이와 같은 단계적 회귀 절차에는 흥미로운 문제가 있지만 이는 주제가 아닙니다. 어쨌든 나는 당신이 당신의 모델을 선택한 이유가 있다고 가정합니다.

그러나 R²에 대한 이러한 추가 영향은 다중 변수로 인해 회귀 변수가 독립 변수에 미치는 실제 또는 전체 영향과 동일하지 않습니다. 상관되어 있습니다. 이제 실제 영향이 올바르게 표시되지 않습니다.

그리고 또 다른 문제가 있습니다. 추정치는 다른 모든 회귀 분석기가있는 완전한 모형에 대해서만 유효합니다. 이 모델이 아직 정확하지 않기 때문에 영향에 대한 논의는 의미가 없습니다. 또는 맞습니다. 회귀자를 제거 할 수없고 여전히 OLS 방법을 사용할 수 있습니다.

모델과 OLS 사용이 적절합니까? 그렇다면 추정값이 귀하의 질문에 답변합니다-회귀 및 종속 변수에 대한 변수의 영향을 문자 그대로 가장 잘 추측합니다.
그렇지 않은 경우 첫 번째 작업은 올바른 모델을 찾는 것입니다. 이를 위해 부분 R²을 사용하는 것이 좋습니다. 모델 스펙 또는 단계적 회귀에 대한 검색은이 포럼에서 많은 흥미로운 접근법을 생성합니다. 작동하는 것은 데이터에 따라 다릅니다.

예를 들어, 선형 회귀 계수와 부분 상관의 차이에 대해 이것을 읽을 수 있습니다 .

그러나 질문에 표현 된 혼란은 또 다른 본성 인 것 같습니다. 이 패키지 또는이 통계 패키지에서 사용되는 기본 제곱합 유형에 관한 것 같습니다 (사이트에서 반복적으로 논의되는 주제). 선형 회귀 분석은 ANOVA Type III SS 계산에서 사용되는 것을 사용합니다. 많은 ANOVA 프로그램에서 기본 옵션이기도합니다. 에서 R기능 anova, 그것은 기본 계산은 유형 I SS (예측 인자는 모델에 지정된 순서에 의존하는 "연속 SS")이다 (나는 그냥 가정, 그래서 나는, R 사용자 아니에요) 나에게 나타납니다. 따라서 변수를 표준화 ( "스케일") 할 때 관찰하고 사라지지 않은 불일치는 기본 유형 I 옵션으로 분산 분석을 지정했기 때문입니다.

다음은 데이터와 함께 SPSS에서 얻은 결과입니다.

SS 출력 유형에 관계없이 매개 변수 (회귀 계수)가 동일한 인쇄물에서 선택할 수 있습니다. SS 에펙트 / (SSeffect + SSerror)와 = 부분 R- 제곱 인 부분 에타 제곱은 SS 유형 인 경우에만 효과 테이블과 계수에서 완전히 동일합니다. III입니다. SS 유형이 I 인 경우 세 개의 예측 변수 중 "urban"만 마지막 값이 동일합니다 (.169). 예측 변수의 입력 순서에서 마지막이기 때문입니다. 유형 III SS의 경우 회귀에서와 같이 입력 순서는 중요하지 않습니다. 그건 그렇고, 불일치는 p- 값에서도 강요됩니다. "Sig"열에 소수점 이하 3 자리 만 있기 때문에 표에 표시되지 않지만,

분산 분석 / 선형 모델에서 다른 "SS 유형"에 대한 자세한 내용을 읽을 수 있습니다. 개념적으로, 유형 III 또는 "회귀"유형의 SS는 기본적이고 기본적입니다. 다른 유형의 SS (I, II, IV, 훨씬 더 많이 존재)는 상관 예측 변수의 상황에서 회귀 모수가 허용하는 것보다 효과를 더 포괄적으로, 낭비없이 덜 추정하는 특수 장치입니다.

연구의 목적이 미래의 모델을 만드는 것이 아니라면 일반적으로 효과 크기와 p- 값은 매개 변수와 p- 값보다보고하는 것이 더 중요합니다. 매개 변수를 사용하면 예측할 수 있지만 "영향"또는 "효과"는 "선형 예측의 강도"보다 더 넓은 개념 일 수 있습니다. 영향 또는 중요도를보고하기 위해 부분 Eta 제곱 외에 다른 계수가 가능합니다. 하나는 탈퇴 계수입니다. 예측 변수의 중요도는 예측 변수가 모형에서 제거 된 정규 제곱의 잔차 합이며 모든 예측 변수의 중요도 값이 1이되도록 정규화됩니다.