GAM 맞춤 요약

12

우리가 GAM에 맞는다면 :

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

College패키지 안에서 찾을 수있는 데이터 셋을 사용합니다 ISLR.
이제이 맞춤의 요약을 찾으면 다음을 볼 수 있습니다.

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

여기서는 "파라 메트릭 효과에 대한 Anova"와 "비 파라 메트릭 효과에 대한 Anova"부분의 의미를 이해하지 못합니다. 분산 분석 테스트의 작동 방식을 알고 있지만 요약의 "모수 적 효과"및 "비모수 적 효과"부분을 이해할 수는 없습니다. 그들의 의미는 무엇입니까?

이 질문 기인의 (d) 부분에 발생한 이러한 문제 (10)의 제 7의 답 통계적 학습 소개 .

anova  gam 
— 문크 래터
소스

답변:

22

GAM 피팅에 대한이 접근법의 출력이 구성되는 방식은 스무더의 선형 부분을 다른 파라 메트릭 용어와 그룹화하는 것입니다. 통지 Private는 첫 번째 테이블에 항목이 있지만 두 번째 테이블에는 비어 있습니다. 이는 Private엄격하게 파라 메트릭 용어 이기 때문 입니다. 이 변수는 요인 변수이므로의 영향을 나타내는 추정 된 모수와 연관됩니다 Private. 부드러운 항이 두 가지 유형의 효과로 분리되는 이유는이 출력을 통해 부드러운 항이

  1. 비선형 효과 : 비모수 적 표를보고 유의성을 평가합니다. 중요하면 부드러운 비선형 효과로 두십시오. 중요하지 않은 경우 선형 효과를 고려하십시오 (아래 2.).
  2. 선형 효과 : 파라 메트릭 테이블을보고 선형 효과 의 중요성을 평가합니다. 중요한 경우 모형을 설명하는 공식에서 항을 부드럽게 s(x)-> 로 바꿀 수 있습니다 x. 중요하지 않은 경우 모델에서 항을 완전히 삭제하는 것을 고려할 수 있습니다 (그러나이 점에주의하십시오 --- 진정한 효과는 == 0이라는 강한 진술에 해당합니다).

파라 메트릭 테이블

여기에 나와있는 항목은이 모형을 선형 모형에 적합하고 연관된 모형 계수에 대한 추정치가 표시되지 않은 것을 제외하고 분산 분석표를 계산하면 얻을 수있는 것과 같습니다. 추정 된 계수 및 표준 오차와 관련된 t 또는 Wald 검정 대신 설명 된 분산의 양 (제곱합으로 표시)이 F 검정과 함께 표시됩니다. 여러 공변량 (또는 공변량의 함수)이있는 다른 회귀 모형과 마찬가지로 표의 항목은 모형의 다른 항 / 함수에 따라 달라집니다.

비모수 적 테이블

비모수 효과 장착 smoothers의 비선형 부분에 관한 것이다. 의 비선형 효과를 제외하고 이러한 비선형 효과 중 중요하지 Expend않습니다. 의 비선형 효과에 대한 증거가 있습니다 Room.Board. 이것 각각은 몇 개의 비모수 적 자유도 ( Npar Df)와 관련이 있으며 응답의 변화량을 설명합니다. 그 양은 F 테스트를 통해 평가됩니다 (기본적으로 인수 참조 test).

비모수 섹션의 이러한 테스트 는 비선형 관계 대신 선형 관계의 귀무 가설 테스트로 해석 될 수 있습니다 .

이것을 해석 할 수있는 방법 Expend은 부드러운 비선형 효과로 취급 되는 것만 보증 한다는 것 입니다. 다른 평활은 선형 파라 메트릭 항으로 변환 될 수 있습니다. 당신은이 매끄러운 것을 확인 할 수 있습니다 Room.Board당신은 선형에 다른 부드럽게 변환 한 번이 아닌 중요한 비 파라 메트릭 효과가 계속 파라 메트릭 용어; 영향 Room.Board이 약간 비선형 일 수 있지만 모형에 다른 부드러운 항이 있는지에 따라 영향을받습니다.

그러나이 중 많은 부분은 많은 스무드가 2 자유도 만 사용할 수 있다는 사실에 따라 달라질 수 있습니다. 왜 2?

자동 평활도 선택

GAM 피팅에 대한 새로운 접근 방식은 권장 패키지 mgcv 에서 구현 된 Simon Wood의 페널티 스플라인 접근 방식과 같은 자동 스무딩 선택 방식을 통해 스무딩 정도를 선택합니다 .

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

모형 요약은보다 간결하며 선형 (모수) 및 비선형 (비모수) 기여가 아닌 전체로 부드러운 기능을 직접 고려합니다.

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

이제 출력은 스무스 항과 파라 메트릭 항을 별도의 테이블로 수집하고, 후자는 선형 모형과 유사한 친숙한 출력을 얻습니다. 부드러운 용어 전체 효과는 아래 표에 나와 있습니다. 이것은 gam::gam당신이 보여주는 모델 과 같은 테스트가 아닙니다 . 부드러운 효과는 평평한 수평선, null 효과 또는 0 효과를 나타내는 귀무 가설에 대한 검정입니다. 대안은 진정한 비선형 효과가 0과 다르다는 것입니다.

EDF는를 제외하고 모두 2보다 큽니다 s(perc.alumni). gam::gam모델이 약간 제한적일 수 있습니다.

비교를 위해 장착 된 스무딩은

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

어떤 생산

여기에 이미지 설명을 입력하십시오

자동 평활도 선택은 모델에서 항을 완전히 축소하도록 선택할 수도 있습니다.

그렇게 한 후에는 모형 적합이 실제로 변경되지 않았 음을 알 수 있습니다.

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

모든 스무딩은 스플라인의 선형 및 비선형 부분을 축소 한 후에도 약간 비선형 효과를 나타내는 것으로 보입니다.

개인적으로, mgcv 의 출력 을 해석하기가 더 쉽다는 것을 알았 습니다. 자동 평활도 선택 방법이 데이터에 의해 지원되는 경우 선형 효과에 맞는 경향이 있음이 밝혀졌습니다.

— 복원 모니카-G. 심슨
소스
4
+1 대단한 설명. (하지만 "비모수 적 F 테스트"의 의미가 무엇인지 궁금합니다. 표준 F 테스트와 다른 점은 무엇입니까?)
— whuber
4
@whuber 그것은 단지 나쁜 표현입니다. 표준 F 테스트이지만 스무딩이 선형 및 비선형 부분으로 분해되기 때문에 출력이 "비모수 적"비트라고하는 테스트입니다. 편집하겠습니다.
— 복원 모니카
3
p- 값은 그런 식으로 작동하지 않습니다. 검정을 수행하기 위해 귀무 가설 이 참 이라고 가정했습니다 . 그 시험이하는 것은 관계가 선형이라고 가정하고, 그 가정과 얼마나 충돌하는지는 데이터에 의해 얻은 증거가 무엇입니까? 데이터가 가져온 증거가 널 (null)이 참일 것으로 예상되는 증거와 일치하는 경우. 증거가 귀무 가설과 일치하지 않으면 귀무가 사실 인 경우에 수행 한 데이터를 관찰하지 못할 것입니다. p 값은 널에 대한 증거의 측도입니다.
— 복원 모니카
1
당신은 파라 메트릭 테이블에 대해 말합니다 : "여기서 엔트리는 선형 모델로 피팅하고 분산 분석 테이블을 계산하면 얻을 수있는 것입니다." 나는 이것이 사실이 아니라고 가정합니다 (즉, 모델의 비선형 부분은 선형 부분의 유의성 추정에 전혀 영향을 미치지 않습니다). 선형 및 비선형 부분의 추정은 공동으로 수행되며 비선형 부분은 선형 부분의 계수에 영향을 미치며 의미가 있습니다.
— Jacob Socolar
1
@JacobSocolar 내가 이해하는 한 스플라인은 선형 구성 요소와 일부 비선형 구성 요소 (스플라인에 허용되는 자유도에 따라 그 수에 따라 다름)로 분해 할 수 있습니다. 내가 의미하는 것은 선형 모델 적합에서 얻은 분산의 종류와 분산 분석 (즉, 평균 제곱에 대한 F 테스트)입니다. 그러나 예, 이는 모델의 한 부분에서 설명하는 분산이 모델의 다른 항 (& 기본 함수)에 따라 달라진다는 점에서 부분적인 영향입니다. 그렇습니다. 나는 그 말을 문자 그대로 의미하지 않았습니다. 나는 "당신이하고자하는 것을 좋아합니다 ..."라고 다시 말하겠습니다.
— 복원 Monica Monica-G. Simpson
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.