GLMNET의 변수 중요성

기능을 선택하고 이진 대상에 예측 모델을 맞추는 방법으로 올가미를 사용하려고합니다. 아래는 정규화 된 로지스틱 회귀 분석을 시도하기 위해 놀고있는 코드입니다.

내 질문은 "유의 한"변수 그룹을 얻는데 각각의 상대적 중요성을 추정하기 위해 순서를 매길 수 있습니까? 이 순위의 목적을 위해 절대 값으로 계수를 표준화 할 수 있습니까 ( coef함수를 통해 원래 가변 스케일로 표시됨을 이해합니다 ) 그렇다면, 그렇게하는 방법 (x와 y의 표준 편차를 사용하여) 회귀 계수 표준화 .

샘플 코드 :

    library(glmnet)

    #data comes from

#http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)

    datasetTest <- read.csv('C:/Documents and Settings/E997608/Desktop/wdbc.data.txt',head=FALSE)


#appears to use the first level as the target success
   datasetTest$V2<-as.factor(ifelse(as.character(datasetTest$V2)=="M","0","1"))


#cross validation to find optimal lambda
#using the lasso because alpha=1

    cv.result<-cv.glmnet(       
              x=as.matrix(dataset[,3:ncol(datasetTest)]),
              y=datasetTest[,2],        
              family="binomial",        
              nfolds=10,        
              type.measure="deviance",       
              alpha=1      
              )

#values of lambda used

    histogram(cv.result$lambda)

#plot of the error measure (here was deviance)
#as a CI from each of the 10 folds
#for each value of lambda (log actually)

    plot(cv.result) 

#the mean cross validation error (one for each of the
#100 values of lambda

    cv.result$cvm

#the value of lambda that minimzes the error measure
#result: 0.001909601

    cv.result$lambda.min
    log(cv.result$lambda.min)

#the value of lambda that minimzes the error measure
#within 1 SE of the minimum
#result: 0.007024236

    cv.result$lambda.1se

#the full sequence was fit in the object called cv.result$glmnet.fit
#this is same as a call to it directly.
#here are the coefficients from the min lambda

    coef(cv.result$glmnet.fit,s=cv.result$lambda.1se)

내가 아는 한 glmnet은 회귀 계수의 표준 오차를 계산하지 않습니다 (순환 좌표 하강을 사용하여 모델 매개 변수에 적합하기 때문에). 따라서 표준화 된 회귀 계수가 필요한 경우 다른 방법 (예 : glm)을 사용해야합니다.

설명 변수가 적합하기 전에 표준화되고 glmnet이 "standardize = FALSE"로 호출되면 덜 중요한 계수가 더 중요한 계수보다 작을 수 있으므로 크기에 따라 순위를 지정할 수 있습니다. 이것은 사소한 양의 수축 (즉, 0이 아닌 람다)으로 더욱 두드러집니다.

도움이 되었기를 바랍니다..

중요도를 직접 비교할 수있는 공간에서 계수를 얻으려면 계수를 표준화해야합니다. 나는 썼다 메모를 로지스틱 회귀 계수의 표준화를 논의하기 위해 Thinklab에.

간단히 말해서, Agresti 방법 을 사용하는 것이 좋습니다 .

# if X is the input matrix of the glmnet function,
# and cv.result is your glmnet object:
sds <- apply(X, 2, sd)
cs <- as.matrix(coef(cv.result, s = "lambda.min"))
std_coefs <- coefs[-1, 1] * sds

glmnet (기본 옵션 standardize = TRUE)에 의한 내부 표준화에 의존하는 경우 , 이러한 표준화 된 계수는 실제로 원래 공간에서 glmnet에 의해 재 변환되기 전에 피팅 단계에서 나온 계수입니다 ( 다른 참고 사항 :-) 참조 ).