LASSO에 대한 인디케이터 / 바이너리 / 더미 예측 변수의 재조정 여부

LASSO (및 다른 모델 선택 절차)의 경우 예측 변수를 재조정하는 것이 중요합니다. 일반 추천 I 추적은 연속 변수의 0 평균, 1 개 표준 편차의 정상화를 사용하는 것입니다. 그러나 인형과 어떤 관련이 있습니까?

예를 들어 , 동일한 (우수한) 여름 학교의 일부 적용 예 는 연속 변수를 0과 1 사이로 조정하지만 (이상치에는 크지 않음) 아마도 인형과 비교할 수 있습니다. 그렇다고하더라도 계수가 동일한 차수 여야한다고 보장 할 수는 없으며, 따라서 재조정의 주요 이유는 아닙니다.

에 따르면 Tibshirani ( 올가미 방법의 VARIABLE SELECTION에서 COX 모델, 의학 통계, VOL. 16, 385-395 (1997) 그대로 정규화 방법에 대한 책을 썼다), 당신은 인형을 표준화해야한다. 그러나 계수에 대한 직접적인 해석 가능성을 잃게됩니다. 그렇지 않으면 변수가 고르지 않은 경기장에 있지 않습니다. 본질적으로 연속 변수에 유리하게 스케일을 기울입니다 (대부분 가능성이 높습니다). 따라서 기본 목표가 모델 선택 인 경우 심각한 오류입니다. 그러나 해석에 더 관심이 있다면 아마도 이것이 최선의 아이디어가 아닐 수도 있습니다.

권장 사항은 394 페이지에 있습니다.

올가미 방법은 회귀 자의 초기 표준화가 필요하므로 처벌 체계가 모든 회귀 자에게 공정합니다. 범주 형 회귀 분석의 경우 회귀 변수를 더미 변수로 코딩 한 다음 더미 변수를 표준화합니다. 그러나 심판이 지적한 바와 같이,이 체계에서 연속 변수와 범주 변수 사이의 상대적인 스케일링은 다소 임의적 일 수있다.

Andrew Gelman의 블로그 게시물 인 회귀 입력을 표준화 할 때와 입력을 내버려 둘 때도 살펴볼 가치가 있습니다. 이 부분은 특히 관련이 있습니다.

모형 내에서 다른 예측 변수의 계수를 비교하기 위해 표준화하면 끄덕임을 얻습니다. (이진 입력을 표준화하지는 않지만 0/1로 코딩 한 다음 두 개의 표준 편차로 나눠서 다른 모든 숫자 입력을 표준화하여 0/1 변수와 거의 동일한 척도로 배치합니다.)

이것은 더 많은 의견이지만 너무 깁니다. 올가미 (및 친구)에 가장 많이 사용되는 소프트웨어 중 하나는 R glmnet입니다. 도움말 페이지에서 다음에 의해 인쇄됩니다 ?glmnet.

표준화 : 모델 시퀀스를 맞추기 전에 x 변수 표준화를위한 논리 플래그. 계수는 항상 원래 스케일로 반환됩니다. 기본값은 'standardize = TRUE'입니다. 변수가 동일한 단위에 있으면 표준화하지 않을 수 있습니다. 'family = "gaussian"'을 사용한 y 표준화에 대한 자세한 내용은 아래를 참조하십시오.

standardize는 인수 중 하나이며 기본값은 true입니다. 따라서 변수는 일반적으로 표준화되며 여기에는 더미가 포함됩니다 (예외에 대한 언급이 없기 때문에). 그러나 계수는 원래 척도로보고됩니다.$X$