답변:
LASSO (Least Absolute Shrinkage and Selection Operator)는 회귀 계수의 절대 크기에 불이익을주는 회귀 방법입니다.
모수 추정값에 불이익을 주거나 (또는 추정값의 절대 값의 합을 동일하게 제한하면) 모수 추정값 중 일부가 정확히 0 일 수 있습니다. 페널티가 클수록 더 많은 추정치는 0으로 줄어 듭니다.
이것은 자동 기능 / 변수 선택을 원하거나 표준 회귀 분석에 일반적으로 '너무 큰'회귀 계수가있는 상관도가 높은 예측 변수를 처리 할 때 편리합니다.
https://web.stanford.edu/~hastie/ElemStatLearn/ (무료 다운로드)에는 LASSO 및 관련 방법에 대한 자세한 설명이 있습니다.
"정상"회귀 (OLS)에서 목표는 계수를 추정하기 위해 잔류 제곱합 (RSS)을 최소화하는 것입니다.
LASSO 회귀 분석의 경우 약간 다른 접근법으로 계수를 추정합니다.
새로운 부분으로 범 계수의 절대 값의 합이고, 이는 적색 highlitened된다 때문에 (L1) regulazation의 양을 제어한다.
경우 유의 , 그 단순 회귀 분석과 동일한 계수로 발생할 것이다. 이 공식은 LASSO 경우 RSS와 L1 조정 (새로운 빨간색 부분)이 모두 최소가되어야 한다는 것을 보여줍니다 . 경우 , 적색 L1 페널티는 계수의 크기를 제한한다 계수 만 증가시킬 수 있도록하는 경우 RSS 감소 동일한 양이 리드. 더 일반적으로 계수가 증가 할 수있는 유일한 방법은 잔류 제곱합 (RSS)이 비슷한 감소를 경험하는 경우입니다. 따라서, 높게 설정할수록계수에 더 많은 벌점이 적용되고 계수가 더 작아지면 일부는 0이 될 수 있습니다. 즉, LASSO는 피처 선택을 수행하여 모델이 과도하게 적합하지 않도록하는 데 도움이됩니다. 즉, 기능이 많고 모델 계수를 해석하는 것보다 데이터를 예측하는 것이 목표 인 경우 LASSO를 사용할 수 있습니다.