회귀 분석에서 올가미 란 무엇입니까?

올가미에 대한 기술적이지 않은 정의와 그것이 사용되는 것을 찾고 있습니다.

LASSO (Least Absolute Shrinkage and Selection Operator)는 회귀 계수의 절대 크기에 불이익을주는 회귀 방법입니다.

모수 추정값에 불이익을 주거나 (또는 ​​추정값의 절대 값의 합을 동일하게 제한하면) 모수 추정값 중 일부가 정확히 0 일 수 있습니다. 페널티가 클수록 더 많은 추정치는 0으로 줄어 듭니다.

이것은 자동 기능 / 변수 선택을 원하거나 표준 회귀 분석에 일반적으로 '너무 큰'회귀 계수가있는 상관도가 높은 예측 변수를 처리 할 때 편리합니다.

https://web.stanford.edu/~hastie/ElemStatLearn/ (무료 다운로드)에는 LASSO 및 관련 방법에 대한 자세한 설명이 있습니다.

LASSO 회귀는 변수 선택과 조절이 동시에 발생하는 회귀 분석 유형입니다. 이 방법은 회귀 계수의 값에 영향을주는 페널티를 사용합니다. 페널티가 증가함에 따라 더 많은 계수는 0이되고 그 반대도 마찬가지입니다. 튜닝 매개 변수가 수축량으로 사용되는 L1 정규화 기술을 사용합니다. 튜닝 파라미터가 증가하면 바이어스가 증가하고 감소하면 분산이 증가합니다. 상수이면 계수가 0이 아니고 무한대로되는 경향이 있으므로 모든 계수는 0이됩니다.

"정상"회귀 (OLS)에서 목표는 계수를 추정하기 위해 잔류 제곱합 (RSS)을 최소화하는 것입니다.

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

LASSO 회귀 분석의 경우 약간 다른 접근법으로 계수를 추정합니다.

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

새로운 부분으로 범 계수의 절대 값의 합이고, 이는 적색 highlitened된다 때문에 (L1) regulazation의 양을 제어한다.$\lambda$$\lambda$

경우 유의 , 그 단순 회귀 분석과 동일한 계수로 발생할 것이다. 이 공식은 LASSO 경우 RSS와 L1 조정 (새로운 빨간색 부분)이 모두 최소가되어야 한다는 것을 보여줍니다 . 경우 , 적색 L1 페널티는 계수의 크기를 제한한다 계수 만 증가시킬 수 있도록하는 경우 RSS 감소 동일한 양이 리드. 더 일반적으로 계수가 증가 할 수있는 유일한 방법은 잔류 제곱합 (RSS)이 비슷한 감소를 경험하는 경우입니다. 따라서, 높게 설정할수록$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$계수에 더 많은 벌점이 적용되고 계수가 더 작아지면 일부는 0이 될 수 있습니다. 즉, LASSO는 피처 선택을 수행하여 모델이 과도하게 적합하지 않도록하는 데 도움이됩니다. 즉, 기능이 많고 모델 계수를 해석하는 것보다 데이터를 예측하는 것이 목표 인 경우 LASSO를 사용할 수 있습니다.