회귀 분석에서 올가미 란 무엇입니까?


답변:


112

LASSO (Least Absolute Shrinkage and Selection Operator)는 회귀 계수의 절대 크기에 불이익을주는 회귀 방법입니다.

모수 추정값에 불이익을 주거나 (또는 ​​추정값의 절대 값의 합을 동일하게 제한하면) 모수 추정값 중 일부가 정확히 0 일 수 있습니다. 페널티가 클수록 더 많은 추정치는 0으로 줄어 듭니다.

이것은 자동 기능 / 변수 선택을 원하거나 표준 회귀 분석에 일반적으로 '너무 큰'회귀 계수가있는 상관도가 높은 예측 변수를 처리 할 때 편리합니다.

https://web.stanford.edu/~hastie/ElemStatLearn/ (무료 다운로드)에는 LASSO 및 관련 방법에 대한 자세한 설명이 있습니다.


나는 사이트를 처음 접했다. 이것이 바로 내가 찾던 정보입니다. 많은 감사합니다.
Paul Vogt

이중 문제를 사용하여 해결하는 방법에 대한 PDF가 있습니까?
Royi

링크가 끊어짐
Oliver Angelil

3

LASSO 회귀는 변수 선택과 조절이 동시에 발생하는 회귀 분석 유형입니다. 이 방법은 회귀 계수의 값에 영향을주는 페널티를 사용합니다. 페널티가 증가함에 따라 더 많은 계수는 0이되고 그 반대도 마찬가지입니다. 튜닝 매개 변수가 수축량으로 사용되는 L1 정규화 기술을 사용합니다. 튜닝 파라미터가 증가하면 바이어스가 증가하고 감소하면 분산이 증가합니다. 상수이면 계수가 0이 아니고 무한대로되는 경향이 있으므로 모든 계수는 0이됩니다.


2

"정상"회귀 (OLS)에서 목표는 계수를 추정하기 위해 잔류 제곱합 (RSS)을 최소화하는 것입니다.

argminβRpi=1n(Yij=1pXijβj)2

LASSO 회귀 분석의 경우 약간 다른 접근법으로 계수를 추정합니다.

argminβRpi=1n(Yij=1pXijβj)2+λj=1p|βj|

새로운 부분으로 범 계수의 절대 값의 합이고, 이는 적색 highlitened된다 때문에 (L1) regulazation의 양을 제어한다.λλ

경우 유의 , 그 단순 회귀 분석과 동일한 계수로 발생할 것이다. 이 공식은 LASSO 경우 RSS와 L1 조정 (새로운 빨간색 부분)이 모두 최소가되어야 한다는 것을 보여줍니다 . 경우 , 적색 L1 페널티는 계수의 크기를 제한한다 계수 만 증가시킬 수 있도록하는 경우 RSS 감소 동일한 양이 리드. 더 일반적으로 계수가 증가 할 수있는 유일한 방법은 잔류 제곱합 (RSS)이 비슷한 감소를 경험하는 경우입니다. 따라서, 높게 설정할수록λ=0argminλ=1λ계수에 더 많은 벌점이 적용되고 계수가 더 작아지면 일부는 0이 될 수 있습니다. 즉, LASSO는 피처 선택을 수행하여 모델이 과도하게 적합하지 않도록하는 데 도움이됩니다. 즉, 기능이 많고 모델 계수를 해석하는 것보다 데이터를 예측하는 것이 목표 인 경우 LASSO를 사용할 수 있습니다.


1
답변 주셔서 감사합니다 (+1). 이 사이트는 지원 당신의 수식을 게시 할 수있는, ? 이렇게하면 시각 장애가있는 사용자가 읽을 수있게됩니다. 유사한 그림을 만들기 위해 여기에서같이 색상 사용할 수 있으며 ( "편집"을 클릭하여 원고를 볼 수 있음) 여기에서 와 같이 중괄호 사용할 수 있습니다. 감사. TTEXTEX

@Tim : 대단히 감사합니다! 편집 방법을 보려면 편집을 클릭하는 것이 좋습니다.
볼더
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.