릿지, 올가미 및 탄성 그물

능선, LASSO 및 엘라스틱 넷 정규화 방법은 어떻게 비교됩니까? 각각의 장단점은 무엇입니까? 좋은 기술 논문이나 강의 노트도 감사하겠습니다.

에서 통계 학습의 요소 책, Hastie 등. 수축 기술에 대한 통찰력과 철저한 비교를 제공합니다. 이 책은 온라인으로 제공됩니다 ( pdf ). 비교는 섹션 3.4.3, 페이지 69에서 수행됩니다.

Lasso와 Ridge의 주요 차이점은 그들이 사용하는 페널티 용어입니다. 릿지는 계수 벡터의 크기를 제한하는 페널티 항을 사용합니다. Lasso는 L 1 페널티를 사용 하여 계수 사이에 희소성을 부여하므로 적합 모형을 더 해석하기 쉽게 만듭니다. Elasticnet은이 두 기술 사이의 절충안으로 도입되었으며 L 1 과 L 2 규범을 혼합 한 페널티가 있습니다.$L_2$$L_1$$L_1$$L_2$

요약하면 Lasso, Ridge 및 Elastic-net의 주요 차이점은 다음과 같습니다.

1. 올가미는 스파 스 선택 을 수행하지만 릿지는 그렇지 않습니다.
2. 상관 관계 가 높은 변수 가 있으면 Ridge 회귀 분석은 두 계수를 서로 축소합니다. 올가미는 다소 무관심하며 일반적으로 서로를 선택합니다. 상황에 따라 어떤 변수가 선택되는지 알 수 없습니다. Elastic-net은 축소와 스파 스 선택을 동시에 시도하는 두 가지의 타협입니다.
3. 릿지 추정기는 데이터의 곱셈 스케일링 과 무관합니다 . 즉, X 및 Y 변수에 상수를 곱한 경우 주어진 매개 변수에 대해 적합 계수가 변경되지 않습니다 . 그러나 올가미의 경우 맞춤은 배율과 무관합니다. 실제로 동일한 결과를 얻으려면 λ 매개 변수를 승수로 스케일 업해야합니다. 탄력있는 그물에는 더 복잡합니다.$\lambda$$\lambda$
4. 릿지 는 작은 페널티를 페널티하는 것보다 더 큰 $\beta$ 페널티합니다. 올가미는 더 균일하게 처벌합니다. 이것은 중요하거나 중요하지 않을 수 있습니다. 강력한 예측 변수의 예측 문제에서 Lasso와 비교하여 예측 기능의 효과가 올가미에 비해 줄어 듭니다.

통계 학습 서적 소개 (Tibshirani et al., 2013)를 살펴 보는 것이 좋습니다 .

그 이유 는 통계 학습서의 요소 는 수학적 과학에 대한 고급 교육을받은 사람들을위한 것입니다. ISL의 서문에서 저자는 다음과 같이 씁니다.

통계 학습에 대한 소개 는 이러한 주제에 대한보다 광범위하고 덜 기술적 인 처리가 필요하다는 인식에서 비롯되었습니다. [...]

통계 학습 소개 는 통계 또는 관련 정량 분야의 고급 학부생 또는 석사 학생 또는 통계 학습 도구를 사용하여 데이터를 분석하려는 다른 분야의 개인에게 적합합니다.

위의 답변은 매우 명확하고 유익합니다. 통계적 관점에서 하나의 사소한 점을 추가하고 싶습니다. 능선 회귀 분석을 예로 들어 보겠습니다. 상관 된 피처가 많은 경우 다중 공선 성 문제를 해결하기 위해 서수 최소 제곱 회귀의 확장입니다. 선형 회귀가

Y=Xb+e

다중 선형 회귀에 대한 정규 방정식 솔루션

b=inv(X.T*X)*X.T*Y

능선 회귀에 대한 정규 방정식 솔루션은 다음과 같습니다.

b=inv(X.T*X+k*I)*X.T*Y. 

그것은 b에 대한 편향 추정기이며, 우리는 항상 릿지 회귀의 평균 제곱 오차를 OLS 회귀의 오차보다 작게 만드는 페널티 항 k를 찾을 수 있습니다.

LASSO 및 Elastic-Net의 경우 이러한 분석 솔루션을 찾을 수 없습니다.