기능이 서로 관련되어있을 때 Lasso 또는 ElasticNet이 Ridge보다 성능이 우수한 이유

150 개의 기능이 있으며 그 중 많은 기능이 서로 밀접하게 관련되어 있습니다. 내 목표는 범위가 1-8 인 이산 변수의 값을 예측하는 것입니다 . 내 샘플 크기는 550 이고 10 배 교차 검증을 사용하고 있습니다.

AFAIK는 정규화 방법 (Lasso, ElasticNet 및 Ridge) 중에서 Ridge가 기능 간의 상관 관계에보다 엄격합니다. 그래서 Ridge를 사용하면보다 정확한 예측을 얻을 수있을 것으로 기대했습니다. 그러나 내 결과에 따르면 올가미 또는 탄성의 평균 절대 오차는 약 0.61 이지만이 점수는 능선 회귀의 경우 0.97 입니다. 이에 대한 설명이 궁금합니다. 기능이 많기 때문에 이것이 기능입니까? Lasso는 중복 기능을 제거하여 일종의 기능을 선택하기 때문에 성능이 더 좋습니까?

상관 관계가 높은 두 개의 예측 변수 가 있고 둘 다 중심이 있고 스케일이 있다고 가정합니다 (0은 분산 1). 그런 다음 매개 변수 벡터의 릿지 페널티는 β 2 1 + β 2 2 이며 올가미 페널티 항은 ∣ β 1 ∣ + ∣ β 2 ∣ 입니다. 이제 모형이 고도로 동일 선상에 있다고 가정하기 때문에 , Y 를 예측할 때 x 와 z가 서로를 대체 할 수 있도록 x , z 의 많은 선형 조합은 단순히 부분적으로 자막을 형성합니다.$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$ 경우 z 는 예측 변수와 매우 유사하게 작동합니다 (예 : 0.2 x + 0.8 x , 0.3 x + 0.7 z 또는 0.5 x + 0.5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$예측 변수와 거의 동일합니다. 이제이 세 가지 예를 살펴보십시오. 세 경우 모두의 올가미 페널티는 1이고, 릿지 페널티는 각각 0.68, 0.58, 0.5이므로 릿지 페널티는 올가미 페널티는 동일 선상 변수의 가중치를 선호합니다 선택할 수 없습니다. 이것은 능선 (또는 일반적으로 올가미와 능선의 선형 조합 인 탄성 그물)이 동일 선상 예측 변수에서 더 잘 작동하는 한 가지 이유입니다. 데이터가 동일 선상 예측 변수의 서로 다른 선형 조합 중에서 선택할 이유가 거의 없다면 올가미는 능선이 동일한 가중치를 선택하는 동안 "방황". 마지막 데이터는 향후 데이터와 함께 사용하기에 더 좋은 추측 일 수 있습니다! 그리고 이것이 현재 데이터와 일치하는 경우 능선의 더 나은 결과로 교차 유효성 검사에 나타날 수 있습니다.

우리는 이것을 베이지안 방식으로 볼 수 있습니다. 릿지와 올가미는 다른 사전 정보를 의미하며, 릿지가 암시하는 사전 정보는 그러한 상황에서 더 합리적인 경향이 있습니다. (이 설명은 Trevor Hastie, Robert Tibshirani 및 Martin Wainwright의 "통렬한 올가미와 일반화를 통한 통계 학습"이라는 책에서 어느 정도 배웠다. 그러나 지금은 직접적인 인용문을 찾을 수 없었다).

올가미와 릿지의 가장 중요한 차이점은 올가미가 자연적으로 공변량이 매우 관련이있는 곳에서 선택을한다는 것입니다. 적합 계수를 보지 않고서는 확신 할 수 없지만 이러한 상관 된 특징 중에서 많은 것이 단순히 쓸모가 없다고 생각하기 쉽습니다.