예측 만 관심이있는 경우 왜 능선 위에 올가미를 사용합니까?

통계 학습 입문의 223 페이지 에서 저자는 능선 회귀와 올가미의 차이점을 요약합니다. 그것들은 "lasso가 치우침, 분산 및 MSE 측면에서 능선 회귀를 능가하는 경향이있는"예를 보여줍니다 (그림 6.9).

올가미가 바람직한 이유를 이해합니다. 많은 계수를 0으로 축소하여 단순하고 해석 가능한 모델로 스파 스 솔루션을 생성합니다. 그러나 예측 만 관심이있을 때 능선을 능가하는 방법을 이해하지 못합니다 (즉, 예제에서 MSE가 어떻게 더 낮습니까?).

능선을 사용하면 많은 예측 변수가 반응에 거의 영향을 미치지 않으면 (몇 개의 예측 변수가 큰 영향을 미침) 계수가 단순히 0에 매우 가까운 작은 숫자로 축소되지 않습니다. ? 그렇다면 왜 최종 모델이 올가미보다 성능이 좋지 않습니까?

— 올리버 안젤 릴
소스

stats.stackexchange.com/questions/866/…

— Laksan Nathan

나는 그 링크를 보았다. 질문에 대답하지 않습니다.

— Oliver Angelil

답변:

이 질문을 할 권리가 있습니다. 일반적으로 적절한 정확도 스코어링 규칙을 사용하는 경우 (예 : 평균 제곱 예측 오류) 능선 회귀가 올가미보다 성능이 우수합니다. 올가미는 "올바른"예측 변수를 찾기 위해 일부 정보를 사용하며, 많은 경우에 그렇게하는 것도 좋지 않습니다. 이 둘의 상대적인 성능은 실제 회귀 계수의 분포에 따라 달라집니다. 실제로 0이 아닌 계수의 작은 부분이 있으면 올가미가 더 잘 수행 될 수 있습니다. 개인적으로 나는 예측 정확도에 관심이있을 때 거의 항상 능선을 사용합니다.

— 프랭크 하렐
소스

예측 정확도에 관심이없는 경우가 있습니까?

— 고양이 Walrus

@WalrustheCat 스탠포드에서 일반적으로 나오는 일부 사람들은 고차원 변수 선택에서 올가미 사용을 옹호합니다. 아마도 Frank는 단순히 "... 예측 정확도에 관심이있는 것"이 아니라 "... 예측 정확도에 주로 관심이있다"는 의미 였지만,이 두 가지의 차이점은 유용하다는 두 가지 의미가 있습니다.

— John Madden

나는 "차원 적 축소로서의 정규화"접근법을 결코 이해하지 못했다. 올가미 정규화를 통해 차원 축소를 수행 한 다음 결과 피쳐에서 원래 문제에 가장 적합한 정규화 기능을 사용할 수 있습니다. 그러나 나는 산만하다.

— 고양이 Walrus

"일반적으로 [...] 능선 회귀는 올가미를 능가 할 것입니다."와 "제로가 아닌 제로 계수의 작은 부분이 있다면 올가미가 더 잘 수행 할 수 있습니다"는 대부분의 예측 문제에서 근거가 희박하지 않은 것으로 보입니다. 이것이 당신이 말하는 것입니까?

— amoeba는

예, 주로 "분포에 있음"이라는 기본 사실을 알면 알 수없는 회귀 계수에 대한 베이지안 사전 분포를 만들어 최적의 결과를 얻을 수 있습니다. 예를 들어 예측 변수의 3/4이 정확히 0 효과를 나타내더라도 능선은 올가미와 경쟁합니다.

— Frank Harrell

나는 당신이 참조하는 예제의 특정 설정이 올가미가 능선을 능가하는 이유를 이해하는 데 중요하다고 생각합니다. 실제로 45 명의 예측 변수 중 2 개만 관련이 있습니다.

병리학 적 사례와 관련이 있습니다. 올가미는 특별히 0으로 쉽게 줄이려고 의도 된대로 정확하게 수행되지만 능선은 많은 쓸모없는 용어를 처리해야합니다 (그 효과는 0에 가깝게 감소하지만 여전히 0이 아닌 효과).

— 메가
소스