페널티 선형 회귀의 기하학적 해석

선형 회귀는 "모든 점에 수직으로 가장 가까운 선" 으로 생각할 수 있습니다 .

그러나 열 공간을 "계수 매트릭스의 열이 차지하는 공간으로의 투영" 으로 시각화하여이를 확인할 수있는 또 다른 방법이 있습니다 .

내 질문은 :이 두 가지 해석에서 릿지 회귀 및 LASSO 와 같은 페널티 선형 회귀를 사용하면 어떻게됩니까 ? 첫 번째 해석에서 라인은 어떻게됩니까? 그리고 두 번째 해석의 예측은 어떻게됩니까?

업데이트 : 의견에서 @JohnSmith는 계수의 공간에서 벌칙이 발생한다는 사실을 제기했습니다. 이 공간에도 해석이 있습니까?

내 회화 기술에 대해 유감스럽게 생각하며, 다음과 같은 직관을 제공 할 것입니다.

하자 목적 함수이다 (예를 들면, MSE 회귀의 경우). 이 함수의 등고선을 빨간색으로 상상해 봅시다 (물론 우리 는 단순함을 위해 공간에 페인트합니다. 및 ).$f(\beta)$$\beta$$\beta_1$$\beta_2$

빨간색 원의 가운데에는이 기능이 최소한 있습니다. 그리고이 최소값은 우리에게 처벌되지 않은 솔루션을 제공합니다.

이제 우리 는 등고선 플롯이 파란색으로 다른 객관적인 를 추가 합니다. LASSO 정규화 기 또는 릿지 회귀 정규화 기입니다. LASSO , 능선 회귀 ( 는 처벌입니다 매개 변수). 등고선 플롯은 함수가 고정 된 값을 갖는 영역을 보여줍니다. 따라서 가 클수록 성장 이 빨라지고 등고선 플롯이 "좁아집니다".$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

이제이 두 목표의 합의 최소값을 찾아야합니다 : . 그리고 이것은 두 개의 등고선 플롯이 서로 만나면 달성됩니다.$f(\beta) + g(\beta)$

페널티가 클수록 "더 좁은"파란색 윤곽선을 얻게되고 음모가 0에 가까운 지점에서 서로 만나게됩니다. 그 반대의 경우 : 패널티가 작을수록 윤곽이 확장되고 파란색과 빨간색 플롯의 교차점이 빨간색 원의 중심에 가까워집니다 (벌금이 부과되지 않은 솔루션).

그리고 릿지 회귀와 LASSO의 차이점을 크게 설명해주는 흥미로운 점이 있습니다. LASSO의 경우 두 개의 등고선 플롯이 정규화 기의 모서리 ( 또는 )를 충족 할 것입니다 . 능선 회귀의 경우에는 거의 해당되지 않습니다.$\beta_1 = 0$$\beta_2 = 0$

그렇기 때문에 LASSO가 희소 솔루션을 제공하여 일부 매개 변수를 정확히 만듭니다.$0$

매개 변수 영역에서 페널티 회귀가 어떻게 작동하는지에 대한 직관을 설명 할 수 있기를 바랍니다.

내가 가진 직감은 다음과 같습니다. 최소 제곱의 경우 모자 행렬은 직교 투영이므로 i 등합니다. 불이익을받은 경우 모자 매트릭스는 더 이상 i 등하 지 않습니다. 실제로, 그것을 여러 번 적용하면 계수가 원점으로 축소됩니다. 반면, 계수는 여전히 예측 변수의 범위에 있어야하므로 직교는 아니지만 여전히 투영입니다. 벌점 계수의 크기와 표준 유형은 원점을 향한 수축 거리와 방향을 제어합니다.