능선 회귀의 맥락에서 라그랑지안 이완

"통계학 학습의 요소"(2 판), p63에서 저자들은 능선 회귀 문제의 다음 두 가지 공식을 제시합니다.

{\hat{β}}^{아르 자형 나는 디 지 이자형} = \underset{β}{아르 민} {\sum_{나는 = 1}^{엔} ({와이}_{나는} - β_{0} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이})^{2} + λ \sum_{제이 = 1}^{피} β_{제이}^{2}}

$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\}$

과

{\hat{β}}^{아르 자형 나는 디 지 이자형} = \underset{β}{아르 민} \sum_{나는 = 1}^{엔} ({와이}_{나는} - β_{0} - \sum_{제이 = 1}^{피} {엑스}_{나는 제이} β_{제이})^{2} 에 따라 \sum_{제이 = 1}^{피} β_{제이}^{2} \leq 티 .

$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, subject to } \sum_{j=1}^p \beta_j^2 \leq t.$

이 둘은 동등하며, 파라미터 와 사이에는 일대일 대응이 있다고 주장된다 . $\lambda$ $t$

제 1 제형은 제 2 제형의 라그랑지안 이완 인 것으로 보인다. 그러나 나는 어떻게 또는 왜 라그랑지안 이완이 작동하는지 또는 왜 이해하지 못했습니다.

두 제제가 실제로 동등하다는 것을 입증하는 간단한 방법이 있습니까? 선택해야한다면 직감보다는 직관을 선호합니다.

감사.

ridge-regression

— NPE
소스

직관적 인 설명 만 원한다면이 비디오의 1.03.26 (끝까지)에서 제약 조건이 목적 함수와 어떤 관련이 있는지에 대한 직관적 인 설명이 있습니다.

— user603

대응 관계는 봉투 정리를 사용하여 가장 쉽게 표시 할 수 있습니다 .

$\lambda \cdot t$ $\lambda$

$t$ $t$ $\beta$ $\lambda \cdot t$

$t$

나는 이것이 Hastie et al. 참조하고 있습니다.

— 트리스탄
소스