능선 회귀의 동등한 공식 증명

15

통계 학습에서 가장 인기있는 책을 읽었습니다

1- 통계 학습의 요소.

2- 통계 학습 소개 .

둘 다 능선 회귀에는 동등한 두 가지 공식이 있다고 언급합니다. 이 결과에 대해 이해할만한 수학적 증거가 있습니까?

나는 또한 Cross Validated를 겪었 지만 거기에서 확실한 증거를 찾을 수 없습니다.

또한 LASSO는 동일한 유형의 증명을 누릴 수 있습니까?

— 제자
소스

2

en.wikipedia.org/wiki/…

— Taylor

1

올가미는 릿지 회귀의 형태가 아닙니다.

— 시안

@ jeza, 내 대답에 무엇이 빠졌는지 설명해 주시겠습니까? 그것은 실제로 연결에 관한 모든 것을 도출 할 수 있습니다.

— Royi

@jeza, 구체적이 될 수 있습니까? 제한된 문제에 대한 Lagrangian 개념을 알지 못하면 간결한 대답을하기가 어렵습니다.

— Royi

1

제한적인 최적화 문제인 @jeza는 현재 답변에서 설명 된 것처럼 Lagrangian 함수 / KKT 조건의 최적화로 변환 될 수 있습니다. 이 원칙은 인터넷을 통해 이미 많은 다른 간단한 설명을 가지고 있습니다. 증거에 대한 자세한 설명은 어떤 방향으로 필요합니까? 라그랑지안 승수 / 함수의 설명 / 증거, 라그랑 지 방법, 차이 KKT / 라그랑 지, 정규화 원리 설명과 관련된 최적화의 경우이 문제가 어떻게 발생하는지 설명 / 증명합니까?

— Sextus Empiricus

19

고전적인 릿지 회귀 ( Tikhonov Regularization )는 다음과 같이 제공됩니다.

\arg min_{x} \frac{1}{2} {‖ x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

위의 주장은 다음과 같은 문제가 동일하다는 것입니다.

\begin{aligned} \arg min_{x} & \frac{1}{2} {‖ x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

를 첫 번째 문제의 최적 솔루션으로 정의 하고 를 두 번째 문제의 최적 솔루션으로 정의하겠습니다 . $\hat{x}$ $\tilde{x}$

동등성 주장은 입니다. 즉, 항상 와 쌍을 가질 수 있으므로 문제의 해결책은 동일합니다. $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$ $\lambda \geq 0$

우리는 어떻게 쌍을 찾을 수 있습니까?
문제를 해결하고 솔루션의 속성을 살펴 보는 것입니다.
두 문제 모두 볼록하고 매끄 럽기 때문에 일이 더 간단 해집니다.

첫 번째 문제에 대한 해결책은 그라디언트가 사라지는 지점에서 제공됩니다.

\hat{x} - y + 2 λ \hat{x} = 0

$\hat{x} - y + 2 \lambda \hat{x} = 0$

두 번째 문제 의 KKT 조건 은 다음과 같습니다.

\tilde{x} - y + 2 μ \tilde{x} = 0

$\tilde{x} - y + 2 \mu \tilde{x} = 0$

과

μ ({‖ \tilde{x} ‖}_{2}^{2} - t) = 0

$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$

마지막 방정식은 또는 입니다. $\mu = 0$ ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

2 개의 기본 방정식이 동일하다는 점에주의하십시오.
즉, 및 두 방정식이 모두 유지됩니다. $\hat{x} = \tilde{x}$ $\mu = \lambda$

따라서 하나는 설정해야합니다. 즉, 둘 다 동등하기 위해서는 충분히 큰 대해 설정해야합니다 . ${\left\| y \right\|}_{2}^{2} \leq t$ $\mu = 0$ $t$ $\lambda = 0$

다른 경우에는 찾으십시오 . $\mu$

y^{t} {(I + 2 μ I)}^{- 1} {(I + 2 μ I)}^{- 1} y = t

${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$

이것은 기본적으로 ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

그 를 찾으면 솔루션이 충돌합니다. $\mu$

대하여 (LASSO) 경우는 물론, 같은 아이디어로 작동한다. 유일한 차이점은 솔루션을 위해 폐쇄하지 않았으므로 연결을 유도하는 것이 더 까다 롭다는 것입니다. ${L}_{1}$

StackExchange Cross Validated Q291962 및 StackExchange Signal Processing Q21730-Bais Pursuit에서 중요성에 $\lambda$ 대한 답변을 살펴보십시오 .

비고
실제로 어떤 일이 일어나고 있습니까?
두 문제 모두에서 는 가능한 한 가깝도록 노력합니다 . 첫 번째 경우 는 첫 번째 항 ( 거리)을 사라지게하고 두 번째 경우 목적 함수를 사라지게합니다. 차이점은 첫 번째 경우 Norm 균형을 유지해야한다는 것 입니다. 으로 높은 균형 수단을 얻을 당신이해야 작은. 두 번째 경우 벽이 있습니다. 를 더 가깝게 그리고 더 가깝게 가져옵니다. $x$ $y$
$x = y$ ${L}_{2}$
${L}_{2}$ $x$ $\lambda$ $x$
$x$ $y$ Norm (By ) 의 제약 조건 인 벽을 칠 때까지 . 벽이 충분하고 ( 높은 값 ) 충분하고 의 규범에 의존 한다면 가 의 규범에 곱한 값에만 관련이 있는 것처럼 의미가 없습니다 . 정확한 연결은 위에서 언급 한 Lagrangian에 의한 것입니다. $t$
$t$ $y$ $\lambda$ $y$

자원

오늘이 논문을 찾았습니다 (03/04/2019).

희소 최적화 문제의 클래스에 대한 근사 경도 .

— 로이
소스

동등한 것은 \ lambda와 \ t가 동일해야 함을 의미합니다. 증거에서 볼 수 없기 때문입니다. 고마워

— jeza

@jeza, 위에서 쓴 것처럼 어떤 에도

t

$t$

λ \geq 0

$\lambda \geq 0$ (반드시 동일 하지만의 함수 와 데이터 ) 두 가지 형태의 솔루션이 동일하도록.

t

$t$

t

$t$

y

$y$

— Royi

3

@jeza, & 는 본질적으로 무료 매개 변수입니다. 와 같이 지정 하면 특정 최적 솔루션이 생성됩니다. 그러나 는 자유 매개 변수로 남아 있습니다. 따라서이 시점 에서 동일한 최적의 솔루션을 산출 할 수있는 값이있을 수 있다는 주장이 있습니다 . 그 가 무엇인지에 대한 제약은 본질적으로 없다 . 그것은 몇 가지 고정 기능이어야처럼 아니에요 처럼,

λ

$\lambda$

t

$t$

λ

$\lambda$

t

$t$

t

$t$

t

$t$

λ

$\lambda$

t = λ / 2

$t=\lambda/2$ .

— gung-모니 티 복원

@Royi, 나는 1- 왜 당신의 공식에 (1/2)가 있는지, 질문에 대한 공식이 없는지 알고 싶습니다. 2- KKT를 사용하여 두 공식의 동등성을 표시하고 있습니까? 3- 그렇다면, 나는 여전히 그 동등성을 볼 수 없습니다. 확실하지는 않지만 수식 1 = 수식 2를 표시한다는 증거입니다.

— jeza

1. LS 항을 구별 할 때 더 쉽습니다. 내

움직일 수 있습니다

λ

$\lambda$ 에서 OP 로 2 . 2. 두 번째 경우에 KKT를 사용했습니다. 첫 번째 경우에는 제약이 없으므로 해결하면됩니다. 3. 그들 사이에 닫힌 형태 방정식이 없습니다. 나는 논리와 그것을 연결하는 그래프를 만드는 방법을 보여주었습니다. 그러나 내가 쓴대로 각 마다 변경됩니다 (데이터에 따라 다릅니다).

λ

$\lambda$

y

$y$

— Royi

9

수학적으로 덜 엄격하지만 직관적으로 접근하는 방법을 이해하는 방법은 제약 조건 버전 (문제의 방정식 3.42)으로 시작하여 "Lagrange Multiplier"( https : //en.wikipedia) 의 방법을 사용하여 해결하는 것입니다 . .org / wiki / Lagrange_multiplier 또는 자주 사용하는 다 변수 미적분학 텍스트). 미적분학에서 는 변수의 벡터이지만 우리의 경우 는 일정하고 는 변수 벡터라는 것을 기억하십시오. 당신이 첫 번째 식 (3.41)와 끝까지 라그랑주 승수 기술을 적용하면 (여분을 버리고 후 최소화에 일정한 기준이 무시 될 수있다). $x$ $x$ $\beta$ $-\lambda t$

이것은 올가미 및 기타 제약 조건에서도 작동한다는 것을 보여줍니다.

— 그렉 스노우
소스

8

라그랑 지아의 이원성과 다음과 같은 것 사이의 더 넓은 관계 (때로는 등가)에 대해 읽을 가치가 있습니다.

최적화는 어려운 (즉, 불가침 한) 제약 조건을 따릅니다
제약 조건 위반에 대한 처벌을 통한 최적화.

약한 이중성 및 강한 이중성에 대한 빠른 소개

두 변수의 함수 가 있다고 가정하십시오 . 임의 들어 및 $f(x,y)$ $\hat{x}$ $\hat{y}$ , 우리는이 :

min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

즉, 임의의에 대해 유지하기 때문에 와 는 또한 원하는 분야 $\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

이를 약한 이중성이라고 합니다. 특정 상황에서는 강한 이중성이 있습니다 ( 새들 포인트 속성 이라고도 함 ).

max_{y} min_{x} f (x, y) = min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) = \min_x \max_y f(x, y)$

강력한 이중성이 유지되면 이중 문제를 해결하면 원시 문제도 해결됩니다. 그들은 같은 문제입니다!

제한된 릿지 회귀 분석을위한 라그랑지안

함수 정의하겠습니다 $\mathcal{L}$ 을 다음과 같이 .

L (b, λ) = \sum_{i = 1}^{n} (y - x_{i} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t)

$\mathcal{L}(\mathbf{b}, \lambda) = \sum_{i=1}^n (y - \mathbf{x}_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right)$

라그랑지안의 최소-최대 해석

어려운 제약 조건에 따른 릿지 회귀 문제는 다음과 같습니다.

min_{b} max_{λ \geq 0} L (b, λ)

$\min_\mathbf{b} \max_{\lambda \geq 0} \mathcal{L}(\mathbf{b}, \lambda)$

당신은 선택 한 후 그 목표, 인식 최소화하기 위해 선택됩니다, 상대가 설정합니다 선택한 경우 무한대로 같은 그 $\mathbf{b}$ $\mathbf{b}$ $\lambda$ $\mathbf{b}$ . $\sum_{j=1}^p b_j^2 > t$

강한 이중성이 유지되는 경우 (Slater의 조건이 대해 만족되기 때문에 여기서 수행됨) $t>0$ ) 순서를 반대로하여 동일한 결과를 얻습니다.

max_{λ \geq 0} min_{b} L (b, λ)

$\max_{\lambda \geq 0} \min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$

여기에서 상대는 먼저 선택합니다 ! 그런 다음 를 선택 하여 목표를 최소화하고 선택을 이미 알고 있습니다. 부분 (촬영 $\lambda$ $\mathbf{b}$ $\lambda$ $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ $\lambda$ 주어진 바와 같이)하여 릿지 회귀 문제의 제 2 형태와 동등하다.

보다시피, 이것은 릿지 회귀에만 국한된 결과는 아닙니다. 더 넓은 개념입니다.

참고 문헌

(나는 Rockafellar에서 읽은 박람회에 따라이 게시물을 시작했습니다.)

Rockafellar, RT, 볼록한 분석

또한 볼록 최적화에 관한 Stephen Boyd 교수의 강의 7 과 강의 8 을 살펴볼 수도 있습니다 .

— 매튜 건
소스

답은 모든 볼록 함수로 확장 될 수 있습니다.

— 81235

6

그것들은 동등 하지 않습니다 .

제한된 최소화 문제

\begin{matrix} (1) & min_{b} \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} s . t . \sum_{j = 1}^{p} b_{j}^{2} \leq t, b = (b_{1}, . . ., b_{p}) \end{matrix}

$\min_{\mathbf b} \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2\\ s.t. \sum_{j=1}^p b_j^2 \leq t,\;\;\; \mathbf b = (b_1,...,b_p) \tag{1}$

우리 는 해당 라그랑주 를 이상으로 최소화하여 해결합니다. $\mathbf b$

\begin{matrix} (2) & Λ = \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t) \end{matrix}

$\Lambda = \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right) \tag{2}$

여기서, A는 외생 주어진 바인딩, Karush-쿤 터커 음수 승산되고, 두 베타 벡터 및 최소화하는 과정을 통해 최적으로 결정되어야한다 주어진 $t$ $\lambda \geq 0$ $\lambda$ $t$ .

Comparing $(2)$ and eq $(3.41)$ in the OP's post, it appears that the Ridge estimator can be obtained as the solution to

\begin{matrix} (3) & min_{b} {Λ + λ t} \end{matrix}

$\min_{\mathbf b}\{\Lambda + \lambda t\} \tag{3}$

Since in $(3)$ the function to be minimized appears to be the Lagrangean of the constrained minimization problem plus a term that does not involve $\mathbf b$ , it would appear that indeed the two approaches are equivalent...

But this is not correct because in the Ridge regression we minimize over $\mathbf b$ given $\lambda >0$ . But, in the lens of the constrained minimization problem, assuming $\lambda >0$ imposes the condition that the constraint is binding, i.e that

\sum_{j = 1}^{p} (b_{j, r i d g e}^{*})^{2} = t

$\sum_{j=1}^p (b^*_{j,ridge})^2 = t$

The general constrained minimization problem allows for $\lambda = 0$ also, and essentially it is a formulation that includes as special cases the basic least-squares estimator ( $\lambda ^*=0$ ) and the Ridge estimator ( $\lambda^* >0$ ).

So the two formulation are not equivalent. Nevertheless, Matthew Gunn's post shows in another and very intuitive way how the two are very closely connected. But duality is not equivalence.

— Alecos Papadopoulos
소스

@MartijnWeterings Thanks for the comment, I have reworked my answer.

— Alecos Papadopoulos

@MartijnWeterings I do not see what is confusing since the expression written in your comment is exactly the expression I wrote in my reworked post.

— Alecos Papadopoulos

1

This was the duplicate question I had in mind were the equivalence is explained very intuitively to me math.stackexchange.com/a/336618/466748 the argument that you give for the two not being equivalent seems only secondary to me, and a matter of definition (the OP uses

λ \geq 0

$\lambda \geq 0$ instead of

λ > 0

$\lambda > 0$ and we could just as well add the constrain

t < ‖ β^{O L S} ‖_{2}^{2}

$t < \Vert \beta^{OLS} \Vert^2_2$ to exclude the cases where

λ = 0

$\lambda=0$ ) .

— Sextus Empiricus

@MartijnWeterings When A is a special case of B, A cannot be equivalent to B. And ridge regression is a special case of the general constrained minimization problem, Namely a situation to which we arrive if we constrain further the general problem (like you do in your last comment).

— Alecos Papadopoulos

Certainly you could define some constrained minimization problem that is more general then ridge regression (like you can also define some regularization problem that is more general than ridge regression, e.g. negative ridge regression), but then the non-equivalence is due to the way that you define the problem and not due to the transformation from the constrained representation to the Lagrangian representation. The two forms can be seen as equivalent within the constrained formulation/definition (non-general) that are useful for ridge regression.

— Sextus Empiricus