올가미 회귀의 제한되지 않은 제형에 대한 KKT

L1 불이익 회귀 (일명 올가미)는 두 가지 제형으로 제공됩니다. 두 목적 함수를 그런 다음 두 가지 다른 공식은 은 및 KKT (Karush-Kuhn-Tucker) 조건을 사용하면 첫 번째 공식의 정상 상태가 두 번째 공식의 기울기를 가져 와서 0으로 설정하는 것과 어떻게 동등한 지 쉽게 알 수 있습니다. , 첫 번째 공식에 대한 보완 적 여유 조건

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ 제 2 제형에 대한 용액에 의해 성취되는 것이 보장된다.

regression lasso penalized

— Goodepic
소스

답변:

두 제형은 제 1 제형에서 모든 값에 대해, 두 제형이 동일한 최소 화제 갖도록 제 2 제형에 대한 값이 존재 한다는 점에서 동일하다 . $t$ $\lambda$ $\beta$

정당화는 다음과 같습니다.

올가미 공식을 고려하십시오. 최소화 하고 이라고하자 . 내 주장은 첫 번째 공식에서 를 설정 하면 첫 번째 공식의 솔루션도 입니다. 증거는 다음과 같습니다.

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

첫 번째 공식을 고려하십시오 가능한 경우이 두 번째 공식에 해결책이 있습니다 와 같이 (엄수보다 작음 부호에 유의하십시오). 그러면 가 가 올가미에 대한 솔루션 이라는 사실과 모순되는 것을 쉽게 알 수 있습니다. 따라서 첫 번째 제제에 대한 솔루션은 입니다.

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

이므로 , 솔루션 포인트 에서 상보 적 여유 조건이 충족됩니다 . $t=b$ $\beta^*$

따라서 있는 올가미 공식을 사용 하면 올가미 솔루션 의 표준 값과 동일한 사용하여 제한된 공식을 구성합니다 . 반대로, 로 제한된 공식이 주어지면 올가미에 대한 솔루션이 제한된 공식의 솔루션과 동일하도록 를 찾을 수 있습니다. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(하급 구배에 대해 알고 있다면 방정식 를 풀면 이 를 찾을 수 있습니다 . 여기서 $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— 일렉 토비
소스

우수한. 당신이 해결책을 본 후에 당신은 항상 거기에 가지 않는 것에 대해 멍청하다고 느낍니다. 모순을 찾을 때, 와 같은 를 찾는다고 가정합니다 .

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

정확한 답변으로 flaggin 답변을 고려

— bdeonovic

그 이유를 자세히 설명 할 수

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

이는 제 1 제형에 대한 용액이 또한 l1-norm의 b를 가져야한다는 것을 증명한다. 두 솔루션이 실제로 동일하다는 것을 어떻게 증명합니까?

— broncoAbierto 2016 년

우리가 참조 할 수 있도록 또한, 올가미는 항상 고유 한 솔루션이없는 최소화 부. arxiv.org/pdf/1206.0313.pdf . 그러나 우리는 minimizers 세트를 참조하여 어떤 것을 보여줄 수

해당 세트에 속해야합니다.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

나는이 증명에 대한 elexhobby의 아이디어가 좋은 것이라고 생각하지만 그것이 완전히 옳다고 생각하지는 않습니다.

와 같이 첫 번째 제제 인 에 대한 솔루션이 있음을 보여줍니다. 모순으로 이어 지므로 의 필요성 만 가정 할 수 있습니다. 아닙니다 . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

대신 다음과 같이 진행하십시오.

편의상, 제 1 및 제 2 제형을 각각 및 나타내 자. 에 와 같은 고유 한 솔루션 가 있다고 가정 해 봅시다 . 하자 , 해결책을 가지고 . 그런 다음(제약 조건으로 인해 더 클 수 없으므로) 입니다. 만약 다음 인하지의 해결책 우리 가정 모순. 만약 $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ 다음 우리 용액을 추정하기 때문에, 고유한다. $\hat{\beta} = \beta^*$

그러나 올가미에 여러 솔루션이있는 경우가 있습니다. arxiv.org/pdf/1206.0313.pdf의 lemma 1에 따르면 이러한 솔루션은 모두 동일한 norm (및 동일한 최소값) 을가집니다 . 우리는 그 규범을 의 제약으로 설정 하고 진행합니다. $\ell 1$ $P_1$

와 함께 대한 솔루션 세트를 표시합시다 . 에게 솔루션이 있다고 합시다 . 그런 다음 따라서 . 만약 일부에 대한 (따라서 그들 모두에 대한) 다음 우리 가정 모순. 경우 일부 후 솔루션 세트 아니다 $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ . 따라서 모든 솔루션 은 에 있습니다. 즉 대한 모든 솔루션 은 대한 솔루션 입니다. 보완적인 것도 보유하고 있음을 증명하는 것입니다. $P_1$ $S$ $P_1$ $P_2$

— 야생마
소스