폐쇄 형 올가미 용액의 유도

올가미 문제 경우 입니다. 소프트 임계 값 결과가 자주 나타납니다. 직교 정규 사례의 경우 해결책을 "쉽게 보여줄"수 있다고 주장하지만, 효과가있는 솔루션을 본 적이 없습니다. 누군가가 하나를 보았거나 아마도 파생을 한 적이 있습니까? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— 게리
소스

이것은 약간 혼란스러워 보입니다. 처음에는 제약 조건

를 가정

t

$t$ 하고 솔루션에서

매개 변수를 소개합니다

γ

$\gamma$ . 나는이 두 가지 문제가 이중 문제를 통해 관련되기를 원한다고 생각하지만 아마도 당신이 찾고있는 것을 분명히 할 수 있습니다.

— 추기경

부분적으로 발견, @cardinal에 응답

β

$\beta$ 최소화

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ 에 주제를

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ 발견에 해당합니다

β

$\beta$ 것을 최소화

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ .

t

$t$ 와

사이에는 1-1 관계가

γ

$\gamma$ 있습니다. 소프트 임계 값 결과가 왜 그렇게 쉬운 지 알아 보려면 두 번째 표현을 해결하는 것이 좋습니다.

또 다른 메모 발견

β

$\beta$ 최소화

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ 상기의 경우에 문제를 분쇄

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ 및

β = 0

$\beta=0$ .

@cardinal Ah 예, 1-1이 잘못되었습니다. 수정 : 모든

t \geq 0

$t\geq0$ 에 대해

찾을 수 있습니다

γ \geq 0

$\gamma\geq 0$ .

좋은 토론 감사합니다! 나는이 비디오를 보았습니다- 이 토론과 매우 관련이 있는 올가미 좌표 하강 업데이트를 도출 하고 솔루션을 매우 우아하게 안내합니다. 다음 방문객에게 도움이 될 것입니다 :-)

— zorbar

답변:

이것은 Karush–Kuhn–Tucker 조건을 통한 상당히 경제적 인 접근을 포함하여 여러 가지 방법으로 공격 할 수 있습니다 .

아래는 매우 기본적인 대안 인수입니다.

직교 설계를위한 최소 제곱 솔루션

가 직교 열로 구성되어 있다고 가정합니다 . 그런 다음 최소 제곱 솔루션은 $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

동등한 문제

라그랑지안 양식을 통해 질문에서 고려되는 것과 동등한 문제가

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

우리가 얻을 첫 번째 항을 확장 이후 어떤을 포함하지 않는 관심있는 변수 중 하나를 버리고 $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

것을주의 , 이전 문제로 다시 쓸 수 $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

우리의 목적 함수는 이제 각각의 목표 변수 해당하는 목표의 합계 이므로 개별적으로 해결할 수 있습니다. $\beta_i$

전체는 부분의 합과 같습니다

특정 수정하십시오 . 그런 다음 $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

경우 , 우리는이 있어야합니다 , 그렇지 않으면 때문에 우리가 그 기호를 뒤집어 목적 함수에 대한 낮은 값을 얻을 수 있습니다. 마찬가지로 이면 선택해야합니다 . $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

사례 1 : . 이후 , 과 관련하여이 미분 및 0과 동일하게 설정 , 우리는 습니다. 오른쪽이 음수가 아닌 경우에만 가능합니다.이 경우 실제 해결책은 $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

사례 2 : . 이것은 이 있어야 함을 의미 하므로 관련하여 차별화 0으로 동일하게 설정, 우리가 얻을 . 그러나, 다시이 가능 보장하기 위해, 우리가 필요로하는 취함으로써 달성되는, $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

두 경우 모두 원하는 양식을 얻었으므로 완료되었습니다.

최종 비고

— 추기경
소스

훌륭한 추기경 @ 추기경!

— 게리

+1 전체 후반은 목적 함수라는 간단한 관찰에 의해 대체 될 수있다 것이다 정점이있는 두 개의 볼록한 포물선 부분의 결합. 대해서는 음수 부호가 , 그렇지 않으면 양수 부호가 사용 됩니다. 공식은 낮은 정점을 선택하는 멋진 방법입니다.

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

가능한 경우 KKT- 최적 조건을 사용하여 파생 된 내용을보고 싶습니다. 이 결과를 도출하기위한 다른 방법은 무엇입니까?

— user1137731

@ Cardinal : 멋진 파생에 감사드립니다. 하나의 관찰. 내가 기억하면 직교 열이있는 행렬은 직교 (일명 직교) 행렬과 다릅니다. 이어서 일부 대각선 행렬에 대한 (반드시 행렬). (원래의 질문에서와 같이) 우리가해야합니까 직교 행렬 가정으로 모든 위대한 :) 보이는

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— 올렉 Melnikov 보낸

@cardinal 나는 왜 그렇지 않으면 "그렇지 않으면 우리는 부호를 뒤집어 목적 함수에 대해 더 낮은 값을 얻을 수 있기 때문에"라고 말하지 않습니다. 우리는 목적 함수의 미분을 취하고 있습니다. 따라서 목적 함수가 더 높거나 낮 으면 누가 신경 쓰나요? 우리가 신경 쓰는 것은 미분 값이 0으로 설정되어 있고 극단을 신경 쓰는 것입니다. 상수에 따라 더 높거나 낮은 지 여부는 argmin에 영향을 미치지 않습니다.

— user13985

의 열인 공변량 도 되도록 표준화되었다고 가정 합니다. 이것은 나중에 편의를 위해서입니다. 가 대각선 이기 때문에 표기가 없으면 더 커집니다. 또한 라고 가정하십시오 . 결과가 유지되는 데 필요한 가정입니다. 최소 제곱 추정값 . 그런 다음, (라그랑지안 형태의) 올가미 추정기 $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ 단부 정렬 * {} 여기서 함수의 근위 연산자 와 양의 소프트 임계

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

이것은 추기경이 작동하는 근위 연산자의 상세한 파생을 건너 뛰는 파생이지만, 닫힌 양식을 가능하게하는 주요 단계를 명확히하기를 바랍니다.

— 사용자
소스