올가미에서 0 구성 요소를 제공하는 가장 작은

올가미 추정치 정의 여기서 행 설계 행렬 벡터 인 확률 론적 반응 ( ) 를 설명하기위한 공변량

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

우리는 알고에 대한 $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ , 올가미 추정 $\hat\beta^\lambda = 0$ . (예를 들어, Lasso 및 Ridge 조정 매개 변수 범위 를 참조하십시오 .) 다른 표기법에서는 $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ 냅니다. 그 통지 $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ 올가미 솔루션 경로를 표시하는 다음 이미지를 통해이를 시각적으로 볼 수 있습니다.

플롯 의 맨 오른쪽에서 모든 계수는 0입니다. 이것은 위에서 설명한 지점에서 발생합니다 $\lambda_\mathrm{max}$ .

이 그림에서 가장 왼쪽에있는 계수는 모두 0이 아니라는 것을 알 수 있습니다 . 의 모든 구성 요소가있는 의 값 $\lambda$ $\hat\beta^\lambda$ 처음 제로는? 즉 및 의 함수로서 는 무엇입니까? 닫힌 양식 솔루션에 관심이 있습니다. 특히, 나는 LARS가 계산을 통해 매듭을 찾을 수 있다고 제안하는 것과 같은 알고리즘 솔루션에 관심이 없습니다.

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

내 관심사에도 불구하고 은 닫힌 형태로 사용할 수없는 것 같습니다. 그렇지 않으면 올가미 계산 패키지가 교차 유효성 검사 중에 튜닝 매개 변수 깊이를 결정할 때이를 활용할 수 있기 때문입니다. 이것에 비추어, 나는 에 대해 이론적으로 보여 질 수있는 어떤 것에 관심이 있고 (여전히) 닫힌 형태에 특히 관심이 있습니다. $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— 사용자
소스

이것은 glmnet 논문에서 언급되고 입증되었습니다 : web.stanford.edu/~hastie/Papers/glmnet.pdf

— Matthew Drury

@MatthewDrury 공유해 주셔서 감사합니다! 그러나이 백서에서는 제안한 내용을 공유하지 않는 것 같습니다. 특히 내 는 입니다.

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

[tuning-parameter] 태그가 필요합니까?

— amoeba는 Reinstate Monica

올가미 솔루션의 닫힌 양식은 일반적으로 존재하지 않습니다 ( stats.stackexchange.com/questions/174003/… 참조 ). 그러나, lars는 최소한 무슨 일이 일어나고 있는지, 어떤 정확한 조건에서 / 언제나 변수를 추가 / 삭제할 수 있는지 알려줍니다. 나는 이것과 같은 것이 당신이 얻을 수있는 최선이라고 생각합니다.

— chRrr

@chRrr 나는 이것이 완전히 공정하다고 확신하지 않습니다 : 우리 는 대해 임을 알고 있습니다. 즉, 해가 0 인 극단적 인 경우에는 닫힌 형태입니다. 올가미 추정치가 조밀 한 경우 (0이 없음) 비슷한 경우에도 마찬가지입니다. 사실, 나는 의 정확한 항목에 관심 이 없습니다.

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

이 질문에 설명 된 올가미 추정치는 다음 최적화 문제와 동등한 lagrange multiplier입니다.

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

이 최적화는 다차원 구체와 폴리 토프 (X의 벡터로 스팬) 사이의 접촉점을 찾는 기하학적 표현을 가지고 있습니다. 폴리 토프의 표면은 나타냅니다 . 구의 반지름의 제곱은 함수 나타내며 표면이 접촉 할 때 최소화됩니다. $g(\beta)$ $f(\beta)$

아래 이미지는 그래픽 설명을 제공합니다. 이미지는 길이가 3 인 벡터에 대해 다음과 같은 간단한 문제를 사용했습니다 (그림을 만들 수 있도록 단순함).

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$

그리고 우리는 최소화

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$ 제약 조건 를 합니다

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

이미지는 다음과 같습니다.

빨간색 표면은 제약 조건, X에 의해 스팬 된 폴리 토프를 나타냅니다.
그리고 녹색 표면은 최소화 된 표면 인 구를 나타냅니다.
파란색 선은 우리가 또는 변경할 때 찾은 올가미 경로를 보여줍니다 . $t$ $\lambda$
녹색 벡터는 OLS 솔루션 ( 또는 냅니다. $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
3 개의 검은 벡터는 , 및 입니다. $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

우리는 세 가지 이미지를 보여줍니다 :

첫 번째 이미지 에서는 폴리 토프의 한 지점 만 구에 닿아 있습니다. 이 이미지는 올가미 솔루션이 여러 OLS 솔루션이 아닌 이유를 잘 보여줍니다. OLS 솔루션의 방향은 합계에 더 강력합니다 . 이 경우 단일 $\vert \beta \vert_1$ $\beta_i$ 0이 아닙니다.
두 번째 이미지 에서 폴리 토프의 융기 부분이 구에 닿고 있습니다 (높은 치수에서는 더 높은 치수의 유사체를 얻습니다). 이 경우 여러 $\beta_i$ 는 0이 아닙니다.
세 번째 이미지 에서 폴리 토프의 패싯은 구에 닿아 있습니다. 이 경우 모든 는 0이 $\beta_i$ .

또는 의 범위 $t$ $\lambda$ 첫 번째와 세 번째 사례가있는 간단한 기하학적 표현으로 인해 쉽게 계산할 수 있습니다.

사례 1 : 단일 $\beta_i$ 0이 아닌

0이 아닌 는 연관된 벡터 가 와의 공분산의 절대 값이 가장 높은 것입니다 (이것은 OLS 솔루션에 가장 가까운 parrallelotope의 지점입니다). 우리는 ( 를 음의 방향으로 증가시키는 지 또는 양의 방향으로 증가시키는 지에 따라 부호) 를 취함으로써 적어도 0이 아닌 를 갖는 Lagrange multiplier 계산할 수 있습니다 . $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

이로 인해

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

이것은 주석에 언급 된 와 같습니다 . $\vert \vert X^Ty \vert \vert_\infty$

여기서 우리는 폴리 토프의 끝이 구체에 닿는 특수한 경우에만 사실입니다 ( 따라서 일반화는 간단하지만 일반적인 해결책은 아닙니다 ).

사례 3 : 모든 는 0이 아닙니다. $\beta_i$

이 경우 폴리 토프의면이 구에 닿아 있습니다. 그런 다음 올가미 경로의 변경 방향은 특정 패싯의 표면에 수직 입니다.

폴리 토프에는 의 양수 및 음수 기여를 가진 많은 측면이 있습니다. 마지막 올가미 단계의 경우 올가미 솔루션이 ols 솔루션에 가까울 때 의 기여 는 OLS 솔루션의 부호로 정의해야합니다. 패싯의 법선이 함수의 기울기 고려하여 정의 될 수 , 점에서 베타의 합계 값 이다 : $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

이 방향에 대한 베타 변경은 다음과 같습니다.

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

조옮김 ( ) 을 변경하여 대수적 트릭을 사용한 후 대괄호 분포는 $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

우리는이 방향을 정규화합니다 :

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

아래에서 모든 계수가 0이 아닌 을 찾으십시오 . OLS 솔루션에서 계수 중 하나가 0 인 지점으로 다시 계산하면됩니다. $\lambda_{min}$

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

이 시점에서 미분을 평가합니다 (이전의 계산할 때와 같이 ). 우리는 이차 함수에 대해 : $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

이미지

폴리 토프의 한 점이 구에 닿아 있고 단일 가 0이 아닙니다. $\beta_i$

폴리 토프의 융기 부분 (또는 여러 치수가 다름)이 구에 있으며 많은 가 0이 아닙니다. $\beta_i$

폴리 토프의 패싯이 구에 있으며 모든 가 0이 아닙니다. $\beta_i$

코드 예 :

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

참고 : 마지막 3 줄이 가장 중요합니다

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

StackExchangeStrike에 의해 작성

— Sextus Empiricus
소스

수정 사항을 포함 해 주셔서 감사합니다! 지금까지 읽은 내용에서는 "case 1"하위 섹션을 지나갔습니다. 파생 된 의 결과 에는 절대 값이나 최대 값이 포함되어 있지 않으므로 잘못되었습니다. 우리는 도출 과정에서 부호 실수, 미분 가능성이 잘못 가정 된 장소, 를 "임의 선택" 으로 구별하기위한 부정확 함, 잘못 평가 된 파생 상품 이 있기 때문에 실수가 있음을 더 알고 있습니다. 솔직히 말해서 유효한 " "부호 가 없습니다 .

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

— user795305

더하기 빼기 기호로 수정했습니다. 베타의 변화는 긍정적이거나 부정적 일 수 있습니다. 최대 및 "임의 선택"... ""관련 벡터 가 " 와 가장 높은 공분산을 갖습니다 $x_i$ $\hat{y}$

— Sextus Empiricus

업데이트 해 주셔서 감사합니다! 그러나 여전히 문제가 있습니다. 예를 들어, 가 잘못 평가되었습니다.

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

— user795305

만약 다음 이 상관 관계는 방정식에 들어갑니다. s = 0이면 tangent의 변화 만 벡터

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | y - X β | |_{2}}{\partial β_{i}} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | y - s x_{i} | |_{2}}{\partial s} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 c o r (x_{i}, y) | | x_{i} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 x_{i} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

— Sextus Empiricus

아, 알았어요. 그래서 당신의 주장에는 한계가 있습니다! ( 을 모두 사용 하고 계수가 0이 .) 또한 와 같은 행의 두 번째 등식 은 절대 값의 미분으로 인해 부호가 변경 될 수 있기 때문에 오도의 소지가 있습니다.

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

— user795305

올가미에서 0 구성 요소를 제공하는 가장 작은

사례 1 : 단일βiβi\beta_i 0이 아닌

사례 3 : 모든 는 0이 아닙니다.βiβi\beta_i

이미지

코드 예 :

사례 1 : 단일 $\beta_i$ 0이 아닌

사례 3 : 모든 는 0이 아닙니다. $\beta_i$