수 증가 할 때

11

경우 $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , 수 $\|\beta^*\|_2$ 증가 때 $\lambda$ 증가?

여기에 이미지 설명을 입력하십시오

lasso

— 지위 안
소스

10

대답은 '예'이며 그래픽 증거 가 있습니다. $\ell_2$

벡터 규범의 동등성에 대한 정의를 찾아보십시오. 당신은 그것을 찾을 수 여기서 벡터의 차원이며 . 따라서, 일부가 호기심 에 대한 받는 비해 규범, 규범.

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

실제로 해결하려는 문제는 다음과 같이 말할 수 있습니다.

동시에 와 같은 찾으십시오 $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

첫 번째 부등식을 제곱하고 확장하여 이고 및 이라고 가정 하면 두 번째 부등식에서 없음 이러한 제약을 만족 증가한다 감소하면서 규범 규범.

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

귀하의 예에서 , 및 및 $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— 토미 L
소스

그러나 그것은 와 의 구성과 어떻게 관련이 있습니까?

X

$X$

y

$y$

— ziyuang

3

@TommyL의 답변에 감사하지만 그의 답변은 와 의 구성에 직접적인 것은 아닙니다 . 나는 어떻게 든 이것을 스스로 해결한다. 우선, 증가, 각 때 증가되지 단조 감소한다. 이것은 가 정규 직교 인 경우에 발생합니다. $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

기하학적으로이 상황에서 는 규범 의 윤곽선에 수직으로 이동 하므로 는 증가 할 수 없습니다. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

실제로, Hastie et al. 정방향 단계별 회귀 및 모노톤 올가미 에서 언급 된 것처럼 , 프로파일 경로의 단 조성의 필요하고 충분한 조건 :

여기에 이미지 설명을 입력하십시오

본 논문의 6 장에서 그들은 위의 조건을 위반하는 비선형 기저 함수를 기반으로 인공 데이터 세트를 구성하여 비단 조성을 보여 주었다. 그러나 운이 좋으면 유사한 동작을 보여 주지만 더 간단한 방법으로 임의의 데이터 세트를 만들 수도 있습니다. 내 R 코드는 다음과 같습니다.

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

의도적으로 의 열이 (정상적인 경우와는 거리가 먼) 높은 상관 관계를 갖도록 하고 실제 에는 큰 양수와 음수 항목이 모두 있습니다. 다음은 의 프로필입니다 (놀랍게도 5 개의 변수 만 활성화 됨). $X$ $\beta$ $\beta^*$

여기에 이미지 설명을 입력하십시오

과의 관계 와 : $\lambda$ $\|\beta^*\|_2$

여기에 이미지 설명을 입력하십시오

우리는 몇 가지 간격이 볼 수 있도록 , 로 증가 증가합니다. $\lambda$ $\|\beta^*\|_2$ $\lambda$

— 지위 안
소스