올가미, 릿지 또는 탄성 그물 솔루션 경로가 모노톤 인 명확한 조건이 있습니까?

18

이 올가미 플롯 (glmnet)에서 결론을 내릴 수 있는 질문 은 단조롭지 않은 올가미 추정기의 솔루션 경로를 보여줍니다. 즉, 일부 계수기는 축소되기 전에 절대 값으로 증가합니다.

나는이 모델들을 몇 가지 다른 종류의 데이터 세트에 적용했으며이 행동을 "와일드하게"본 적이 없으며 오늘날까지도 항상 단조로운 것으로 가정했습니다 .

솔루션 경로가 단조임을 보장하는 명확한 조건이 있습니까? 경로의 방향이 바뀌면 결과 해석에 영향을 줍니까?

lasso ridge-regression elastic-net

— 그림자 추적자
소스

어떤 의미에서 모노톤? 일부 기능의 그래프로 취급하려는 경우 나에게별로 의미가없는 것 같습니다.

— Henry.L

4

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

2

참고 : 올가미가 계수를 줄이는

— user795305

1

나는 내가 이것을 놓친 방법을 모른다. 질문은 위의 질문에서 자신의 질문에 대한 OP의 답변에 대한 올가미에 대한 답변입니다.

— user795305

답변:

2

내가 당신에게 줄 수있는 충분한 의 직교 설계 : 경로가 단순 될위한 조건 $X$ .

직교 정규 설계 행렬, 즉 변수 가있는 경우 합니다. 직교 정규 설계에서 OLS 회귀 계수는 단순히 입니다. $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

LASSO의 Karush-Khun-Tucker 조건은 다음과 같이 단순화됩니다.

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

여기서 는 하위 그래디언트입니다. 따라서 각 대해 . 올가미 추정치에 대한 폐쇄 형 솔루션이 있습니다. $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

에서 단조입니다 . 이것이 필수 조건은 아니지만, 비단 조성은 의 공변량의 상관 관계에서 비롯되어야한다는 것을 알 수 있습니다. $\lambda$ $X$

— 카를로스시 넬리
소스

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.

Licensed under cc by-sa 3.0 with attribution required.