«lasso» 태그된 질문

L1 정규 선형 회귀 피팅에 LARS [1] 사용과 좌표 하강 사용의 장단점은 무엇입니까? 나는 주로 퍼포먼스 측면에 관심이있다 (내 문제는 N수십만에서 p20 이하인 경향이있다 ). 그러나 다른 통찰력도 인정 될 것이다. 편집 : 내가 질문을 게시 한 후 chl은 Friedman 등의 논문 [2]에 좌표 하강이 다른 방법보다 상당히 빠른 것으로 …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

그룹 올가미가 변수 그룹의 변수 선택 및 희소성에 사용된다는 것을 읽었습니다. 이 주장의 직관을 알고 싶습니다. 왜 올가미가 올가미보다 선호됩니까? 그룹 올가미 솔루션 경로가 부분적으로 선형이 아닌 이유는 무엇입니까?

13 regression  feature-selection  lasso  regularization 

사용할 수있는 오픈 소스 또는 기존 라이브러리를 찾고 있습니다. 내가 말한 한 glmnet 패키지는 음이 아닌 경우를 다루기 위해 쉽게 확장 할 수 없습니다. 나는 틀릴지도 모른다, 어떤 아이디어를 가진 사람은 대단히 감사합니다. 음이 아닌 것은 모든 계수가 양수 (> 0)로 제한됨을 의미합니다.

13 r  lasso 

R의 패키지 'lars'를 다음 코드와 함께 사용하고 있습니다. > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

능선 회귀와 LASSO의 장단점에 대해 이미 알고 있습니다. LASSO의 경우, L1 페널티 항은 희소 계수 벡터를 생성하며, 이는 특징 선택 방법으로 볼 수 있습니다. 그러나 LASSO에는 몇 가지 제한 사항이 있습니다. 기능의 상관 관계가 높은 경우 LASSO는 그 중 하나만 선택합니다. 또한 > 인 문제의 경우 LASSO는 최대 매개 변수를 …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Zou et al. "올가미의"자유도 " (2007)에 따르면, 0이 아닌 계수의 수는 올가미의 자유도에 대한 편견이없고 일관된 추정치 인 것으로 나타났습니다. 나에게는 약간의 직관이 아닌 것 같습니다. 회귀 모형이 있다고 가정합니다 (변수가 0 평균 인 경우). y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. 의 무제한 OLS 추정값 이 라고 가정합니다 . 패널티 강도가 매우 …

12 regression  lasso  degrees-of-freedom  shrinkage 

Lasso를 생성하기 위해 Lars 알고리즘을 수정하는 방법을 이해하려고합니다. LARS를 이해하는 동안 Tibshirani 등의 논문에서 Lasso 수정을 볼 수 없습니다. 특히 0이 아닌 좌표의 부호가 현재 상관 관계의 부호와 일치 해야하는 부호 조건을 왜 알지 못합니다. 누군가 나를 도와주세요. 나는 원래 L-1 규범 문제, 즉 올가미에서 KKT 조건을 사용하여 수학 증거를 …

12 lasso 

선형 회귀 문제에 대한 L1 (lasso) 및 / 또는 탄력적 순 정규화에 대한 좌표 하강 사용을 다루는 좋은 논문이나 책이 있습니까?

12 regression  references  lasso  regularization  elastic-net 

L1 정규 선형 회귀 분석을 매우 큰 데이터 세트에 맞추고 있습니다 (n >> p 사용) 변수는 미리 알려져 있지만 관측치는 작은 덩어리로 도착합니다. 각 덩어리 후에 올가미 맞춤을 유지하고 싶습니다. 각각의 새로운 관측 값 세트를 본 후 전체 모델을 다시 맞출 수 있습니다. 그러나 이것은 많은 데이터가 있다는 점에서 상당히 …

12 regression  lasso 

IRLS 알고리즘을 사용하여 로지스틱 회귀를 프로그래밍했습니다 . 올바른 기능을 자동으로 선택하기 위해 LASSO 처벌 을 적용하고 싶습니다 . 각 반복에서 다음이 해결됩니다. (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} 하자 음수가 아닌 실수합니다. 나는 The Elements of 에서 제안한 것처럼 요격을 처벌하지 않습니다 . 통계 학습 . 이미 0의 계수에 대한 차이. 그렇지 않으면 오른쪽에서 …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

나는 LASSO를 사용하여 모델이 적합 할 때 R 제곱이 이상적인 척도가 아니라고 여러 곳에서 읽었습니다. 그러나 그 이유 를 정확히 알 수는 없습니다. 또한 최고의 대안을 추천 해 주시겠습니까?

12 regression  lasso  r-squared  penalized 

압축 감지에서는 에 고유 한 희소 솔루션 c 가 있음을 보장하는 정리 가 있습니다 (자세한 내용은 부록 참조).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc 올가미에 대한 비슷한 정리가 있습니까? 그러한 정리가 있다면 올가미의 안정성을 보장 할뿐만 아니라 올가미에보다 의미있는 해석을 제공합니다. 올가미 …

12 regression  self-study  feature-selection  lasso  regularization 

현재 ~ 300 개의 변수와 800 개의 관측치가있는 데이터 세트에서 이진 결과에 대한 예측 모델을 작성 중입니다. 이 사이트에서 단계별 회귀와 관련된 문제와 사용하지 않는 이유에 대해 많이 읽었습니다. 저는 LASSO 회귀와 기능 선택 기능을 읽고 "캐럿"패키지 및 "glmnet"을 사용하여 구현에 성공했습니다. 나는 최적으로 모델의 계수를 추출 할 수 있어요 …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

그동안 LASSO (최소 절대 축소 및 선택 연산자)를 공부하고 있습니다. 정규화 매개 변수의 최적 값은 교차 유효성 검사를 통해 선택할 수 있습니다. 능선 회귀 분석과 정규화를 적용하는 많은 방법에서 CV를 사용하여 최적의 정규화 매개 변수 (벌칙)를 찾을 수 있습니다. 이제 내 질문은 매개 변수의 상한 및 하한의 초기 값과 시퀀스 …

12 lasso  regularization  shrinkage 

이 게시물은 다음과 같습니다. 왜 대각선에 상수를 추가하여 능선 추정치가 OLS보다 좋습니까? 내 질문은 다음과 같습니다. 내가 아는 한, 능선 정규화는 -norm (유클리드 거리)을 사용합니다. 그러나 왜 우리는이 표준의 제곱을 사용합니까? ( 직접 적용 하면 베타 합의 제곱근이 발생합니다).ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 비교 , 우리는 LASSO에 대해 이것을하지 않습니다. LASSO는 -norm을 사용 하여 …

12 lasso  regularization  ridge-regression