«lasso» 태그된 질문

많은 매개 변수를 추정하고 다른 매개 변수에 비해 효과가 거의 없다고 생각하기 때문에 그 중 일부에 불이익을 가하고 싶다고 가정 해보십시오. 어떤 벌칙을 사용할지 어떻게 결정합니까? 능선 회귀는 언제 더 적절합니까? 올가미를 언제 사용해야합니까?

167 regression  lasso  ridge-regression 

선형 회귀에 관한 책을 읽고 있습니다. L1 및 L2 규범에 대한 문장이 있습니다. 나는 그것들을 알고 있습니다. 왜 L1 규범이 희소 모델인지 이해하지 못합니다. 누군가가 간단한 설명을 할 수 있습니까?

97 regression  lasso  regularization  ridge-regression 

어떤 상황에서 OLS 대신 정규화 방법 (리지, 올가미 또는 최소 각도 회귀)을 사용해야합니까? 이것이 토론을 이끌어내는 데 도움이되는 경우 나의 주요 관심사는 예측 정확도를 향상시키는 것입니다.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

올가미에 대한 기술적이지 않은 정의와 그것이 사용되는 것을 찾고 있습니다.

81 regression  lasso  regularization  shrinkage 

관심있는 결과가 이분법 인 LASSO Regressionglmnet 과 함께 사용하기 시작했습니다 . 아래에 작은 모의 데이터 프레임을 만들었습니다. age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

나는 통계 학습의 요소를 읽고 있었고 , 올가미가 변수 선택을 제공하고 능선 회귀가 그렇지 않은 이유를 알고 싶습니다. 두 방법 모두 잔차 제곱합을 최소화하고 매개 변수 의 가능한 값을 제한합니다 . 올가미의 경우 제약 조건은 이며, 능선의 경우 일부 입니다.ββ\beta||β||1≤t||β||1≤t||\beta||_1 \le t||β||2≤t||β||2≤t||\beta||_2 \le tttt 나는 책에서 다이아몬드 대 타원 그림을 …

76 regression  feature-selection  lasso  regularization 

연말 연시에는 통계 학습의 요소 (Elements of Statistical Learning)로 불 옆에서 몸을 구부릴 수있는 기회가 주어졌습니다 . (자주 주의적) 계량 경제학 관점에서 볼 때, 능선 회귀, 올가미 및 최소 각도 회귀 (LAR)와 같은 수축 방법의 사용을 파악하는 데 어려움을 겪고 있습니다. 일반적으로 매개 변수 추정 자체에 편견이 있거나 최소한 일관성을 …

61 lasso  ridge-regression  shrinkage  lars 

예측을 위해 LASSO 모델을 사용하려고하는데 표준 오류를 추정해야합니다. 분명히 누군가가 이미 이것을하기 위해 패키지를 작성했습니다. 그러나 내가 알 수있는 한, LASSO를 사용하여 예측을 수행하는 CRAN의 패키지는 해당 예측에 대한 표준 오류를 반환하지 않습니다. 그래서 내 질문은 : 패키지 또는 일부 R 코드가 LASSO 예측에 대한 표준 오류를 계산할 수 있습니까?

60 r  standard-error  prediction  lasso 

내가 아는 것에서 변수 선택에 올가미를 사용하면 상관 된 입력 문제를 처리합니다. 또한 최소 각도 회귀와 같으므로 계산 속도가 느리지 않습니다. 그러나 많은 사람들 (예 : 생체 통계를하는 사람들)은 여전히 ​​단계별 또는 단계적 변수 선택을 선호합니다. 올가미를 사용하는 것이 유리하지 않은 실질적인 단점이 있습니까?

60 regression  feature-selection  lasso 

모형 선택의 문제를 해결하기 위해 많은 방법 (LASSO, 능선 회귀 등)이 예측 변수의 계수를 0으로 줄입니다. 왜 이것이 예측 능력을 향상시키는 지에 대한 직관적 인 설명을 찾고 있습니다. 변수의 실제 효과가 실제로 매우 큰 경우, 왜 매개 변수를 축소해도 예측이 더 나 빠지지 않습니까?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

올가미 문제 경우 \ | \ beta \ | _1 \ leq t 입니다. 소프트 임계 값 결과가 자주 나타납니다. \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | 직교 정규 X 사례의 …

52 lasso 

30 개의 독립 변수 세트에서 연속 종속 변수에 대한 예측 변수를 찾고 싶습니다. R 의 glmnet 패키지에 구현 된대로 Lasso 회귀를 사용하고 있습니다. 더미 코드는 다음과 같습니다. # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to find the …

40 r  multiple-regression  lasso  glmnet  communication 

이 질문에 약간의 기초가 있다면 미안합니다. R의 다중 선형 회귀 모델에 LASSO 변수 선택을 사용하려고합니다. 15 개의 예측 변수가 있는데 그중 하나는 범주 형입니다 (문제를 일으킬 수 있습니까?). 내 와 설정 한 후 다음 명령을 사용합니다.y엑스xx와이yy model = lars(x, y) coef(model) 내 문제는 내가 사용할 때 coef(model)입니다. 이렇게하면 매 15 …

39 feature-selection  lasso  glmnet  lars 

최소 각도 회귀와 올가미는 매우 유사한 정규화 경로를 생성하는 경향이 있습니다 (계수가 0을 초과하는 경우를 제외하고 동일합니다). 둘 다 사실상 동일한 알고리즘으로 효율적으로 맞출 수 있습니다. 한 가지 방법을 다른 방법보다 선호하는 실질적인 이유가 있습니까?

39 regression  lasso 

나는 보통 과 규범 이 왜 정규화 되어 있는지 궁금 합니다. 왜 이것이 더 낫다는 증거가 있습니까?L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression