«elastic-net» 태그된 질문

L1 정규 선형 회귀 피팅에 LARS [1] 사용과 좌표 하강 사용의 장단점은 무엇입니까? 나는 주로 퍼포먼스 측면에 관심이있다 (내 문제는 N수십만에서 p20 이하인 경향이있다 ). 그러나 다른 통찰력도 인정 될 것이다. 편집 : 내가 질문을 게시 한 후 chl은 Friedman 등의 논문 [2]에 좌표 하강이 다른 방법보다 상당히 빠른 것으로 …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

능선 회귀와 LASSO의 장단점에 대해 이미 알고 있습니다. LASSO의 경우, L1 페널티 항은 희소 계수 벡터를 생성하며, 이는 특징 선택 방법으로 볼 수 있습니다. 그러나 LASSO에는 몇 가지 제한 사항이 있습니다. 기능의 상관 관계가 높은 경우 LASSO는 그 중 하나만 선택합니다. 또한 > 인 문제의 경우 LASSO는 최대 매개 변수를 …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

참고 :이 질문은 법적 이유로 인해 이전 질문을 삭제해야했기 때문에 다시 게시되었습니다. SAS의 PROC MIXED를 R lme의 nlme패키지 기능과 비교하는 동안 다소 혼란스러운 차이점을 발견했습니다. 구체적으로는, 다른 시험에서 자유도간에 상이 PROC MIXED하고 lme, 그리고 왜 생각해. 다음 데이터 세트에서 시작하십시오 (아래 제공된 R 코드). ind : 측정 대상을 나타내는 계수 …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

선형 회귀 문제에 대한 L1 (lasso) 및 / 또는 탄력적 순 정규화에 대한 좌표 하강 사용을 다루는 좋은 논문이나 책이 있습니까?

12 regression  references  lasso  regularization  elastic-net 

LASSO와 적응 형 LASSO는 서로 다른 두 가지입니다. (벌칙은 다르게 보이지만, 내가 놓친 것이 있는지 확인하고 있습니다.) 일반적으로 탄력적 그물에 대해 말할 때 특별한 경우 LASSO 또는 적응 형 LASSO입니까? alpha = 1을 선택하면 glmnet 패키지는 어떤 기능을 수행합니까? 적응 형 LASSO는 더 온화한 조건에서 작동합니다. 둘 다 오라클 데이터가 …

12 lasso  glmnet  elastic-net  oracle 

참고 문헌에 따르면 1 권 , 2 권 과 종이 . 정규화 된 회귀 (Ridge, LASSO 및 Elastic Net)와 제약 조건 간에는 동등한 내용이 언급되어 있습니다. Cross Validated 1 및 Cross Validated 2 도 살펴 보았지만 그 동등성 또는 논리에 대한 명확한 답변을 볼 수는 없습니다. 내 질문은 Karush–Kuhn–Tucker (KKT)를 …

11 regression  optimization  lasso  ridge-regression  elastic-net 

ElasticNetPython과 glmnetR의 동일한 데이터 세트 에서 scikit-learn을 사용하여 Elastic Net 모델을 피팅 하면 동일한 산술 결과가 생성 되는지 여부를 확인하려고 한 사람이 있습니까? 나는 두 가지 함수가 인수에 전달하는 기본값이 다르기 때문에 많은 매개 변수 조합을 실험하고 데이터를 스케일링했지만 두 언어간에 동일한 모델을 생성하는 것으로 보이지는 않습니다. 아무도 같은 문제에 …

11 machine-learning  scikit-learn  glmnet  elastic-net 

여러 답변에서 CrossValidated 사용자는 OP가 Lasso, Ridge 및 Elastic Net에 대한 초기 논문을 제안한다고 제안했습니다. 후손을 위해 Lasso, Ridge 및 Elastic Net의 주요 작품은 무엇입니까?

10 references  lasso  regularization  ridge-regression  elastic-net 

제목에서 알 수 있듯이 라이브러리의 LBFGS 옵티 마이저를 사용하여 glmnet linear의 결과를 복제하려고합니다 lbfgs. 이 옵티마이 저는 목적 함수 (L1 정규화 용어가없는)가 볼록한 한, 미분에 대해 걱정할 필요없이 L1 정규화 용어를 추가 할 수 있습니다. 의 탄성 순 선형 회귀 문제 glmnet 용지가 주어진다 여기서 X \ in \ mathbb …

10 r  regression  regularization  glmnet  elastic-net 

나는 탄성 그물과 관련된이 기사를 읽고있었습니다. 그들은 우리가 단지 올가미를 사용하는 경우 상관 관계가 높은 예측 변수 중 하나만 선택하는 경향이 있기 때문에 탄력적 그물을 사용한다고 말합니다. 그러나 이것이 우리가 원하는 것이 아닙니다. 그것은 그것이 다중 공선 성 문제에서 우리를 구원한다는 것을 의미합니다. 어떤 제안 / 설명?

10 regression  lasso  elastic-net 

처벌 모델은 매개 변수 수가 샘플 크기와 같거나 그보다 큰 모델을 추정하는 데 사용할 수 있습니다. 이 상황은 범주 형 또는 개수 데이터의 큰 희소 테이블의 로그 선형 모델에서 발생할 수 있습니다. 이러한 설정에서 다른 수준과 상호 작용하는 방식에서 해당 수준을 구별 할 수없는 요인 수준을 결합하여 표를 축소하는 것이 …

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

그래서, 나는 16 개의 시험을 가지고 있는데, 여기에서 Hamming Distance를 사용하여 생체 특성으로부터 사람을 인증하려고합니다. 임계 값이 3.5로 설정되었습니다. 내 데이터는 다음과 같으며 1 번 시험 만 참 긍정입니다. Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction