«lasso» 태그된 질문

변수가 50,000 개 이상인 모델에 올가미 또는 능선 회귀를 사용하고 싶습니다. R의 소프트웨어 패키지를 사용하고 싶습니다. 수축 매개 변수 ( )를 어떻게 추정 할 수 있습니까?λλ\lambda 편집 : 여기에 내가 지적한 요점이있다 : set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace = T) X <- matrix(Xv, …

36 r  lasso  ridge-regression  high-dimensional 

통계 학습 입문의 223 페이지 에서 저자는 능선 회귀와 올가미의 차이점을 요약합니다. 그것들은 "lasso가 치우침, 분산 및 MSE 측면에서 능선 회귀를 능가하는 경향이있는"예를 보여줍니다 (그림 6.9). 올가미가 바람직한 이유를 이해합니다. 많은 계수를 0으로 축소하여 단순하고 해석 가능한 모델로 스파 스 솔루션을 생성합니다. 그러나 예측 만 관심이있을 때 능선을 능가하는 방법을 …

35 machine-learning  prediction  lasso  regularization  ridge-regression 

탄성 그물 정규화는 항상 이러한 방법의 단점을 해결하기 때문에 Lasso & Ridge보다 선호됩니까? 직감은 무엇이며 탄성 그물의 수학은 무엇입니까?

35 regression  lasso  regularization  ridge-regression  elastic-net 

저는 특히 Andrew Ng의 기계 학습 과정을 통해 소프트웨어 엔지니어 학습 기계 학습 입니다 . 정규화로 선형 회귀를 연구하는 동안 혼란스러운 용어를 발견했습니다. L1 정규화 또는 L2 정규화를 사용한 회귀 올가미 릿지 회귀 그래서 내 질문 : L1 정규화를 사용한 회귀는 LASSO와 정확히 동일합니까? L2 정규화를 사용한 회귀는 릿지 회귀와 …

33 regression  terminology  lasso  regularization  ridge-regression 

능선, LASSO 및 엘라스틱 넷 정규화 방법은 어떻게 비교됩니까? 각각의 장단점은 무엇입니까? 좋은 기술 논문이나 강의 노트도 감사하겠습니다.

33 references  lasso  regularization  ridge-regression  elastic-net 

올가미 회귀 모형 및 매개 변수가 방정식에 부분적으로 만 입력되는 다른 정규화 된 모형에 대한 AIC 또는 BIC 값을 계산할 수 있습니까? 자유도를 어떻게 결정합니까? 패키지 의 glmnet()함수 에 올가미 회귀 모델을 맞추기 위해 R을 사용 glmnet하고 있으며 모델의 AIC 및 BIC 값을 계산하는 방법을 알고 싶습니다. 이런 식으로 정규화하지 …

31 r  model-selection  lasso  aic  bic 

참고 : L1에는 기능 선택 속성이 있음을 알고 있습니다. 기능 선택이 완전히 관련이 없을 때 선택할 것을 이해하려고합니다. 사용할 정규화 (L1 또는 L2)를 결정하는 방법은 무엇입니까? L1 / L2 정규화 각각의 장단점은 무엇입니까? 먼저 L1을 사용하여 기능을 선택하고 선택한 변수에 L2를 적용하는 것이 좋습니다?

30 regression  lasso  regularization  ridge-regression 

LASSO (및 다른 모델 선택 절차)의 경우 예측 변수를 재조정하는 것이 중요합니다. 일반 추천 I 추적은 연속 변수의 0 평균, 1 개 표준 편차의 정상화를 사용하는 것입니다. 그러나 인형과 어떤 관련이 있습니까? 예를 들어 , 동일한 (우수한) 여름 학교의 일부 적용 예 는 연속 변수를 0과 1 사이로 조정하지만 (이상치에는 …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

내가 사용 auto.arima () 의 기능을 예측 공변량의 다양한 ARMAX 모델에 맞게 패키지로 제공된다. 그러나 종종 선택할 변수가 많으며 대개 하위 집합으로 작동하는 최종 모델로 끝납니다. 나는 인간이고 편견의 영향을 받기 때문에 변수 선택에 대한 임시 기술을 좋아하지 않지만 교차 유효성 검사 시계열은 어렵 기 때문에 사용 가능한 변수의 다른 …

29 r  time-series  lasso  regularization  elastic-net 

βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ⁡‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+ XXX 그러나 왜 일반적으로 닫힌 양식 솔루션이 없는지 이해하지 못합니다. 차등을 사용하여 다음을 얻었습니다. ( XXX 는 n×pn×pn \times p 매트릭스입니다) = n ∑ i = 1 ( y i - X i β ) 2 + α p ∑ …

28 regression  lasso  regularization 

Lasso회귀 와 같은 전에 변수를 표준화 해야하는 세 가지 주요 이유를 읽었습니다 . 1) 계수의 해석 성. 2) 수축 후 계수 추정치의 상대적 크기에 따라 계수 중요도를 평가하는 기능. 3) 가로 채지 않아도됩니다. 그러나 가장 중요한 점이 궁금합니다. 표준화가 모형의 표본 일반화를 향상시킬 것이라고 생각할만한 이유가 있습니까? 또한 모델에 인터셉트가 …

28 normalization  lasso  standardization  regularization  shrinkage 

GAM을 사용할 때 잔여 DF는 (코드의 마지막 줄). 그게 무슨 뜻이야? GAM 예제를 넘어 서면 일반적으로 자유도는 정수가 아닌 숫자 일 수 있습니까?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

회귀 모수 벡터 대한 올가미 추정치 B비B가 각 B i에 대한 이전 분포 가 이중 지수 분포 (라플라스 분포라고도 함) 인 의 사후 모드와 같다는 많은 참고 문헌을 읽었습니다 .B비BBi비나는B_i 나는 이것을 증명하려고 노력했다. 누군가가 세부 사항을 살릴 수 있습니까?

27 regression  bayesian  lasso  prior  regularization 

한 번은 올가미를 두 번 사용하는 방법을 들었습니다 (이중 올가미와 같이). 여기서 S1과 같은 원래 변수 세트에서 올가미를 수행하고 S2라는 스파 스 세트를 얻은 다음 세트 S2에서 올가미를 다시 수행하여 세트 S3을 얻습니다. . 이에 대한 방법 론적 용어가 있습니까? 또한 올가미를 두 번 사용하면 어떤 이점이 있습니까?

26 regression  lasso  regularization  shrinkage  lars 

올가미 회귀 분석 경우 최상의 솔루션 (예 : 최소 테스트 오류)이 k 개의 피처를 선택한다고 가정합니다 . 그래서 \ 모자 {\ 베타가} ^ {올가미} = \ 좌측 (\ 모자 {\ 베타 _1} ^ {올가미} \ {모자 \ 베타 _2} ^ {올가미} ... \ 모자 {\ 베타} _k ^ {lasso}, 0, …

26 regression  feature-selection  lasso  regularization