«lasso» 태그된 질문

나는 glmnet패키지를 처음 접했고 결과를 해석하는 방법을 여전히 확신하지 못한다. 누구든지 다음 추적 플롯을 읽도록 도와 줄 수 있습니까? 다음을 실행하여 그래프를 얻었습니다. library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", label=TRUE) plot(model$glmnet.fit, "lambda", label=TRUE) par(op)

15 r  data-visualization  interpretation  lasso  glmnet 

왜 LASSO 및 LARS 모델 선택 방법이 기본적으로 단계별 순방향 선택의 변형이지만 경로 의존성을 겪을지라도 왜 그렇게 인기가 있는지 궁금합니다. 마찬가지로, 단계 선택 회귀 문제를 겪지 않기 때문에 LARS / LASSO보다 더 나은 모델 선택을위한 GETS (General to Specific) 방법이 왜 대부분 무시 되는가? (GETS에 대한 기본 참조 : http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf- …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

통계 학습에서 가장 인기있는 책을 읽었습니다 1- 통계 학습의 요소. 2- 통계 학습 소개 . 둘 다 능선 회귀에는 동등한 두 가지 공식이 있다고 언급합니다. 이 결과에 대해 이해할만한 수학적 증거가 있습니까? 나는 또한 Cross Validated를 겪었 지만 거기에서 확실한 증거를 찾을 수 없습니다. 또한 LASSO는 동일한 유형의 증명을 누릴 …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

ℓ 1 페널티 항 계수의 최적 선택에 관한 분석 결과 또는 실험 논문이 있습니까? 하여 최적의 , 나는 최고의 모델, 또는 최소화 예상 손실을 선택하는 확률을 극대화 매개 변수를 의미한다. 문제의 인스턴스 수가 많거나 문제의 크기 때문에 교차 유효성 검사 또는 부트 스트랩으로 매개 변수를 선택하는 것이 실용적이지 않기 때문에 …

15 model-selection  lasso  shrinkage 

닫은. 이 질문은 주제에 맞지 않습니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 교차 검증에 대한 주제가 되도록 질문을 업데이트하십시오 . 휴일 삼년 전에 . 나는 기능 LASSO 방법을 사용하여 R에 로지스틱 회귀 분석을 짓고 있어요 cv.glmnet을 선택 lambda하고 glmnet최종 모델. 자동 모델 선택과 관련된 모든 단점을 이미 알고 …

15 r  logistic  categorical-data  lasso  glmnet 

올가미 추정치 정의 β λ = ARG 분 여기서 I ^ {일} 행 x_i로부터 \에서 \ mathbb {R}은 ^ P 설계 행렬 X \에서 \ mathbb {R} ^ {n \ 시간 p를} 벡터 인 확률 론적 반응 y_i ( i = 1의 경우, \ ​​dots n ) 를 설명하기위한 공변량β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda …

14 lasso  regularization 

다음 프로세스를 사용하여 임의의 포리스트를 만들고 싶습니다. 정보 획득을 사용하여 분할을 결정하는 임의의 데이터 및 기능 샘플에 트리를 구축 사전 정의 된 깊이를 초과하는 리프 노드를 종료하거나 분할하면 사전 정의 된 최소값보다 작은 리프 수가 생성됩니다. 각 트리에 클래스 레이블을 지정하는 대신 리프 노드에서 클래스 비율을 지정하십시오. 미리 정의 된 …

14 classification  random-forest  lasso  ensemble 

저의 일반적인 이해는 AIC 가 모델의 적합도와 모델의 복잡성 간의 균형을 다루는 것입니다. I씨= 2 k - 2 l n ( L )ㅏ나는씨=2케이−2엘엔(엘)AIC =2k -2ln(L) 케이케이k = 모형의 매개 변수 수 엘엘L = 가능성 베이지안 정보 기준 BIC 는 AIC와 밀접한 관련이 있으며 AIC는 BIC보다 매개 변수 수를 덜 강하게합니다. …

14 cross-validation  lasso  aic  ridge-regression  bic 

행 또는 열 수가 증가함에 따라 Lasso 회귀의 점근 적 시간 복잡도는 얼마입니까?

14 lasso  time-complexity 

베이지안 올가미를 설명하는 수학이 많은 논문이 있지만, 사용할 수있는 올바른 JAGS 코드를 테스트하고 싶습니다. 누군가 정규화 된 로지스틱 회귀를 구현하는 샘플 BUGS / JAGS 코드를 게시 할 수 있습니까? 모든 체계 (L1, L2, Elasticnet)는 훌륭하지만 Lasso가 선호됩니다. 흥미로운 대안적인 구현 전략이 있는지 궁금합니다.

14 bayesian  logistic  lasso  jags  regularization 

통계 학습 서적의 요소에서 최상의 하위 집합 선택에 대해 읽고 있습니다. 3 개의 예측 변수 이 있으면 2 3 = 8 부분 집합을 만듭니다 .엑스1, x2, x삼x1,x2,x3x_1,x_2,x_32삼= 823=82^3=8 예측 변수가없는 부분 집합 예측 변수가 x 1 인 부분 집합엑스1x1x_1 예측 변수가 x 2 인 부분 집합엑스2x2x_2 예측 변수 x 3의 …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} 문제가 있습니다 : minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), : ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). 이 경우 폐쇄 형 솔루션이 있습니까? 나는 그것을 가지고있다 : (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), 그래서 대답은 : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, 에 대한 yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} 하지만 확실하지 않습니다.

13 mathematical-statistics  lasso  computational-statistics  regularization 

탄력적 그물의 동기 중 하나는 다음과 같은 LASSO의 한계였습니다. 에서 경우로 인해 볼록 최적화 문제의 본질 올가미 최대 선택 변수 N 그것을 전에 포화된다. 이것은 변수 선택 방법에 대한 제한 기능인 것 같습니다. 또한, 계수의 L1- 노름에 대한 경계가 특정 값보다 작지 않으면 올가미가 잘 정의되지 않습니다.p > np>np > …

13 regression  optimization  feature-selection  lasso 

통계 학습 요소의 표 18.1은 14 개의 클래스 데이터 세트에서 여러 분류기의 성능을 요약합니다. 이러한 다중 클래스 분류 문제에 대해 새로운 알고리즘을 올가미 및 탄성 그물과 비교하고 있습니다. 사용 glmnet버전 1.5.3 (R 2.13.0) I 포인트 제합니다 (재현 할 아니다 에 사용 된 유전자의 수 (269) 및 테스트 오차 것으로보고 테이블에 …

13 classification  lasso  glmnet 

LASSO 문제에 대한 계수를 얻고 싶습니다 || 와이− Xβ| | +λ | |β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. 문제는 glmnet과 lars 함수가 다른 답변을 제공한다는 것입니다. glmnet 함수의 경우 대신에 여전히 다른 답변을 얻습니다.λλ / | |와이| |λ/||Y||\lambda/||Y||λλ\lambda 이것이 예상됩니까? lars 와 glmnet 의 관계는 무엇입니까 ? glmnet이 LASSO 문제에 더 빠르다는 것을 알고 …

13 r  machine-learning  regression  lasso  regularization