«lasso» 태그된 질문

LASSO 회귀는 계수를 0으로 축소하여 효과적으로 모델 선택을 제공합니다. 내 데이터에는 공칭 및 연속 공변량 사이에 의미있는 상호 작용이 있다고 생각합니다. 그러나 반드시 진정한 모델의 '주요 효과'가 의미가있는 것은 아닙니다 (0이 아님). 물론 나는 진정한 모델을 알 수 없기 때문에 이것을 모른다. 저의 목표는 실제 모델을 찾고 가능한 한 밀접하게 …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

lasso에 대해 다른 구현 소프트웨어를 사용할 수 있습니다 . 다른 포럼에서 베이지안 접근 방식과 잦은 접근 방식에 대해 많이 논의했습니다. 내 질문은 올가미에 매우 구체적 입니다. 베이 시안 올가미와 일반 올가미의 차이점 또는 장점은 무엇입니까 ? 다음은 패키지 구현의 두 가지 예입니다. # just example data set.seed(1233) X <- scale(matrix(rnorm(30),ncol=3))[,] …

24 r  machine-learning  linear-model  lasso 

그래서 나는 어느 중앙 측정치 L1 (즉, 올가미)와 L2 (즉, 능선 회귀)가 추정되는지에 대한 질문을 받았다. 답은 L1 = 중간 값이고 L2 = 평균입니다. 이것에 대한 직관적 인 추론이 있습니까? 아니면 대수적으로 결정해야합니까? 그렇다면 어떻게해야합니까?

24 lasso  regularization  loss-functions  ridge-regression 

LASSO ( ) 및 Ridge ( )와 같은 일부 페널티 함수 및 근사값은 잘 연구 되었으며 회귀 분석에서 이러한 점을 비교하는 방법에 대해 살펴 봅니다.엘1L1L_1엘2L2L_2 브리지 페널티에 대해 읽었습니다. 이는 일반 페널티입니다. 이것을 \ gamma = 1 인 LASSO 와 \ gamma = 2 인 Ridge와 비교 하여 특별한 경우를 …

22 regression  lasso  regularization  ridge-regression  elastic-net 

R 패키지 Lars와 GlmnetLasso 문제를 해결하는 데 사용되는 R 패키지를 더 잘 이해하고 싶습니다 . ( 변수 및 샘플의 경우, 참조 www.stanford.edu/~hastie/Papers/glmnet.pdf를 ) 3 페이지pN해요 난 N( β0β) ∈ Rp + 1[ 12 N∑나는 = 1엔( y나는− β0− x티나는β)2+ λ | | β| |엘1]엠나는엔(β0β)∈아르 자형피+1[12엔∑나는=1엔(와이나는−β0−엑스나는티β)2+λ||β||엘1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + …

22 r  regression  machine-learning  lasso  regularization 

완벽한 예측 변수 쌍을 찾을 수 있는지 테스트하기 위해 R에서 LASSO 회귀로 작은 실험을 진행하고 있습니다. 쌍은 다음과 같이 정의됩니다 : f1 + f2 = 결과 결과는 '나이'라고하는 미리 정해진 벡터입니다. F1 및 f2는 연령 벡터의 절반을 취하고 나머지 값을 0으로 설정하여 작성합니다 (예 : age = [1,2,3,4,5,6], f1 = …

20 r  regression  feature-selection  lasso  high-dimensional 

우리는 LASSO 최적화 (단순성을 위해 여기서 선형 회귀의 경우에주의를 한정 함) 은 매개 변수에 Laplace prior \ exp (-\ lambda \ | \ beta \ | _1) 가 주어진 가우스 오류가있는 선형 모델과 같습니다. 또한 높은 값이 튜닝 매개 변수를 설정한다는 것을 알고 있습니다. \ lambda 이면 매개 변수 부분이 …

20 lasso  laplace-distribution 

통계 학습 알고리즘을 실행하기 전에 기능 선택 방법 (랜덤 포리스트 기능 중요도 값 또는 일 변량 기능 선택 방법 등)을 사용해야하는 것과 관련하여 한 가지 질문이 있습니다. 우리는 과적 합을 피하기 위해 가중치 벡터에 정규화 페널티를 도입 할 수 있습니다. 따라서 선형 회귀를 원한다면 L2 또는 L1 또는 Elastic net …

20 regression  machine-learning  feature-selection  lasso  regularization 

L1 불이익 회귀 (일명 올가미)는 두 가지 제형으로 제공됩니다. 두 목적 함수를 그런 다음 두 가지 다른 공식은 은 및 KKT (Karush-Kuhn-Tucker) 조건을 사용하면 첫 번째 공식의 정상 상태가 두 번째 공식의 기울기를 가져 와서 0으로 설정하는 것과 어떻게 동등한 지 쉽게 알 수 있습니다. , 첫 번째 공식에 대한 …

20 regression  lasso  penalized 

나는 R 패키지를 사용하고 범 나는 사람이 중요하다있는 예측과 약간의 지식을 많이 가지고 어디에 데이터 집합에 대한 계수의 수축 추정치를 얻을 수 있습니다. 튜닝 매개 변수 L1 및 L2를 선택하고 계수에 만족 한 후 R- 제곱과 같은 모형 적합도를 통계적으로 알 수있는 방법이 있습니까? 또한, 모델의 전체적인 의미를 테스트하는 데 …

20 regression  lasso  stepwise-regression  ridge-regression 

최근에 적용된 계량 경제학 문헌에서, 특징 선택 문제를 다룰 때, 선택된 변수를 사용하여 LASSO를 수행 한 다음 OLS 회귀를 수행하는 것은 드문 일이 아니라는 것을 발견했습니다. 그러한 절차의 유효성을 어떻게 검증 할 수 있는지 궁금했습니다. 변수 생략과 같은 문제가 발생합니까? 더 효율적이거나 결과가 더 해석 가능하다는 증거가 있습니까? 다음은 몇 …

20 regression  feature-selection  econometrics  least-squares  lasso 

다음은 mtcarsR로 설정된 데이터를 mpgDV로 사용하고 다른 변수는 예측 변수로 사용하여 기본 알파 (1, 따라서 올가미)를 사용하는 glmnet의 플롯입니다 . glmnet(as.matrix(mtcars[-1]), mtcars[,1]) 우리는 무엇 특히, 다른 변수에 대해이 플롯에서 결론을 내릴 수 am, cyl과 wt(빨강, 검정 및 밝은 파란색 선)? 보고서에 출력 할 내용을 어떻게 표현할 것인가? 나는 다음을 생각했다. …

19 regression  feature-selection  lasso  glmnet 

예측 변수 축소 / 선택을위한 탄력적 순 절차에 실제로 관심이 있습니다. 매우 강력 해 보입니다. 그러나 과학적 관점에서 계수를 얻은 후에는 어떻게해야할지 잘 모릅니다. 어떤 질문에 대답하고 있습니까? 이것들은 그 결과에 가장 큰 영향을 미치는 변수 들이며 이것들은 검증하는 동안 최고의 분산 / 바이어스 비율을 제공하는 계수들입니까? 물론 이것은 전통적인 …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

단계적 알고리즘 변수 선택 방법은 회귀 모델 ( ββ\beta 및 SE, p- 값 , F 통계 등)의 모든 추정치에 다소 차이가있는 모형에 대해 선택하는 경향이 있으며 다음과 같이 실제 예측 변수를 배제 할 가능성이 높습니다. 합리적으로 성숙한 시뮬레이션 문헌에 따른 거짓 예측 자. 변수를 선택하는 데 LASSO가 동일한 특정 방식으로 …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

이 올가미 플롯 (glmnet)에서 결론을 내릴 수 있는 질문 은 단조롭지 않은 올가미 추정기의 솔루션 경로를 보여줍니다. 즉, 일부 계수기는 축소되기 전에 절대 값으로 증가합니다. 나는이 모델들을 몇 가지 다른 종류의 데이터 세트에 적용했으며이 행동을 "와일드하게"본 적이 없으며 오늘날까지도 항상 단조로운 것으로 가정했습니다 . 솔루션 경로가 단조임을 보장하는 명확한 조건이 …

18 lasso  ridge-regression  elastic-net