«lasso» 태그된 질문

능선 및 올가미 회귀에 대한 기능을 표준화하는 것이 일반적인 관행임을 알고 있지만 이러한 회귀 분석법에 대한 z- 점수 표준화의 대안으로 (0,1) 척도에서 피쳐를 정규화하는 것이 더 실용적입니까?

11 normalization  lasso  standardization  ridge-regression 

LASSO 회귀에 대한 나의 이해는 최소화 문제를 해결하기 위해 회귀 계수가 선택된다는 것입니다. minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t 실제로 이것은 Lagrange multiplier를 사용하여 수행되므로 문제를 해결할 수 있습니다. 분β∥ y− Xβ∥22+ λ ∥ β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambda 와 …

10 optimization  lasso  regularization  lagrange-multipliers 

여러 답변에서 CrossValidated 사용자는 OP가 Lasso, Ridge 및 Elastic Net에 대한 초기 논문을 제안한다고 제안했습니다. 후손을 위해 Lasso, Ridge 및 Elastic Net의 주요 작품은 무엇입니까?

10 references  lasso  regularization  ridge-regression  elastic-net 

I는 설계 행렬 있다면 여기서, 차원의 관찰의 수이고 , 풀면의 복잡성 무엇 LASSO, wrt 및 와 함께 ? 대답은 달리 느끼지 않는 한 반복 횟수 (수렴)가 어떻게 조정되는지가 아니라 하나의 LASSO 반복이 이러한 매개 변수로 스케일링 되는 방식을 참조해야한다고 생각합니다 . N 거라고 β = argmin β 1X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddN의Dβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} …

10 optimization  lasso  regularization  time-complexity 

나는 최근 올가미 (정규화)에 관한 몇 가지 통계 토론에 참석했으며 계속 올라가는 요점은 올가미가 왜 작동하는지 또는 왜 그렇게 잘 작동하는지 이해하지 못한다는 것입니다. 이 진술이 무엇을 말하는지 궁금합니다. 분명히 나는 ​​올가미가 매개 변수 축소로 과적 합을 방지하여 기술적으로 작동하는 이유를 이해하지만 그러한 진술 뒤에 더 깊은 의미가 있는지 궁금합니다. …

10 machine-learning  lasso  regularization 

[A 비슷한 질문은 질문했다 여기에 아무 답변] 나는 L1 정규화 (Lasso logistic regression) 로 로지스틱 회귀 모델을 적합 시켰고 유의성에 대한 적합 계수를 테스트하고 p- 값을 얻고 싶습니다. 나는 Wald의 검정 (예를 들어)이 정규화없이 전체 회귀에서 개별 계수의 중요성을 검정하는 옵션이라는 것을 알고 있지만 Lasso에서는 일반적인 Wald 공식을 적용 할 …

10 logistic  statistical-significance  regression-coefficients  lasso 

R에서 glmnet을 사용하여 LASSO 모델을 올바르게 훈련하고 테스트하는 방법에 대해 궁금합니다. 특히 외부 테스트 데이터 세트가 부족한 경우 교차 검증 (또는 다른 유사한 방법)을 사용하여 LASSO 모델을 테스트 하는 방법을 궁금합니다 . 시나리오를 정리하겠습니다 : 내 glmnet 모델을 알리고 훈련 할 데이터 세트가 하나뿐입니다. 결과적으로 교차 검증을 사용하여 데이터를 분할하여 …

10 r  cross-validation  glmnet  lasso 

기계 학습 수업에서 LASSO 회귀 분석이 정규화를 사용하기 때문에 기능 선택을 수행하는 방법에 대해 매우 잘 .l1l1l_1 내 질문 : 사람들은 일반적으로 기능 선택을 수행하기 위해 LASSO 모델을 사용합니까 (그리고 다른 기계 학습 모델에 해당 기능을 덤프하도록 진행합니까) 아니면 일반적으로 기능 선택과 실제 회귀를 모두 수행하기 위해 LASSO를 사용합니까? 예를 …

10 feature-selection  lasso  regression-strategies 

나는 원래의 풀 모델에서 앞으로 선택 뒤로 제거 L1 벌칙 기술 (LASSO) 순방향 선택 / 역방향 제거를 사용하여 얻은 모델의 경우, CVlm에서 DAAG제공되는 패키지를 사용 하여 교차 검증 된 예측 오차 추정치를 얻었 습니다 R. LASSO를 통해 선택된 모델에는을 사용했습니다 cv.glm. LASSO에 대한 예측 오차는 다른 것들에 대해 얻은 것보다 …

10 cross-validation  model-selection  lasso  stepwise-regression 

나는 탄성 그물과 관련된이 기사를 읽고있었습니다. 그들은 우리가 단지 올가미를 사용하는 경우 상관 관계가 높은 예측 변수 중 하나만 선택하는 경향이 있기 때문에 탄력적 그물을 사용한다고 말합니다. 그러나 이것이 우리가 원하는 것이 아닙니다. 그것은 그것이 다중 공선 성 문제에서 우리를 구원한다는 것을 의미합니다. 어떤 제안 / 설명?

10 regression  lasso  elastic-net 

를 사용하여 R에 선형 모델을 피팅하고 glmnet있습니다. 원래 (비정규 화 된) 모델은를 사용하여 피팅되었으며 lm상수 항이 없었습니다 (예 : 형식 lm(y~0+x1+x2,data)). glmnet예측 행렬과 반응 벡터를 취합니다. 나는 glmnet문서를 읽었 으며 상수 용어에 대한 언급을 찾을 수 없습니다. 그렇다면 glmnet원점을 통해 선형 맞춤 을 요구하는 방법이 있습니까?

10 r  regression  lasso 

음이 아닌 능선 회귀를 수행하는 방법? 음수가 아닌 올가미는에서 사용할 수 scikit-learn있지만, 능선의 경우 베타의 음수가 아닌 것을 시행 할 수 없으며 실제로 음의 계수를 얻습니다. 이것이 왜 그런지 아는 사람이 있습니까? 또한 규칙적인 최소 제곱으로 릿지를 구현할 수 있습니까? 이것을 다른 질문으로 옮겼습니다. OLS 회귀 측면에서 능선 회귀를 구현할 …

10 regression  lasso  regularization  ridge-regression 

R 함수 cv.glm (라이브러리 : boot)은 일반화 된 선형 모델에 대한 추정 된 K- 폴드 교차 검증 예측 오류를 계산하고 델타를 반환합니다. 올가미 회귀 (라이브러리 : glmnet)에이 함수를 사용하는 것이 이치에 맞습니까? 그렇다면 어떻게 수행 할 수 있습니까? glmnet 라이브러리는 교차 검증을 사용하여 최상의 회전 매개 변수를 얻지 만 최종 …

10 r  regression  cross-validation  lasso  glmnet 

처벌 모델은 매개 변수 수가 샘플 크기와 같거나 그보다 큰 모델을 추정하는 데 사용할 수 있습니다. 이 상황은 범주 형 또는 개수 데이터의 큰 희소 테이블의 로그 선형 모델에서 발생할 수 있습니다. 이러한 설정에서 다른 수준과 상호 작용하는 방식에서 해당 수준을 구별 할 수없는 요인 수준을 결합하여 표를 축소하는 것이 …

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

약 5,000 개의 관련 기능 / 공변량 및 이진 반응이있는 데이터 세트가 있습니다. 데이터가 나에게 주어졌지만 나는 그것을 수집하지 않았다. 올가미와 그라디언트 부스팅을 사용하여 모델을 만듭니다. 반복적이고 중첩 된 교차 유효성 검사를 사용합니다. 나는 올가미의 가장 큰 (절대적인) 40 계수와 그라디언트 부스트 트리에서 40 개의 가장 중요한 특징을보고합니다 (40에 대해서는 …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional