«regularization» 태그된 질문

약 60 개의 예측 변수와 30 개의 관측치가있는 다변량 선형 회귀 모형을 적합 시키려고하기 때문에 p> n 때문에 정규 회귀 분석에 glmnet 패키지를 사용하고 있습니다. 나는 문서와 다른 질문을 겪었지만 여전히 결과를 해석 할 수 없습니다. 여기에는 샘플 코드가 있습니다 (예측 자 20 명과 단순화하기 위해 10 개의 관측치가 있음). …

36 r  regression  regularization  glmnet 

통계 학습 입문의 223 페이지 에서 저자는 능선 회귀와 올가미의 차이점을 요약합니다. 그것들은 "lasso가 치우침, 분산 및 MSE 측면에서 능선 회귀를 능가하는 경향이있는"예를 보여줍니다 (그림 6.9). 올가미가 바람직한 이유를 이해합니다. 많은 계수를 0으로 축소하여 단순하고 해석 가능한 모델로 스파 스 솔루션을 생성합니다. 그러나 예측 만 관심이있을 때 능선을 능가하는 방법을 …

35 machine-learning  prediction  lasso  regularization  ridge-regression 

탄성 그물 정규화는 항상 이러한 방법의 단점을 해결하기 때문에 Lasso & Ridge보다 선호됩니까? 직감은 무엇이며 탄성 그물의 수학은 무엇입니까?

35 regression  lasso  regularization  ridge-regression  elastic-net 

변수에 대한 계수가 클수록 모델이 해당 차원에서 "스윙"할 수있는 능력이 커지고 잡음에 대한 기회가 증가한다고 생각합니다. 모델의 분산과 큰 계수 사이의 관계에 대한 합리적인 감각을 가지고 있다고 생각하지만 왜 과적 합 모델에서 발생 하는지에 대한 감각은 없습니다 . 이들이 과적 합의 증상이며 계수 수축이 모형의 분산을 줄이는 기술이라고 말하는 것이 …

33 regression  variance  linear-model  bias  regularization 

저는 특히 Andrew Ng의 기계 학습 과정을 통해 소프트웨어 엔지니어 학습 기계 학습 입니다 . 정규화로 선형 회귀를 연구하는 동안 혼란스러운 용어를 발견했습니다. L1 정규화 또는 L2 정규화를 사용한 회귀 올가미 릿지 회귀 그래서 내 질문 : L1 정규화를 사용한 회귀는 LASSO와 정확히 동일합니까? L2 정규화를 사용한 회귀는 릿지 회귀와 …

33 regression  terminology  lasso  regularization  ridge-regression 

능선, LASSO 및 엘라스틱 넷 정규화 방법은 어떻게 비교됩니까? 각각의 장단점은 무엇입니까? 좋은 기술 논문이나 강의 노트도 감사하겠습니다.

33 references  lasso  regularization  ridge-regression  elastic-net 

SVD와 PCA를 이해하는 사람을 위해 부분 최소 제곱 회귀 (온라인에서 사용 가능) 뒤에 이론을 잘 설명 할 수 있습니까? 온라인에서 여러 출처를 살펴본 결과 엄격하고 접근성이 올바른 조합을 찾지 못했습니다. zi=Xφizi=Xφiz_i=X \varphi_iyTziyTzi y^Tz_i ∥φi∥=1‖φi‖=1\|\varphi_i\|=1zTizj=0ziTzj=0z_i^Tz_j=0i≠ji≠ji \neq j여기서 는 공분산을 최대화하는 순서대로 반복적으로 선택됩니다. 그러나 내가 읽은 후에도 나는 그것이 사실인지 여부와 …

33 regression  references  regularization  svd  partial-least-squares 

Tikhonov 정규화와 능선 회귀는 종종 같은 것처럼 사용되는 용어입니다. 차이점이 무엇인지 정확하게 지정할 수 있습니까?

32 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

예를 들어, 회귀를 수행 할 때 선택할 두 개의 하이퍼 매개 변수는 종종 함수의 용량 (예 : 다항식의 최대 지수)과 정규화 량입니다. 내가 혼동하는 것은 왜 저용량 기능을 선택한 다음 정규화를 무시하지 않는 것입니까? 그렇게하면 과잉 적합하지 않습니다. 정규화와 함께 고용량 기능이있는 경우 저용량 기능을 사용하고 정규화하지 않는 것과 동일하지 …

32 regression  machine-learning  optimization  regularization  polynomial 

참고 : L1에는 기능 선택 속성이 있음을 알고 있습니다. 기능 선택이 완전히 관련이 없을 때 선택할 것을 이해하려고합니다. 사용할 정규화 (L1 또는 L2)를 결정하는 방법은 무엇입니까? L1 / L2 정규화 각각의 장단점은 무엇입니까? 먼저 L1을 사용하여 기능을 선택하고 선택한 변수에 L2를 적용하는 것이 좋습니다?

30 regression  lasso  regularization  ridge-regression 

GLM과 Elastic Net을 사용하여 관련 기능을 선택하고 선형 회귀 모델을 작성하고 싶습니다 (예 : 예측과 이해 모두 상대적으로 적은 매개 변수로 남겨 두는 것이 좋습니다). 출력은 연속적입니다. 그것은이다 당 유전자 의 경우. 패키지 에 대해 읽었 지만 다음 단계에 대해 100 % 확신하지 못합니다.200002000020000505050glmnet CV를 수행 하여 입력 데이터가 주어지면 …

29 r  regularization  glmnet  elastic-net  underdetermined 

내가 사용 auto.arima () 의 기능을 예측 공변량의 다양한 ARMAX 모델에 맞게 패키지로 제공된다. 그러나 종종 선택할 변수가 많으며 대개 하위 집합으로 작동하는 최종 모델로 끝납니다. 나는 인간이고 편견의 영향을 받기 때문에 변수 선택에 대한 임시 기술을 좋아하지 않지만 교차 유효성 검사 시계열은 어렵 기 때문에 사용 가능한 변수의 다른 …

29 r  time-series  lasso  regularization  elastic-net 

βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ⁡‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+ XXX 그러나 왜 일반적으로 닫힌 양식 솔루션이 없는지 이해하지 못합니다. 차등을 사용하여 다음을 얻었습니다. ( XXX 는 n×pn×pn \times p 매트릭스입니다) = n ∑ i = 1 ( y i - X i β ) 2 + α p ∑ …

28 regression  lasso  regularization 

Lasso회귀 와 같은 전에 변수를 표준화 해야하는 세 가지 주요 이유를 읽었습니다 . 1) 계수의 해석 성. 2) 수축 후 계수 추정치의 상대적 크기에 따라 계수 중요도를 평가하는 기능. 3) 가로 채지 않아도됩니다. 그러나 가장 중요한 점이 궁금합니다. 표준화가 모형의 표본 일반화를 향상시킬 것이라고 생각할만한 이유가 있습니까? 또한 모델에 인터셉트가 …

28 normalization  lasso  standardization  regularization  shrinkage 

Zou & Hastie (2005) 최초의 탄성 그물 종이 탄성 그물을 통한 정규화 및 변수 선택 은 선형 회귀에 대한 탄성 그물 손실 함수를 도입했습니다 (여기서 모든 변수가 단위 분산에 중심을두고 스케일링되었다고 가정) : 이지만 "순진 탄력적 그물"이라고합니다. 그들은 이중 수축 (라소와 릿지)을 수행하고, 과도하게 수축하는 경향이 있으며, 다음과 같이 결과 …

27 regression  regularization  glmnet  elastic-net  shrinkage