«ridge-regression» 태그된 질문

저는 특히 Andrew Ng의 기계 학습 과정을 통해 소프트웨어 엔지니어 학습 기계 학습 입니다 . 정규화로 선형 회귀를 연구하는 동안 혼란스러운 용어를 발견했습니다. L1 정규화 또는 L2 정규화를 사용한 회귀 올가미 릿지 회귀 그래서 내 질문 : L1 정규화를 사용한 회귀는 LASSO와 정확히 동일합니까? L2 정규화를 사용한 회귀는 릿지 회귀와 …

33 regression  terminology  lasso  regularization  ridge-regression 

능선, LASSO 및 엘라스틱 넷 정규화 방법은 어떻게 비교됩니까? 각각의 장단점은 무엇입니까? 좋은 기술 논문이나 강의 노트도 감사하겠습니다.

33 references  lasso  regularization  ridge-regression  elastic-net 

Tikhonov 정규화와 능선 회귀는 종종 같은 것처럼 사용되는 용어입니다. 차이점이 무엇인지 정확하게 지정할 수 있습니까?

32 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

참고 : L1에는 기능 선택 속성이 있음을 알고 있습니다. 기능 선택이 완전히 관련이 없을 때 선택할 것을 이해하려고합니다. 사용할 정규화 (L1 또는 L2)를 결정하는 방법은 무엇입니까? L1 / L2 정규화 각각의 장단점은 무엇입니까? 먼저 L1을 사용하여 기능을 선택하고 선택한 변수에 L2를 적용하는 것이 좋습니다?

30 regression  lasso  regularization  ridge-regression 

능선 회귀 추정치를 계산하기 위해 glmnet을 사용하고 있습니다. 나는 glmnet이 실제로 내가 생각하는 것을하고 있다는 것을 의심하게 만드는 몇 가지 결과를 얻었습니다. 이를 확인하기 위해 solve에서 수행 한 능선 회귀와 glmnet의 결과를 비교하는 간단한 R 스크립트를 작성했습니다. n <- 1000 p. <- 100 X. <- matrix(rnorm(n*p,0,1),n,p) beta <- rnorm(p,0,1) Y …

28 r  ridge-regression  glmnet 

최소 제곱 컨텍스트에서 능선 벌금에 관한 몇 가지 질문이 있습니다. βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1)이 식은 X의 공분산 행렬이 대각 행렬로 축소되었음을 나타냅니다. 즉, 변수가 절차 전에 표준화되었다고 가정하면 입력 변수 간의 상관 관계가 낮아집니다. 이 해석이 맞습니까? 2) 수축 적용 인 경우 정규화를 통해 람다를 어떻게 든 …

25 regression  pca  regularization  ridge-regression 

그래서 나는 어느 중앙 측정치 L1 (즉, 올가미)와 L2 (즉, 능선 회귀)가 추정되는지에 대한 질문을 받았다. 답은 L1 = 중간 값이고 L2 = 평균입니다. 이것에 대한 직관적 인 추론이 있습니까? 아니면 대수적으로 결정해야합니까? 그렇다면 어떻게해야합니까?

24 lasso  regularization  loss-functions  ridge-regression 

LASSO ( ) 및 Ridge ( )와 같은 일부 페널티 함수 및 근사값은 잘 연구 되었으며 회귀 분석에서 이러한 점을 비교하는 방법에 대해 살펴 봅니다.엘1L1L_1엘2L2L_2 브리지 페널티에 대해 읽었습니다. 이는 일반 페널티입니다. 이것을 \ gamma = 1 인 LASSO 와 \ gamma = 2 인 Ridge와 비교 하여 특별한 경우를 …

22 regression  lasso  regularization  ridge-regression  elastic-net 

에 단위 제곱합 (즉, 단위 분산) 이 있어야한다는 추가 제약 조건으로 능선 회귀를 고려하십시오 . 필요한 경우 에는 단위 제곱의 합도 있다고 가정 할 수 있습니다. y를y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. \ lambda \ to \ infty 일 때 …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

정규화 된 추정을 사용하여 일부 고차원 데이터에서 많은 수의 모수를 추정하려고한다고 가정하십시오. 정규화 도구는 추정치에 약간의 편견을 제공하지만 분산 감소가이를 보완하는 것 이상으로 인해 여전히 좋은 절충점이 될 수 있습니다. 신뢰 구간을 추정하려고 할 때 문제가 발생합니다 (예 : Laplace 근사 또는 부트 스트랩 사용). 특히, 추정치의 치우침으로 인해 신뢰 …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

선형 모델 의 경우 수축 항은 항상 입니다.P ( β )y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) 바이어스 (절편) 항 축소하지 않는 이유는 무엇입니까 ? 신경망 모델에서 바이어스 용어를 줄여야합니까?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

다중 회귀 분석을위한 표준 모델 고려 때문에 정상, homoscedasticity 모든 홀드 오류를 uncorrelatedness.와이= Xβ+ ε와이=엑스β+εY=X\beta+\varepsilonε ∼ N( 0 , σ2나는엔)ε∼엔(0,σ2나는엔)\varepsilon \sim \mathcal N(0, \sigma^2I_n) 대각선의 모든 요소에 동일한 소량을 추가하여 능선 회귀를 수행한다고 가정합니다 .엑스엑스X βr i d g e= [ X'엑스+ k I]− 1엑스'와이β아르 자형나는디지이자형=[엑스'엑스+케이나는]−1엑스'와이\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y 는 의 편향 추정기 …

21 regression  assumptions  ridge-regression 

릿지 회귀가 어떻게 계수를 기하학적으로 0으로 축소하는지 이해했습니다. 또한 특수한 "정상적인 경우"에서이를 증명하는 방법을 알고 있지만 "스펙트럼 분해"를 통해 일반적인 경우에 어떻게 작동하는지 혼동됩니다.

20 regression  multiple-regression  regularization  ridge-regression  svd 

나는 R 패키지를 사용하고 범 나는 사람이 중요하다있는 예측과 약간의 지식을 많이 가지고 어디에 데이터 집합에 대한 계수의 수축 추정치를 얻을 수 있습니다. 튜닝 매개 변수 L1 및 L2를 선택하고 계수에 만족 한 후 R- 제곱과 같은 모형 적합도를 통계적으로 알 수있는 방법이 있습니까? 또한, 모델의 전체적인 의미를 테스트하는 데 …

20 regression  lasso  stepwise-regression  ridge-regression 

나는 (와 능선 회귀 사이의 연결 웹에서 읽기 어딘가를 가진 기억 ℓ2ℓ2\ell_2 와 PCA 회귀 정규화가) 사용하는 동안 ℓ2ℓ2\ell_2 hyperparameter의와 -regularized 회귀 분석을 λλ\lambda , 경우 λ→0λ→0\lambda \to 0 , 다음 회귀와 PC 변수를 제거하는 것과 같습니다 가장 작은 고유 값. 왜 이것이 사실입니까? 이것이 최적화 절차와 관련이 있습니까? 순진하게, …

19 regression  pca  regularization  ridge-regression