«ridge-regression» 태그된 질문

계수를 0으로 축소하는 회귀 모형의 정규화 방법입니다.

3
올가미 대 릿지를 언제 사용해야합니까?
많은 매개 변수를 추정하고 다른 매개 변수에 비해 효과가 거의 없다고 생각하기 때문에 그 중 일부에 불이익을 가하고 싶다고 가정 해보십시오. 어떤 벌칙을 사용할지 어떻게 결정합니까? 능선 회귀는 언제 더 적절합니까? 올가미를 언제 사용해야합니까?



2
릿지 회귀가 왜“리지”라고 불리는가, 왜 필요하며,
릿지 회귀 계수 추정치 β R은 을 최소화 값인β^아르 자형β^R\hat{\beta}^R RSS + λ ∑j = 1피β2제이.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. 내 질문은 : 경우 , 우리는 표현이 위의 일반적인 RSS로 줄일 것을 알 수있다. 만약 λ → ∞ 라면 ? 계수의 동작에 대한 교과서 설명을 이해하지 못합니다.λ = 0λ=0\lambda = …

5
수축에 대한 통일 된 견해 : Stein의 역설, 능선 회귀 및 혼합 모형의 임의 효과 간의 관계 (있는 경우)는 무엇입니까?
다음 세 가지 현상을 고려하십시오. Stein의 역설 : 다변량 정규 분포에서 얻은 일부 데이터를 감안할 때 표본 평균은 실제 평균을 잘 추정하지 못합니다. 표본 평균의 모든 좌표를 0 (또는 평균을 향하여 또는 내가 올바르게 이해하면 실제로는 임의의 값)으로 축소하면 평균 제곱 오차가 낮은 추정값을 얻을 수 있습니다.Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge …

5
수축 방법은 어떤 문제를 해결합니까?
연말 연시에는 통계 학습의 요소 (Elements of Statistical Learning)로 불 옆에서 몸을 구부릴 수있는 기회가 주어졌습니다 . (자주 주의적) 계량 경제학 관점에서 볼 때, 능선 회귀, 올가미 및 최소 각도 회귀 (LAR)와 같은 수축 방법의 사용을 파악하는 데 어려움을 겪고 있습니다. 일반적으로 매개 변수 추정 자체에 편견이 있거나 최소한 일관성을 …

3
대각선에 상수를 추가하여 릿지 추정치가 OLS보다 나은 이유는 무엇입니까?
나는 능선 회귀 추정치는 것을 이해 의 크기에 잔류 제곱의 합 페널티 킥을 최소화βββ\betaββ\beta βr i d g e= ( λ I디+ X'엑스)− 1엑스'와이= 아르 기민[ RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 그러나, 나는 완전히 그 사실의 중요성을 이해하지 못하는 β산등성이βridge\beta_\text{ridge} 다릅니다 βOLSβOLS\beta_\text{OLS} 만의 …

2
수축이 작동하는 이유는 무엇입니까?
모형 선택의 문제를 해결하기 위해 많은 방법 (LASSO, 능선 회귀 등)이 예측 변수의 계수를 0으로 줄입니다. 왜 이것이 예측 능력을 향상시키는 지에 대한 직관적 인 설명을 찾고 있습니다. 변수의 실제 효과가 실제로 매우 큰 경우, 왜 매개 변수를 축소해도 예측이 더 나 빠지지 않습니까?

6
능선 회귀는 높은 차원에서 쓸모가 없습니까 ( )? OLS가 어떻게 과적 합에 실패 할 수 있습니까?
예측 변수 및 표본 크기 과 함께 좋은 오래된 회귀 문제를 고려하십시오 . 일반적인 지혜는 OLS 추정기가 능선 회귀 추정기에 의해 초과 적합하고 일반적으로 능가한다는 것입니다.최적의 정규화 매개 변수 를 찾기 위해 교차 유효성 검사를 사용하는 것이 표준 입니다. 여기에서는 10 배 CV를 사용합니다. 설명 업데이트 : 일 때 "OLS …

5
능선 회귀 솔루션을 도출하는 방법은 무엇입니까?
능선 회귀에 대한 솔루션 도출에 문제가 있습니다. 정규화 용어가없는 회귀 솔루션을 알고 있습니다. β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. 그러나 L2 항 를 비용 함수에 추가 한 후 솔루션은 어떻게됩니까?λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.


1
중첩 교차 검증이 실제로 필요한 시점은 언제이며 실질적인 차이를 만들 수 있습니까?
교차 검증을 사용하여 모델 선택 (예 : 하이퍼 파라미터 튜닝)을 수행하고 최상의 모델의 성능을 평가하려면 중첩 교차 검증을 사용해야 합니다 . 외부 루프는 모델의 성능을 평가하는 것이고 내부 루프는 최상의 모델을 선택하는 것입니다. 모델은 각 외부 훈련 세트 (내부 CV 루프 사용)에서 선택되며 해당 성능은 해당 외부 시험 세트에서 측정됩니다. …

3
> 50K 변수를 사용하여 올가미 또는 능선 회귀에서 수축 매개 변수를 추정하는 방법은 무엇입니까?
변수가 50,000 개 이상인 모델에 올가미 또는 능선 회귀를 사용하고 싶습니다. R의 소프트웨어 패키지를 사용하고 싶습니다. 수축 매개 변수 ( )를 어떻게 추정 할 수 있습니까?λλ\lambda 편집 : 여기에 내가 지적한 요점이있다 : set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace = T) X <- matrix(Xv, …

2
예측 만 관심이있는 경우 왜 능선 위에 올가미를 사용합니까?
통계 학습 입문의 223 페이지 에서 저자는 능선 회귀와 올가미의 차이점을 요약합니다. 그것들은 "lasso가 치우침, 분산 및 MSE 측면에서 능선 회귀를 능가하는 경향이있는"예를 보여줍니다 (그림 6.9). 올가미가 바람직한 이유를 이해합니다. 많은 계수를 0으로 축소하여 단순하고 해석 가능한 모델로 스파 스 솔루션을 생성합니다. 그러나 예측 만 관심이있을 때 능선을 능가하는 방법을 …


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.