능선 회귀는 어떤 조건에서 보통 최소 제곱 회귀에 비해 개선을 제공 할 수 있습니까?

릿지 회귀 추정 파라미터 $\boldsymbol \beta$ 선형 모델에서 $\mathbf y = \mathbf X \boldsymbol \beta$ 에 의한 정규화 파라미터이다. 상관 된 예측 변수가 많은 경우 OLS 회귀 ( ) 보다 성능이 더 우수하다는 것이 잘 알려져 있습니다.

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

릿지 회귀 실존 정리가 있다고 항상 존재하는 파라미터 의 평균 제곱 오차되도록 OLS 추정치의 평균 제곱 오차보다 확실히 작고 . 다시 말해, 최적의 값 은 항상 0이 아닙니다. 이것은 1970 년 Hoerl and Kennard 에서 처음으로 입증되었으며 온라인에서 찾은 많은 강의 노트에서 반복됩니다 (예 : 여기 및 여기 ). 내 질문은이 정리의 가정에 관한 것입니다. $\lambda^* > 0$ $\hat{\boldsymbol \beta}_\lambda$ $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ $\lambda$

공분산 행렬 에 대한 가정이 있습니까? $\mathbf X^\top \mathbf X$
차원성에 대한 가정이 있습니까? $\mathbf X$

특히, 예측 변수가 직교 인 경우 (즉, 가 대각선 임) 또는 ? 그리고 하나 또는 두 개의 예측 변수 (예 : 하나의 예측 변수 및 절편) 만있는 경우에도 여전히 사실입니까? $\mathbf X^\top \mathbf X$ $\mathbf X^\top \mathbf X=\mathbf I$

정리가 그러한 가정을하지 않고 이러한 경우에도 여전히 유효하다면, 왜 회귀 회귀가 상관 예측 변수의 경우에만 권장되고 단순한 (즉, 다중이 아닌) 회귀에 권장되지 않는가?

이것은 수축에 대한 통합 견해에 대한 나의 질문과 관련이 있습니다. Stein의 역설, 능선 회귀 및 혼합 모델의 임의 효과 사이의 관계는 무엇입니까? 그러나 지금까지는이 점을 명확히하는 대답이 없습니다.

regression ridge-regression shrinkage

— 아메바의 말에 따르면 복원 모니카
소스

마지막 질문을 제외한 모든 내용은 Hoerl & Kennard 논문, 특히 소개의 첫 문장과 결론의 첫 문장에서 직접 다루어집니다. 마지막 벡터는 상수 벡터와 단일 예측 변수 사이의 공분산이 항상 0이라는 점에 의해 답할 수 있습니다. 이는 표준 방식으로

를

행렬 로 줄일 수 있게합니다 .

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

감사합니다, @whuber. Hoerl & Kennard 논문이 내 질문 (적어도 기술적 인 질문)에 답한다고 믿습니다. 증거를 따르고 가정을 확인할 수 있어야합니다 (아직은하지 않았습니다). 그러나 나는 당신이 말하는 문장에 완전히 확신하지 않습니다. 인트로의 첫 문장은 내 질문과 어떤 관련이 있습니까? 결론의 첫 문장은

가 균일 한 스펙트럼 (예 :

과 같음)을

면 정리가 적용되지 않음을 시사 합니다 . 그러나 증거에 앞서이 가정이 명시 적으로 언급되어 있지 않기 때문에 100 % 확신 할 수 없습니다.

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— amoeba는 Reinstate Monica가

질문의 종류에 의해 요구 될 수있는 봐 높은 대표 사용자 (일반적으로 단지 누가 대답 을) (마찬가지로 다른 연결 질문에 대한 나를 보내신 것을 여기 stats.stackexchange.com/questions/122062/... !

— javadba

1과 2에 대한 대답은 '아니오'이지만 존재 정리를 해석 할 때는주의가 필요합니다.

릿지 추정기의 변화

하자 페널티 아래 능선 추정 될 , 및하자 모델에 대한 true 매개 변수가 될 . 를 의 고유 값 이라고합시다 . Hoerl & Kennard 식 4.2-4.5에서 위험 (예상되는 오류 기준)은 다음과 같습니다. $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

어디까지 I는 말할 수 그들은은의 내부 곱의 분산에 대한 해석을 가지고있지만

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$ 편견의 내부 산물입니다.

$X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$ , we conclude that there is some

k^{*} > 0

$k^*>0$ such that

R (k^{*}) < R (0)

$R(k^*)<R(0)$ .

The authors remark that orthogonality is the best that you can hope for in terms of the risk at $k=0$ , and that as the condition number of $X^T X$ increases, $\lim_{k \rightarrow 0^+} R^\prime (k)$ approaches $- \infty$ .

Comment

There appears to be a paradox here, in that if $p=1$ and $X$ is constant, then we are just estimating the mean of a sequence of Normal $(\beta, \sigma^2)$ variables, and we know the the vanilla unbiased estimate is admissible in this case. This is resolved by noticing that the above reasoning merely provides that a minimizing value of $k$ exists for fixed $\beta^T \beta$ . But for any $k$ , we can make the risk explode by making $\beta^T \beta$ large, so this argument alone does not show admissibility for the ridge estimate.

Why is ridge regression usually recommended only in the case of correlated predictors?

H&K's risk derivation shows that if we think that $\beta ^T \beta$ is small, and if the design $X^T X$ is nearly-singular, then we can achieve large reductions in the risk of the estimate. I think ridge regression isn't used ubiquitously because the OLS estimate is a safe default, and that the invariance and unbiasedness properties are attractive. When it fails, it fails honestly--your covariance matrix explodes. There is also perhaps a philosophical/inferential point, that if your design is nearly singular, and you have observational data, then the interpretation of $\beta$ as giving changes in $E Y$ for unit changes in $X$ is suspect--the large covariance matrix is a symptom of that.

But if your goal is solely prediction, the inferential concerns no longer hold, and you have a strong argument for using some sort of shrinkage estimator.

— Andrew M
소스

Wow, thanks! Let me check my understanding of your "Comment" section: for any given

β

$\beta$ , an optimal

k

$k$ is non-zero, but its value is different for different betas, and no fixed

k

$k$ can beat

k = 0

$k=0$ for all betas, which is what is needed for admissibility. Correct? Apart from that, could you comment on my general question: [If the theorem makes no such assumptions, then] why is ridge regression usually recommended only for correlated predictors, and never recommended for simple (not multiple) regression? Is it because the positive effect is empirically known to be too small to bother?

— amoeba says Reinstate Monica

H&K consistently assume

X^{'} X

$X^\prime X$ is of full rank. By stating that the answer to #1 is "no," are you claiming their results continue to be true when it is not?

— whuber

@whuber: Central to their derivation of the risk is that the ridge estimate

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$ , where

\hat{β}

$\hat{\beta}$ is the OLS estimate and

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$ . This clearly cannot hold as such when

X^{T} X

$X^TX$ is rank deficient. But the OLS estimate doesn't exist--so perhaps any estimate with finite risk (take

k

$k$ large enough and you'll get

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$ , with risk

β^{T} β

$\beta^T \beta$ ) is better than an estimator that doesn't exist? As far as if the risk derivation still holds: I'm not sure. A different proof would be needed.

— Andrew M

@amoeba: yes, your restatement seems correct. To dominate the OLS estimator, we need some sort of adaptive procedure, in which

λ

$\lambda$ is a function of the data. On your other thread, Xi'an had a comment about adaptive ridge estimates, so that might be a place to look. RE: ridge estimates for orthogonal designs--I have added another comment as far as the guidance I'd take from their proof.

— Andrew M