능선 회귀와 PCA 회귀의 관계

나는 (와 능선 회귀 사이의 연결 웹에서 읽기 어딘가를 가진 기억 $\ell_2$ 와 PCA 회귀 정규화가) 사용하는 동안 $\ell_2$ hyperparameter의와 -regularized 회귀 분석을 $\lambda$ , 경우 $\lambda \to 0$ , 다음 회귀와 PC 변수를 제거하는 것과 같습니다 가장 작은 고유 값.

왜 이것이 사실입니까?
이것이 최적화 절차와 관련이 있습니까? 순진하게, 나는 그것이 OLS와 동등한 것으로 기대했을 것입니다.
아무도 이것에 대한 언급이 있습니까?

— 호세 G
소스

귀하의 진술에서 PCA와 회귀가 어떻게 연결되어 있는지 더 명확하게 설명해 주시겠습니까? 회귀 분석은 독립 변수와 종속되는 반면 PCA에서는 그 어떤 것도 발생하지 않습니다. 그렇다면 PCA를 적용 할 변수는 무엇입니까? 회귀와 관련이 거의없는 것은 독립 변수 일 수 없습니다. 그러나 모든 변수에 적용되는 경우 고유 벡터는 모두 선형 조합입니다. 그것은 아마도 제거하기 위해 무엇을 의미 할 수 있는 가 종속 변수를 포함하기 때문에, 데이터 세트에서 같은 구성 요소를?

— whuber

매우 작은 정규화 페널티를 사용하면 L2 정규 회귀 분석이 가장 작은 고유 값을 갖는 변수를 제거한다는 것입니다. 따라서 설계 행렬에서 SVD를 수행하고 고유 값이 가장 작은 변수를 제거하는 것은 "부드러운"정규화 페널티가있는 회귀에 해당합니다. 이것은 내가 찾은 가장 가까운 설명 입니다. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

귀하의 의견은 귀하의 의견에서 말하는 것과 반대되는 것을 보여줍니다 : 작은

경우 결과에는 거의 변화가 없습니다. 아무것도 제거되지 않습니다. 실제로, 여러 슬라이드는

불이익 회귀 (예상치가

으로 축소됨 )와 "PCA 회귀"(가장 작은 구성 요소가 완전히 제거됨) 의 차이를 지적하는 것을 목표로하는 것으로 보입니다 . 일부 상황).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

mm .. 다른 참조를 찾았습니다. statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf 슬라이드에서 "

및 주요 구성 요소" 슬라이드에서 릿지 회귀는 큰 dj * 한숨 *

y^{r i d g e}

$y^{ridge}$

— Jose G

p. 그 최신 참조 중 14 개가 귀하의 질문에 명시 적으로 답변합니까?

— whuber

답변:

하자 센터링 될 예측 매트릭스의 특이 값 분해 고려 와 대각 성분을 가진 대각 행렬 인 . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

정규 방정식의 피팅 값 (OLS) 회귀 주어진다 리지 회귀 피팅 값이 주어진다

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

PCA와 회귀 (PCR)의 피팅 값

성분이 주어진다

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ I)^{- 1} X^{⊤} y = U d i a g {\frac{s_{i}^{2}}{s_{i}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

거기

뒤에 0 것.

{\hat{y}}_{P C R} = X_{P C A} β_{P C R} = U d i a g {1, \dots, 1, 0, \dots 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

여기에서 우리는 그것을 볼 수 있습니다 :

만약 다음 . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
이는 융기 회귀가 PCR의 "부드러운 버전"으로 볼 수 있음을 의미합니다.

$s_i$ $\mathbf X$
릿지 회귀는 실제로 성능이 향상되는 경향이 있습니다 (예 : 교차 검증 된 성능이 더 높음).
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

한 가지 좋은 참고 자료는 통계 학습의 요소 , 섹션 3.4.1 "교차 회귀"입니다.

이 스레드를 참조하십시오 : 회귀에서의 릿지 정규화 해석 , 특히 @BrianBorchers의 답변.

— 아메바의 말에 따르면 복원 모니카
소스

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

이것은 아름답다.

— xxx222

통계 학습의 요소는이 연결에 대해 큰 토론을합니다.

이 연결과 논리를 해석하는 방법은 다음과 같습니다.

PCA는 피처 변수의 선형 조합으로, 새로운 공간에서 설명하는 데이터의 분산을 최대화하려고합니다.
다중 공선 성 (또는 데이터 행보다 많은 예측 변수)이있는 데이터는 전체 순위가없는 공분산 행렬로 이어집니다.
이 공분산 행렬을 사용하면 최소 제곱 솔루션을 결정하기 위해 반전 할 수 없습니다. 이로 인해 최소 제곱 계수의 수치 근사가 무한대로 증가합니다.
릿지 회귀는 LS 계수의 행렬 반전 및 수렴을 허용하기 위해 공분산 행렬에 람다 페널티를 도입합니다.

PCA 연결은 Ridge Regression이 다중 공선 성이 발생하는 위치를 판별하기 위해 피처의 선형 조합을 계산합니다. 가장 작은 분산을 갖는 피처의 선형 조합 (원리 성분 분석) (따라서 PCA에서 더 작은 특이 값과 더 작은 고유 값)이 가장 어려운 처벌을받습니다.

이런 식으로 생각하십시오. 가장 작은 분산을 갖는 피처의 선형 조합에 대해, 우리는 가장 유사한 피처를 발견하여 다중 공선 성을 유발합니다. Ridge는이 선형 조합이 설명하는 방향에 따라 기능 세트를 줄이지 않으므로 해당 방향에 해당하는 원래 기능에 가장 큰 불이익이 가해집니다.

— MDornbos
소스

선형 방정식을 고려하십시오

엑스 β = 와이,

$\mathbf X \beta = \mathbf y\,,$ 그리고 SVD

X

$\mathbf X$ ,

엑스 = 유 에스 V^{티},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$ 어디

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$ 특이 값의 대각 행렬입니다.

보통 최소 제곱은 모수 벡터를 결정합니다 $\beta$ 같이

β_{영형 엘 에스} = V {에스}^{- 1} 유^{티}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$ 그러나이 접근 방식은 하나의 특이 값이 0이 되 자마자 실패합니다 (반전이 존재하지 않음). 또한, 아니더라도

s_{i}

$s_i$ 은 0으로, 숫자 적으로 작은 특이 값으로 인해 행렬이 잘못 조정되고 오류에 매우 취약한 해가 될 수 있습니다.

Ridge regression and PCA present two methods to avoid these problems. Ridge regression replaces $\mathbf S^{-1}$ in the above equation for $\beta$ by

\begin{aligned} S_{ridge}^{- 1} & = diag (\frac{s_{i}}{s_{i}^{2} + α}), \\ β_{ridge} & = V S_{ridge}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA replaces $\mathbf S^{-1}$ by

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{i}} θ (s_{i} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$ wehre

θ

$\theta$ is the step function, and

γ

$\gamma$ is the threshold parameter.

Both methods thus weaken the impact of subspaces corresponding to small values. PCA does that in a hard way, while the ridge is a smoother approach.

More abstractly, feel free to come up with your own regularization scheme

S_{myReg}^{- 1} = diag (R (s_{i})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$ where

R (x)

$R(x)$ is a function that should approach zero for

x \to 0

$x\rightarrow 0$ and

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$ for

x

$x$ large. But remember, there's no free lunch.

— davidhigh
소스