선형 회귀 경우에만 알고

라고 가정하십시오 $X\beta =Y$ .

우리는 모르는 $Y$ 정확히 각 예측, 만의 상관 관계 $X^\mathrm{t}Y$ .

통상 최소 제곱 (OLS) 용액은 $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$ 및 문제는 없다.

그러나 $X^\mathrm{t}X$ 가 단수 (다중 공선 성)에 가깝고 최적의 능선 모수를 추정해야한다고 가정합니다. 모든 방법에는 정확한 값이 필요한 것 같습니다 $Y$ .

만 $X^\mathrm{t}Y$ 알려진 대안 방법 이 있습니까?

regression multicollinearity

— 뾰족한 모서리
소스

흥미로운 질문입니다. 아마도 어떤 종류의 EM 알고리즘이 작동 할 것입니다.

— 확률 론적

이해가 안됩니다. 최적의 능선 매개 변수를 추정하기 위해 교차 유효성 검사를 사용할 수 없습니까?

— Pardis

@Pardis : 질문에 손실 기능이 없으므로 최적의 의미를 알 수 없습니다 . 손실 함수가 MSE 인 경우 우리가 겪는 문제를 볼 수 있습니까?

— 추기경

@ JohnSmith : 내가 운전했던 지점을 언급하고 있습니다. "최적"을 측정하는 방법에 대한 표시는 없습니다. 효과적으로하고있는 것은 예측 또는 적합의 "품질"을 측정하기 위해 다른 메트릭 (거리 기능)을 도입하는 것입니다. 매우 멀어지기 위해서는 OP의 세부 사항이 더 필요하다고 생각합니다.

— 추기경

@Pardis : 예상 한대로 추정값을 찾는 것은 문제가되지 않습니다. :) 그러나 크로스 밸리데이션을하기로 결정했다면 샘플 외부 MSE, 즉 각 반복마다 왼쪽 폴드를 어떻게 추정 할 것입니까? :)

— 추기경

답변:

이것은 흥미로운 질문입니다. 놀랍게도 특정 가정 하에서 무언가를 수행하는 것이 가능하지만 잔차 분산에 대한 정보가 손실 될 수 있습니다. 얼마나 손실되는지에 달려 있습니다. $X$

하자 다음 특이 값 분해 고려 의 와 직교 열을 가진 행렬 대각 행렬 긍정적 특이 값으로 대각선에서 및 a 직교 행렬. 그런 다음 의 열은 의 열 공간에 대한 직교 정규 기저를 형성 하고 에서이 열 공간 에 를 투영하기위한 계수의 벡터입니다 . $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ 열 기준. 공식 에서 는 와 대한 지식 만으로 계산할 수 있습니다.

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

주어진 대한 능형 회귀 예측 변수는 로 계산 될 수 있으므로 열 기준 릿지 회귀 예측 변수의 계수 는 이제 는 차원 평균 및 공분산 행렬 갖는 분포 가정을합니다 . 이어서 갖는 차원 평균 및 공분산 행렬 . 우리가 독립을 상상한다면 $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ 와 같은 분포를 (조건에서 모든 이에 관해서부터) 대응하는 동일한 갖는다 분포하고 독립적이며 여기에서 세 번째 평등은 및 직교성이 뒤 따릅니다. 네 번째는

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ 에는 정규 직교 열이 있습니다. 수량 은 정보를 얻을 수없는 오류이지만 에도 의존하지 않습니다 . 왼쪽의 예측 오차를 최소화하려면 오른쪽의 두 번째 항을 최소화해야합니다.

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

표준 계산으로 여기서 는 매개 변수 하여 능선 회귀에 대한 유효 자유도라고합니다 . 의 바이어스되지 않은 추정량 은

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

이를 의 (비 편향) 추정값 와 결합합니다. 우리가 알고 있다면 최소화해야합니다. 우리가 알고있는 경우에 분명히,이 경우에만 수행 할 수 있습니다 또는 합리적인 추측이나 추정이 .

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

추정하는 것이 더 문제가 될 수 있습니다. 또한 표시 할 수있다 따라서 너무 작게 선택 하여 제곱 바이어스를 무시할 수 있다면 를 로 추정 할 수 있습니다. 이것이 작동한다면 많이 의존합니다 . $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

자세한 내용은 3.4.1 장 및 ESL 7 장 또는 GAM 2 장을 참조하십시오 .

— NRH
소스

문제에서와 같이 를 정의 하고 다양한 매개 변수 대해 를 정의 하고 샘플 레이블의 를 설정합니다 . 그런 다음 는 계산할 수 없으므로 알 수없는 모두 규범. $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

이는 다음 알고리즘으로 이어집니다.

훈련 세트 중 일부를 선택하기 위해 를 계산합니다 . $e(λ,K)$ $K$
결과를 의 함수로 합니다. $\lambda$
플롯이 가장 평평한 값을 승인하십시오 . $\lambda$
사용 최종 추정치로서. $β^*=[X^TX+λI]^{−1}X^TY$

— 아놀드 노이 마이어
소스

나는 "줄거리가 가장 평평한 곳"이 대략 0과 같이 매우 작을 것이라고 추측하고있다.

λ

$\lambda$

— jbowman

@jbowman : 문제가 잘 조정되어 있고 정규화가 필요하지 않은 경우에만 발생하며, 이면 충분합니다. 잘못 조정 된 경우 외부의 항목에 대한 예측 은 과적 합으로 인해 좋지 않으므로 가 커집니다.

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— Arnold Neumaier

@ArnoldNeumaier : 는 계산할 수 없습니다. 각 예측 변수와의 상관 관계 만 알고 있습니다. 는 "Y 도메인"이 아닌 "예측 자 도메인"에 있습니다 (N이 표본 크기이고 p가 예측 자 수인 경우 각 예측 변수마다 하나씩 p 값만 있음).

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Jag

@Jag : 그러면 를 선택하기위한 정보가 충분하지 않습니다 . 그러나 는 어떻게 든 수집되었습니다. 수집 중에 샘플을 배치 로 분할하고 각 배치마다 개별적으로 조립하는 경우 교차 검증을 위해 각 배치를 하나씩 예약 할 수 있습니다.

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Arnold Neumaier 2016 년

@ArnoldNeumaier : 는 외부에서 제공되며 수집되지 않습니다.

X^{T} Y

$X^TY$

— Jag