LOOCV 공식 증명

James et al.의 통계 학습 에 이르기까지 Leave-One-Out Cross-Validation) 추정치는 여기서 입니다.

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {MSE}_{i}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

증거가 없으면 식 (5.2)에 최소 제곱 또는 다항식 회귀의 경우 (한 변수에 대한 회귀에 적용되는지 여부는 알 수 없음) 여기서 " 는 원래 최소 제곱 피팅 의 번째 적합 값 ( 이것이 의미 하는 바는 데이터 세트의 모든 점 을 사용한다는 의미는 무엇입니까?) 는

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{y_{i} - {\hat{y}}_{i}}{1 - h_{i}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{i} = \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

이것을 어떻게 증명할 수 있습니까?

내 시도 : 이지만 이것으로부터 (그리고 내가 기억한다면, 에 대한 은 단순한 선형 회귀에만 적용됩니다 ...), 나는 여기서 어떻게 진행 해야할지 모르겠습니다.

{\hat{y}}_{i} = β_{0} + \sum_{i = 1}^{k} β_{k} X_{k} + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

— 클라리넷
소스

당신의 방정식은 하나 이상의 것을 위해 를 사용하는 것처럼 보이 거나 매우 혼란 스럽습니다. 어느 쪽이든 추가 선명도가 좋을 것입니다.

i

$i$

— Glen_b -Reinstate 모니카

@Glen_b 어제 LOOCV에 대해 배웠으므로 일부 내용을 제대로 이해하지 못할 수도 있습니다. 내가 이해 한 바에 따르면, 와 같은 데이터 포인트 세트가 있습니다 . LOOCV를 사용하면 각 고정 (양수) 유효성 검사 세트 및 테스트 세트 는 각 대한 적합 모형을 생성하는 데 사용됩니다 . 예를 들어, 우리는 세 개의 데이터 포인트 과 함께 간단한 선형 회귀를 사용하여 모델을 적합 시킵니다. 우리는 (계속)

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— Clarinetist

@Glen_b 및 입니다. 의 점 을 사용하면 간단한 선형 회귀를 사용하여 됩니다. 그런 다음 을 유효성 검사 세트로 사용하여 를 계산하고 주어진 점을 사용하여 얻습니다. 이며 입니다. 좋아, 어쩌면 위첨자를 사용하는 것이 가장 좋은 생각은 아니었을 것입니다-나는 원래 게시물에서 이것을 바꿀 것입니다.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— Clarinetist

여기에 파생에 대한 몇 가지 강의 노트입니다 pages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...은

— 자비에 BOURRET Sicotte

회귀가 다항식인지 여부에 관계없이 여러 선형 회귀 분석의 결과를 보여 드리겠습니다 . 실제로 각 LOOCV 잔차가 (5.2)에서와 같이 LOOCV 오류를 얻을 수있는 것이 아니라 전체 회귀 분석에서 해당 레버리지 가중 잔차와 동일하다는 것을 보여주기 때문에 요청한 것보다 조금 더 많이 표시합니다. 평균의 각 항이 같지 않더라도 평균이 일치하는 다른 방법 일 수 있습니다. $X_t$

약간 적응 된 표기법을 자유롭게 사용할 수 있습니다.

먼저 여기서 는 모든 데이터를 사용한 추정치이며 는 추정치입니다. , 관측치 . 하자 행 벡터로 정의 할 수와 같은 그 . 는 잔차입니다.

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{u}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (A) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

증명은 다음 행렬 대수 결과를 사용합니다.

하자 하는 정칙 행렬 벡터와 스칼라. 경우 그 다음 $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{b^{'} A^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (A + λ b b^{'})^{- 1} & = A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

(B)의 증거는

\begin{aligned} {A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1}} (A + λ b b^{'}) = I . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

다음 결과는 (A)를 증명하는 데 도움이됩니다.

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

(C)의 증거 : (B) 우리는 , 따라서 $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

의 증거 (A) 지금 (C)에서 다음과 같이가 우리가 또는 따라서 여기서 마지막 평등은 (C)에서 따릅니다.

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {I_{k} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{u}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{u}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{u}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

이제 . 곱셈에 의한 (A)쪽으로 추가 으로 얻을 양측 순차에 를 사용으로 인한 잔류 ( ), 또는 $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{u}}_{(t)} = {\hat{u}}_{t} + (\frac{{\hat{u}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{u}}_{(t)} = \frac{{\hat{u}}_{t} (1 - h_{t}) + {\hat{u}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{u}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— 크리스토프 행크
소스

답변 에 대한 정의 가 없습니다. 이것이 행 제거 된 행렬 라고 가정합니다 .

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— mpiktas

또한 도 도움이 될 것입니다.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— mpiktas

@mpiktas, 예, 포인터 주셔서 감사합니다. 첫 번째 의견을 고려하여 편집했습니다. 두 번째가 정확히 어디에서 도움이 될까요? 아니면 당신의 의견에 남겨주세요?

— Christoph Hanck

(C)의 증거를 시작할 때 . 그것은 좋은 트릭이지만 우연한 독자가 그것을 알고 있다고 의심합니다.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— mpiktas

2 년 후 ... 저는이 대답에 대해 더 감사합니다. 이제 대학원 수준의 선형 모델 시퀀스를 살펴 보았습니다. 이 새로운 관점으로이 자료를 다시 배우고 있습니다. 이 답변에서 가지고있는 것과 같은 파생을 통해 제안 된 참고 문헌 (교과서?)이 자세히 있습니까?

— Clarinetist