교차 검증 (CV) 및 일반 교차 검증 (GCV) 통계

선형 검증 과 관련된 교차 검증 (CV) 통계 및 일반 교차 검증 (GCV) 통계에 대해 상충되는 정의를 찾았습니다 ( $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ 정상적인 오류 벡터 포함). $\boldsymbol\varepsilon$ ).

한편 Golub, Heath & Wahba는 GCV 추정치 $\hat{\lambda}$ 를 (p. 216)으로 정의합니다 .

$V\left(\lambda\right)$ 에 의해 주어진 의 최소화 기
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ 여기서 $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

반면 Efron은 $V\left(0\right)$ (24 페이지 와 동일한 개념을 정의 하지만이 개념을 Craven & Wahba에 도입 한 것으로 정의합니다 (377 페이지). Golub, Heath & Wahba의 위에서 언급 한 정의.

이것은 이 $0$ 최소화 한다는 것을 의미합니까 ? $V\left(\lambda\right)$

마찬가지로 Golub, Heath & Wahba는 의 CV 추정값 $\lambda$ (p. 217)을

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

여기서 $\beta^{\left(k\right)}\left(\lambda\right)$ 는 추정치입니다.

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

의 $\beta$ 와 $k$ 번째 데이터 포인트 $y_i$ 생략한다.

저자는 CV 추정치 (PRESS 추정치라고도 함)를 Allen ( "Allen 's PRESS", ibid.)에 도입 한 것으로 알렌의 논문에서 PRESS 추정치는 $n P\left(0\right)$ (Efron의 기사에서는 $P\left(0\right)$ (p. 24)로 정의 됨).

다시 말하지만, $0$ 최소화 한다는 의미 입니까? $P\left(\lambda\right)$

Allen, David M. 변수 선택과 데이터 인수 간의 관계 및 예측 방법. 테크노 메트릭스, Vol. 16, No. 1 (1974 년 2 월), pp. 125-127
크레이븐, 피터와 와바, 그레이스 스플라인 기능으로 노이즈 데이터 스무딩. Numerische Mathematik 31, (1979), 377-403 쪽
에프론, 브래들리 로지스틱 회귀 분석의 명백한 오류율은 얼마나 편향됩니까? 기술 보고서 번호 232. 스탠포드 대학교 통계학과 (1985 년 4 월)
Golub, Gene H., Heath 및 Grace Wahba. 좋은 능선 매개 변수를 선택하기위한 방법으로서 일반화 된 교차 검증. 테크노 메트릭스, Vol. 21, No. 2 (1979 년 5 월), 215-223면

cross-validation

— 에반 아드
소스

이것이 능선 회귀와 최소 제곱으로 적합하다는 언급을 잊었습니까? 맨 아래에 논문 제목을 볼 때까지 가 무엇인지에 대해 완전히 혼란 스러웠습니다

λ

$\lambda$

— shadowtalker

제목에서 일반화 교차 검증을 제거하고 제목에 릿지 회귀를 추가하십시오. 다음은 RidgeCV ()의 GridSearchCV () 기본값입니다.

— HoofarLotusX

나는 그 의견이 대답을 가리키고 있다고 대답하지만 무뚝뚝하게 진술하지는 않습니다. 그래서 나는 무딘거야.

여기에 인용 된 V 공식은 선형 능선 회귀에 고유합니다. 그들은 그것이 PRESS와 동일하다고 말하지 않고, PRESS의 회전 불변 버전이라고 말합니다. "회전 불변"부분이 이것을 일반화합니다.

Efron의 논문은 로지스틱 회귀 분석에 관한 것입니다. 두 문맥 사이의 수학 번역을보고 싶다면 읽을 책은 Hastie, Tibshirani 및 Freedman의 2 인 통계 학습 요소입니다. 그들은이 책을 온라인으로 무료로 제공합니다 : https://web.stanford.edu/~hastie/Papers/ESLII.pdf . GCV에 대한 또 다른 유용한 자료는 Simon Wood의 Generalized Additive Models입니다. 그의 치료는 일반적으로 GCV를 회귀 및 로지스틱 회귀의 응용 프로그램과 통합합니다.

ESL 서적 (p. 244)을 보면 기본적으로 동일한 기호를 볼 수 있습니다. 그것들은 여러분이 가지고있는 더 큰 매트릭스 제품을 더 부드러운 매트릭스 (Hat 매트릭스 또는 가까운 사촌이라고 부릅니다)라고 말합니다. 이들은 Smoother 를 에서 로의 맵핑으로 설명합니다. $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ 는 데이터의 각 행마다 하나씩 CV 값을 하나씩 남겨 두는 데 사용할 수 있습니다. 들어 선형 모델 의 매트릭스는 회귀 진단의 모자 매트릭스의 역할을한다. 그러나 그들은 계산하기가 어렵거나 불필요하다고 말하며 GCV 접근법은 약간 더 일반적인 버전의 동일한 아이디어입니다. $S$

그들은 GCV 의 근사치 에 대한 공식을 제공합니다 .

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

이것은 많은 모델에서 AIC와 매우 유사합니다. 매개 변수의 유효 숫자입니다. $trace{S}$

당신이 인용 조각은 더 일반적으로의 흔적이다 . 내가 이해할 수있는 한, 추상 GCV는 교차 검증을 남겨 두는 대략적인 버전이지만 어떤 경우에는 (리지 능형 회귀를 믿는다) 정확합니다. 이것이 Golub 논문의 요점입니다. $n\lambda$ $S$

행운을 빕니다. 자세한 내용을 알고 싶으시면 답장을 보내십시오.

— pauljohn32
소스

감사. 나는 5 년 전에 내 질문을 게시했으며 그 이후 로이 자료의 대부분을 잊어 버렸으므로 그것이 좋은지 나쁜지 알기 위해 귀하의 답변을 평가할 수 없습니다. 나도 그것을 받아 들일 수 없다. 게시 해 주셔서 감사합니다. 이 페이지를 방문한 다른 사람들에게 도움이 되길 바랍니다.

— Evan Aad