회귀 계수에 대한이 편차-분산 트레이드 오프 란 무엇이며이를 도출하는 방법

9

에서 이 종이 ( 분산 구성 요소에 대한 베이 즈 추론 대조 에러 만하여 , 작성자 청구 Harville 1974) 는 "공지이어야 선형 회귀 경우

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

이것은 어떻게 잘 알려져 있습니까? 이것을 증명하는 가장 간단한 방법은 무엇입니까?

— Sibbs 도박
소스

1

그것은에 위키 피 디아 ,이 '유도'를 참조하십시오.

— user603

@ user603 링크를 더 선명하게 만드시겠습니까? 감사!

— Sibbs Gambling

@ user603 죄송합니다. 링크가 어떻게 문제를 해결하는지 알 수 없습니다. 제 경우에는 등식이 Var (y) = bias + ... 정교 할 수 있습니까?

— Sibbs Gambling

4

@SibbsGambling이 식은 가중 선형 회귀 공식에 두 가지 분산 관련 항이 있습니다. 왼쪽의 용어는 실제 모델 주위의 분산과 관련이 있습니다 (정밀도 행렬 의해 가중 됨 ). 오른쪽의 첫 번째 용어는 적합 모형 주위의 분산과 관련이 있습니다. 오른쪽의 두 번째 용어 는 치우침 의 제곱 과 관련이 있습니다. 이것이 편차-바이어스 트레이드 오프입니다.

H^{- 1}

$H^{-1}$

— EdM

6

방정식의 마지막 항은 다음과 같이 쓸 수 있습니다.

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

이 형태에서 방정식은 흥미로운 것을 말합니다. 가 양의 정의와 대칭 이라고 가정하면 그 반대도 마찬가지입니다. 따라서 내부 제품 를 정의하여 지오메트리를 제공 할 수 있습니다. 위의 평등은 본질적으로 $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

댓글 작성자가 이미 유도에 대한 링크를 남겼 기 때문에이 직관을 보여주고 싶었습니다.

편집 : 후손

LHS :

\begin{array}{rcl} (y - X β)^{'} H^{- 1} (y - X β) & = & y^{'} H^{- 1} y & - & 2 y^{'} H^{- 1} X β & + & β^{'} X^{'} H^{- 1} X β \\ = & (A) & - & (B) & + & (C) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS :

(y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} H^{- 1} y & - 2 y^{'} H^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} & + β X^{'} H^{- 1} X β & - 2 \hat{β} X^{'} H^{- 1} X β & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} \\ = & (A) & - (D) & + (E) & + (C) & - (F) & + (E) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

관계:

\hat{β} = (X^{'} H^{- 1} X)^{- 1} X^{'} H^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

관계를 연결하여 (B) = (F) 및 2 (E) = (D)를 표시 할 수 있습니다. 다 했어요

— limlimaverford
소스

링크가 어떻게 문제를 해결하는지 알 수 없습니다. 제 경우에는 등식이 Var (y) = bias + ... 정교 할 수 있습니까?

— Sibbs Gambling

@SibbsGambling은 파생을 포함하여 내 답변을 편집했습니다.

— jlimahaverford

@jlimahaverford 당신 은 에 대한 공식의 끝 에서 를 잊지 않습니까?

y

$y$

\hat{β}

$\hat{\beta}$

— Gumeo

7

그들은 정사각형을 완성하는 기술 로이 정체성에 도달합니다. 왼쪽은 이차 형태이므로 곱해서 시작합니다

(y - X β)^{'} H^{- 1} (y - X β) = y^{'} H^{- 1} y - 2 y^{'} H^{- 1} X β + β^{'} X^{'} H^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

계속 한 다음 . 대수는 일종의 길지만 베이지안 회귀에서 사각형을 완성하는 인터넷 검색이며 많은 힌트를 찾을 수 있습니다. 예를 들어, 베이지안 선형 회귀 에 대한 Wikipedia 및 여기 에서와 같이 사각형 완성에 관한 다른 CrossValided 답변을 참조하십시오 . $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
소스

2

행렬 대수를 알고 있다면 모든 것을 곱하고 실제로 양쪽이 동일하다는 것을 확인하면 가능합니다. 이것이 jlimahaverford가 증명 한 것입니다.

이를 위해서는 추정치 공식이 필요합니다 . 상관 관계가없는 오차 항이있을 때 선형 회귀와 유사한 방식으로 공식을 도출 할 수 있습니다. 비결은 표준화하는 것입니다. $\hat{\beta}$

다음 은 다변량 정규 분포에서 나오는 RV를 표준화하는 방법에 대한 정보입니다. 이 있다고 가정 해 봅시다 는 양의 정의이므로 로 인수 분해 할 수 있습니다 . 이제 임의 변수 는 분포에서 나옵니다 . 이제이 트릭을 사용하여 를 찾을 수 있습니다. 인수 분해합시다 . 우리가 지금 은 표준화되어

X \sim N (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

Y = P^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} y & = X β + ϵ \\ P^{- 1} y & = P^{- 1} X β + P^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ 이므로 이제 이것을 다음과 같은 간단한 다중 선형 회귀 모델로 취급 할 수 있습니다. 따라서 회귀 문제가 있습니다. 의 공식 은 이것이 할 열쇠입니다 이것의 나머지는 jlimahaverford가 솔루션에서 보여준 대수적 조작입니다.

\tilde{X} = P^{- 1} X, \tilde{y} = P^{- 1} y and \tilde{ϵ} = P^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T} \tilde{X})^{- 1} {\tilde{X}}^{T} \tilde{y} \\ = ((P^{- 1} X)^{T} P^{- 1} X)^{- 1} (P^{- 1} X)^{T} P^{- 1} y \\ = (X^{T} (P P^{T})^{- 1} X)^{- 1} X (P P^{T})^{- 1} y \\ = (X^{T} H^{- 1} X)^{- 1} X H^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— 구 메오
소스