다중에 대한이 선형 회귀 아이덴티티를 이해하는 우아하고 통찰력있는 방법이 있습니까?

선형 회귀 분석에서 나는 우리가 모델에 적합하면 즐거운 결과를 얻었습니다.

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

우리가 표준화하고 중심을 잡으면 $Y$ , $X_1$ 과 $X_2$ 데이터,

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

이것은 2 가변 버전의 느낌입니다. $R^2 = \mathrm{Cor}(Y,X)^2$ ...에 대한 $y=mx+c$ 회귀는 즐겁습니다.

그러나 내가 아는 유일한 증거는 어쨌든 건설적이거나 통찰력이 없지만 (아래 참조), 여전히 그것을 이해하면 쉽게 이해할 수 있어야한다고 생각합니다.

생각 예 :

그만큼 $\beta_1$ 과 $\beta_2$ 매개 변수는 우리에게 '비율'을 제공합니다 $X_1$ 과 $X_2$ 에 $Y$ , 그래서 우리는 그들의 상관 관계의 각 비율을 취하고 있습니다 ...
그만큼 $\beta$ s는 부분 상관입니다. $R^2$ 제곱 된 다중 상관 관계 ... 부분 상관 관계에 곱한 상관 관계 ...
우리가 먼저 직교하면 $\beta$ ~는 $\mathrm{Cov}/\mathrm{Var}$ ...이 결과는 어떤 기하학적 의미가 있습니까?

이 스레드 중 어느 것도 나를 위해 어디로 인도하지 않는 것 같습니다. 누구나이 결과를 이해하는 방법에 대한 명확한 설명을 제공 할 수 있습니까?

불만족스러운 증거

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

과

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— 코 로네
소스

표준화 된 변수를 사용해야합니다. 그렇지 않으면 수식이

R^{2}

$R^2$ 사이에 있다고 보장되지 않습니다

0

$0$ 과

1

$1$ . 이 가정은 증명에서 나오지만 처음부터 명시 적으로 만드는 데 도움이됩니다. 나도 당신이하고있는 일에 당황합니다.

R^{2}

$R^2$ 데이터와는 아무런 관련이없는 모델 의 기능이라는 점이 분명 하지만, 모델을 무언가에 "적합"한다고 언급하기 시작합니다.

— whuber

X1과 X2가 완벽하게 상관되지 않은 경우에만 최상위 결과가 유지되지 않습니까?

— gung-Monica Monica 복원

@ gung 나는 그렇게 생각하지 않습니다-맨 아래의 증거는 그것이 상관없이 작동한다고 말합니다. 이 결과는 저를 놀라게하므로 "명확한 이해 증거"를 원합니다

— Korone

@ whuber "모델 만의 기능"이 무슨 뜻인지 잘 모르겠습니까? 나는 단순히 의미

R^{2}

$R^2$ 두 개의 예측 변수가있는 간단한 OLS 즉 이것은 2 변수 버전입니다.

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

나는 당신의 여부를 말할 수 없다

β_{i}

$\beta_i$ 모수 또는 추정치입니다.

— whuber

답변:

모자 행렬은 dem 등원입니다.

(이것은 OLS가 변수에 의해 확장 된 공간에 대한 응답 벡터의 직교 투영임을 나타내는 선형 대수 방식입니다.)

정의에 따라

{아르 자형}^{2} = \frac{이자형 에스 에스}{티 에스 에스}

$R^2 = \frac{ESS}{TSS}$

어디

이자형 에스 에스 = (\hat{와이})^{'} \hat{와이}

$ESS = (\hat Y)^\prime \hat Y$

(중심) 예측 값의 제곱의 합입니다.

티 에스 에스 = {와이}^{'} 와이

$TSS = Y^\prime Y$

(중심) 응답 값의 제곱의 합입니다. 표준화 $Y$ 단위 분산에 대한 사전의 의미도

티 에스 에스 = {와이}^{'} 와이 = 엔 .

$TSS = Y^\prime Y = n.$

추정 된 계수는 다음과 같이 주어짐을 기억하십시오.

\hat{β} = ({엑스}^{'} 엑스)^{-} {엑스}^{'} 와이,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

어떻게

\hat{와이} = 엑스 \hat{β} = 엑스 ({엑스}^{'} 엑스)^{-} {엑스}^{'} 와이 = H 와이

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

어디 $H$ 의 투영에 영향을 미치는 "모자 매트릭스" $Y$ 가장 작은 사각형에 적합 $\hat Y$ . 그것은 대칭 적이며 (그 형태에서 분명합니다) dem 등원 입니다. 이 결과에 익숙하지 않은 사람들에 대한 후자의 증거가 있습니다. 괄호를 뒤섞는 것입니다.

\begin{aligned} H^{'} H = H H & = (엑스 ({엑스}^{'} 엑스)^{-} {엑스}^{'}) (엑스 ({엑스}^{'} 엑스)^{-} {엑스}^{'}) \\ = 엑스 ({엑스}^{'} 엑스)^{-} ({엑스}^{'} 엑스) ({엑스}^{'} 엑스)^{-} {엑스}^{'} \\ = 엑스 ({엑스}^{'} 엑스)^{-} {엑스}^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

따라서

{아르 자형}^{2} = \frac{이자형 에스 에스}{티 에스 에스} = \frac{1}{엔} (\hat{와이})^{'} \hat{와이} = \frac{1}{엔} {와이}^{'} H^{'} H 와이 = \frac{1}{엔} {와이}^{'} H 와이 = (\frac{1}{엔} {와이}^{'} 엑스) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

중간에서 결정적인 움직임은 모자 매트릭스의 dem 등성을 사용했습니다. 오른쪽은 마법의 공식입니다. $\frac{1}{n}Y^\prime X$ 사이의 상관 계수의 (행) 벡터입니다. $Y$ 그리고 열 $X$ .

— 우버
소스

(+1) 아주 좋은 글씨. 그러나 왜 ^{-}대신 ^{-1}사방?

— amoeba

@amoeba 그것은 일반화 된 역수입니다 .

X^{'} X

$X^\prime X$ 단수 일 수 있습니다.

— whuber

@amoeba Penrose는 그의 원래 논문 ( 1954 년 A Generalized Inverse for Matrices ) 에서이 표기법을 사용했다.

A^{†}

$A^\dagger$ . 나는 그 어느 것도 좋아하지 않는다

A^{+}

$A^{+}$ 그것들은 컨쥬 게이트, 전치 또는 전치 전치와 너무 쉽게 혼동되기 때문에

A^{-}

$A^{-}$ 표기법은 캐쥬얼 독자가 다음과 같이 생각할 수있는 역수를 암시합니다.

A^{- 1}

$A^{-1}$ 그들이 좋아한다면. 당신은 독자가 너무 좋습니다. 그러나 알아 줘서 감사합니다.

— whuber

흥미롭고 설득력있는 동기이지만,이 표기법이 때때로 다른 곳에서 사용되거나 자신의 발명품인지 물어볼 수 있습니까?

— amoeba

@amoeba : 예,이 표기법은 선형 모델의 Graybill 고전 텍스트를 포함하여 다른 곳에 나타납니다.

— 추기경

다음 세 가지 공식은 잘 알려져 있으며 선형 회귀에 대한 많은 책에서 찾을 수 있습니다. 그것들을 도출하는 것은 어렵지 않습니다.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

두 베타를 방정식으로 대체하면 $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$ R-square에 대한 위의 공식을 얻게됩니다.

다음은 기하학적 "통찰력"입니다. 아래는 회귀를 보여주는 두 사진입니다 $Y$ 으로 $X_1$ 과 $X_2$ . 이러한 종류의 표현 을 주제 공간에서 벡터 로 변수 라고 합니다 (관련 내용을 읽으십시오 ). 세 변수가 모두 중심에 놓인 후에 그림이 그려 지므로 (1) 모든 벡터의 길이 = st입니다. 각각의 변수의 편차, 및 (2) 모든 두 벡터 사이의 각도 (그 코사인) = 각각의 변수 사이의 상관 관계.

여기에 이미지 설명을 입력하십시오

$\hat{Y}$ 회귀 예측입니다. $Y$ "평면 X"상에); $e$ 오류 항입니다. $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$ 다중 상관 계수.

왼쪽 그림은 기울기 좌표 를 나타 냅니다. $\hat{Y}$ 변수에 $X_1$ 과 $X_2$ . 이러한 좌표는 회귀 계수와 관련이 있습니다. 즉, 좌표는 다음과 같습니다. $b_1|X_1|=b_1\sigma_{X_1}$ 과 $b_2|X_2|=b_2\sigma_{X_2}$ .

그리고 오른쪽 그림은 해당하는 수직 좌표를 보여줍니다 . 우리는 이러한 좌표가 0 차 상관 계수와 관련이 있다는 것을 알고 있습니다 (이것은 직교 투영의 코사인입니다). 만약 $r_1$ 사이의 상관 관계 $Y$ 과 $X_1$ 과 $r_1^*$ 사이의 상관 관계 $\hat Y$ 과 $X_1$ 좌표는 $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ . 다른 좌표와 마찬가지로 $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$ .

지금까지는 선형 회귀 벡터 표현에 대한 일반적인 설명이었습니다. 이제 우리는 과제가 어떻게 진행되는지 보여줄 차례입니다. $R^2 = r_1 \beta_1 + r_2 \beta_2$ .

우선, @Corone의 질문에서 세 변수가 모두 표준화 될 때 , 즉 중심이 아니라 분산 1로 스케일링 될 때 표현이 참이라는 조건을 제시했음을 기억 하십시오. $|X_1|=|X_2|=|Y|=1$ 벡터의 "작동 부분"이되기 위해) 좌표는 다음과 같습니다. $b_1|X_1|=\beta_1$ ; $b_2|X_2|=\beta_2$ ; $r_1|Y|=r_1$ ; $r_2|Y|=r_2$ ; 만큼 잘 $R=|\hat Y|/|Y|=|\hat Y|$ . 이러한 조건에서 위 그림의 "평면 X"만 다시 그리십시오.

여기에 이미지 설명을 입력하십시오

그림에는 동일한 벡터의 한 쌍의 수직 좌표와 기울기 좌표 쌍이 있습니다. $\hat Y$ 길이의 $R$ . 기울기 좌표 (또는 뒤로)에서 수직 좌표를 얻는 일반적인 규칙이 있습니다. $\bf P = S C$ , 어디 $\bf P$ 인 points X axes직교 행렬 것들; $\bf S$ 같은 크기의 비대칭 행렬입니다. 과 $\bf C$ axes X axes비 직교 축 사이의 각도 (코사인) 의 대칭 행렬입니다.

$X_1$ 과 $X_2$ 우리의 경우에 축은 $r_{12}$ 그들 사이의 코사인입니다. 그래서, $r_1 = \beta_1 + \beta_2 r_{12}$ 과 $r_2 = \beta_1 r_{12} + \beta_2$ .

이 대체 $r$ 를 통해 표현 $\beta$ @Corone의 진술에서 $R^2 = r_1 \beta_1 + r_2 \beta_2$ 그리고 당신은 그것을 얻을 것이다 $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ ,- 평행 사변형 의 대각선 (그림에 색조 가 표시됨)이 인접한면 (수량)을 통해 표현되는 방식이기 때문에 그렇습니다 . $\beta_1\beta_2r_{12}$ 스칼라 곱임).

많은 예측 변수 X에 대해서도 마찬가지입니다. 불행히도, 많은 예측 변수로 똑같은 그림을 그리는 것은 불가능합니다.

— ttnphns
소스

+1 좋은는이이 방법을 구축 볼 수 있지만, 이것은 whuber의 대답에 비해 훨씬 통찰력으로 추가하지 않습니다

— Korone

@Corone, 나는 당신이 취할 수있는 "통찰력"을 추가했습니다.

— ttnphns

+1 정말 시원합니다 (업데이트 후). 좌표 간의 변환에 대한 "일반 규칙"을 호출하는 것은 약간 과잉이라고 생각했습니다. 예를 들어

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$ 코사인의 정의를 기억하고 직각 삼각형 중 하나를 살펴보기 만하면됩니다.

— amoeba

정말 멋진 편집, 전환 허용.

— 코 로네