다중 상관 계수

회귀 또는 벡터 표기법에서 다중 상관 관계 $R$ 및 결정 계수 의 기하학적 의미에 관심이 있습니다. , $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

여기서 설계 행렬 $\mathbf{X}$ 는 $n$ 행과 $k$ 열을 가지며 , 첫 번째는 $\mathbf{x}_1 = \mathbf{1}_n$ 이며, 절편 해당하는 1의 벡터입니다 $\beta_1$ .

기하학은 차원 가변 공간 보다는 $n$ 차원 대상 공간 에서 더 흥미 롭다 . 모자 매트릭스를 정의하십시오. $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

이것은 의 열 공간에 대한 직교 투영 $\mathbf{X}$ , 즉 각 변수 나타내는 벡터에 의해 스팬 된 원점을 통한 평면 투영 이며, 첫 번째는 입니다. 이어서 관찰 된 반응에의 벡터 돌출 평면에서의 "그림자"로, 장착 값 벡터 , 우리는 우리가 잔차의 벡터 참조 돌기의 경로를 따라 보면 $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ 삼각형의 세 번째면을 형성합니다. 이것은 우리에게 의 기하학적 해석에 대한 두 가지 경로를 제공해야합니다 . $R^2$

상기 다수의 상관 계수의 제곱 사이의 상관 관계로 정의되고, 및 . 이것은 각도의 코사인으로 기하학적으로 나타납니다. $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
벡터의 길이 측면에서 : 예를 들어 . $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

다음을 설명하는 간단한 계정을 보게되어 기쁩니다.

(1)과 (2)의 세부 사항은
(1)과 (2)가 동일한 이유
간단히 말해, 기하학적 통찰력을 통해 의 기본 속성을 시각화 할 수있는 방법 , 예를 들어 잡음 분산이 0이되었을 때 1로 이동하는 이유는 무엇입니까? 그림.) $R^2$

변수가 먼저 중심에 있으면 질문에서 절편을 제거하면 더 간단합니다. 그러나 다중 회귀를 도입하는 대부분의 교과서 계정에서 디자인 행렬 는 내가 설명한 대로입니다. 물론 박람회가 중심 변수에 의해 확장 된 공간을 파고 들어도 괜찮지 만, 교과서 선형 대수학에 대한 통찰력을 얻으려면 이것을 중심이없는 상황에서 기하학적으로 일어나는 일과 다시 관련시키는 것이 도움이 될 것입니다. 정말 통찰력있는 대답은 설명 할 수 정확하게 기하학적으로 분해되는 것을 절편 기간이 제거 될 때 - 즉 때 벡터 $\mathbf{X}$ $\mathbf{1}_n$ 스패닝 세트에서 제거됩니다. 중심 변수를 고려 하여이 마지막 요점을 해결할 수 있다고 생각하지 않습니다.

— 은어
소스

모형에 상수 항이있는 경우 은 의 열 공간에 있습니다 ( 과 마찬가지로 나중에 유용함). 피팅 관측의 정사영 인 그 열 공간에 의해 형성되는 평면 상. 이 수단 잔차 벡터의 평면에 수직이며, 따라서, 행 . 내적을 고려하면 이므로 $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ 는 0으로 합산되어야합니다. 이후 우리 결론 너무 모두 끼워 관찰 응답 평균 있는지 . $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$

다중 회귀의 주제 공간에있는 벡터

도면에서 점선 나타내는 과 이며, 중심 관찰 끼워 맞춤 응답 벡터. 각도의 코사인 이러한 벡터 사이 그러므로의 상관 것이다 및 정의 다중 상관 계수이고, . 이들 잔차 벡터의 벡터를 형성하는 삼각형 때문에 직각되는 놓여 평면뿐만 $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ 는 그것에 직교합니다. 금후: $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

피타고라스를 삼각형에 적용 할 수도 있습니다.

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

다음과 같이 더 친숙 할 수 있습니다.

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

이것은 제곱의 합, 의 분해입니다 . $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

결정 계수에 대한 표준 정의는 다음과 같습니다.

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

When the sums of squares can be partitioned, it takes some straightforward algebra to show this is equivalent to the "proportion of variance explained" formulation,

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

There is a geometric way of seeing this from the triangle, with minimal algebra. The definitional formula gives $R^2 = 1 - \sin^2(\theta)$ and with basic trigonometry we can simplify this to $\cos^2(\theta)$ . This is the link between $R^2$ and $R$ .

Note how vital it was for this analysis to have fitted an intercept term, so that $\mathbf{1_n}$ was in the column space. Without this, the residuals would not have summed to zero, and the mean of the fitted values would not have coincided with the mean of $Y$ . In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$ . In this situation, some software (including R) uses a different formula for $R^2$ altogether.

— Silverfish
소스

+1 Very nice write-up and figure. I am surprised that it only has my single lonely upvote.

— amoeba says Reinstate Monica

+1. Note that the figure of your answer, with "column space X", Y, Ypred as vectors etc. is what is known in multivariate statistics as "(reduced) subject space representation" (see, with further links where I've used it).

— ttnphns