간단한 선형 회귀에 대한 표본 상관과 R 통계량의 동등성

10

샘플 상관 관계 의 제곱은 간단한 선형 회귀에 대한 결정 계수 $r^2$ 와 동일 하다는 것이 종종 언급된다 . 나는 이것을 스스로 증명할 수 없었으며이 사실에 대한 완전한 증거에 감사 할 것이다. $R^2$

regression correlation

— edwardsm88
소스

1

자체 학습 질문 인 경우 적절한 태그를 추가하십시오.

— Andy

이 질문 은 또한

이유를 묻습니다

R^{2} = r^{2}

$R^2=r^2$ .

— Silverfish

8

표기법에는 약간의 변형이있는 것 같습니다. 간단한 선형 회귀 분석에서는 일반적으로 관측 된 와 값 사이의 상관 관계에 대한 참조로 기호 이있는 "샘플 상관 계수"라는 문구를 보았습니다 . 이것이이 답변에 채택한 표기법입니다. 또한 관측 사이의 상관 관계를 참조하는 데 사용되는 동일한 구문 심볼 본 끼워 맞춤 ; 내 대답에서 나는 이것을 "다중 상관 계수"라고 지칭하고 심볼 사용했다 . 이 답변은 왜 결정 계수가 의 제곱과 의 제곱 인지 모두 설명합니다. $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ 어떤 용도로 사용 되든 상관 없습니다.

상관 관계의 의미에 대한 몇 가지 간단한 사실 일단 결과는 대수학의 한 줄에 다음과 포장 된 방정식까지 건너 뛸 것을 선호 할 수 있도록 설정됩니다. 공분산과 분산의 기본 속성을 증명할 필요가 없다고 생각합니다. $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

공분산이 대칭이고 임을 알면 후자는 전자에서 파생 될 수 있습니다 . 여기에서 우리는 상관 관계에 관한 또 다른 기본 사실을 도출합니다. 용 , 그래서 긴 같이 및 영이 아닌 분산을 가지고 $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} Cor (a X + b, Y) & = \frac{Cov (a X + b, Y)}{\sqrt{Var (a X + b) Var (Y)}} \\ = \frac{a}{\sqrt{a^{2}}} \times \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}} \\ Cor (a X + b, Y) & = sgn (a) Cor (X, Y) \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

여기 는 IS 시그넘 또는 부호 함수 :이 값은 의 경우 및 경우 . 그것은 또한 사실 그 의 경우 하지만,이 경우는 문제 우리를하지 않는 : 것이다 상수, 그래서 $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ 분모를 우리는 상관을 계산할 수있다. 대칭 인수는 우리를 위해,이 결과를 일반화 할 수 $\text{Var}(aX+b) = 0$ : $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

우리는 현재의 질문에 대답하기 위해 이보다 일반적인 공식이 필요하지 않지만 상황의 기하학을 강조하기 위해 그것을 포함합니다. 변수가 스케일되거나 변환 될 때 상관 관계가 변경되지 않는다고 말하지만 변수가 반영.

$R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

R = Cor (\hat{Y}, Y) = Cor ({\hat{β}}_{0} + {\hat{β}}_{1} X, Y) = sgn ({\hat{β}}_{1}) Cor (X, Y) = sgn ({\hat{β}}_{1}) r

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

$R = \pm r$ $R$ $R^2 = r^2$

$R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ $\mathbf{X}$ $\mathbf{1_n}$

다중 회귀의 주제 공간에있는 벡터

$\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $R$

$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

이것은 의 제곱합을 분해 한 것입니다 . 결정 계수에 대한 일반적인 공식은 이며,이 삼각형에서 는 실제로 의 제곱입니다 . 수식 대해 더 잘 알고있을 수 있습니다. 즉, 를 즉시 제공 하지만 이 더 일반적이며, 방금 바와 같이 줄어 듭니다. $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ 일정한 기간이 모델에 포함되어있는 경우 .

— 은어
소스

멋진 수학과 그래프를 만들기위한 노력에 +1 감사합니다 !!

— Haitao Du

4

로 정의 제곱 샘플 상관 계수 : 은 다음을 사용하여 쉽게 확인할 수 있으므로 동일합니다. ( Verbeek , §2.4 참조 ) $R^2$

R^{2} = \frac{\hat{V} ({\hat{y}}_{i})}{\hat{V} (y_{i})} = \frac{1 / (N - 1) \sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2}}{1 / (N - 1) \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}} = \frac{E S S}{T S S}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

r^{2} (y_{i}, {\hat{y}}_{i}) = \frac{{(\sum_{i = 1}^{N} (y_{i} - \bar{y}) ({\hat{y}}_{i} - \bar{y}))}^{2}}{(\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}) (\sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2})}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} (y_{i}) = \hat{V} ({\hat{y}}_{i}) + \hat{V} (e_{i})

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— 세르지오
소스

더 자세한 내용을 추가해 주시겠습니까? 나는 이것을 증명하려고 노력했지만 성공하지 못했습니다 ...

— 바다의 노인.