선형 회귀에 대한 t- 검정 이해

선형 회귀에 대한 가설 테스트를 수행하는 방법을 연구하려고합니다 (널 가설은 상관 관계가 없음). 내가 본 주제에 대한 모든 안내서와 페이지는 t- 검정을 사용하는 것 같습니다. 그러나 선형 회귀에 대한 t- 검정이 실제로 무엇을 의미하는지 이해하지 못합니다. 내가 완전히 잘못된 이해 나 정신 모델을 가지고 있지 않는 한 t- 검정은 두 모집단을 비교하는 데 사용됩니다. 그러나 회귀 및 회귀는 유사한 모집단의 표본이 아니며 동일한 단위가 아닐 수도 있으므로 비교하는 것은 의미가 없습니다.

선형 회귀에 대해 t- 검정을 사용할 때 실제로 무엇을하고 있습니까?

t t 분포가 처음 나오는 곳이기 때문에 아마도 두 개의 표본 $t$ 검정을 생각하고있을 것입니다 . 그러나 실제로 모든 t 검정 수단은 검정 통계량에 대한 기준 분포가 t 분포라는 것입니다. 만약 Z ~ N ( 0 , 1 ) 와 S (2) ~ χ 2 D 와 Z 와 S 2 독립 후 Z$t$$t$$t$$Z \sim \mathcal N(0,1)$$S^2 \sim \chi^2_d$$Z$$S^2$

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ 정의에 따라. 나는$t$분포 가이 비율의 분포에 주어진 이름이라는 것을강조하기 위해 이것을 쓰고 있습니다.이비율은 많이 나오기 때문에이 형태의 어떤 것도$t$분포를가질 것입니다. 두 표본 t 검정의 경우,이 비율은 널 (null)에서 평균의 차이가 제로 평균 가우시안이고 독립 가우시안에 대한 분산 추정값이 독립이기 때문에 나타납니다$\chi^2$(독립성은Basu의 정리를 통해 표시 될 수 있음). 가우시안 표본의 표준 분산 추정치가 모집단 평균에 부수적 인 반면 표본 평균이 완전하고 동일한 양에 충분하다는 사실을 사용합니다.

선형 회귀를 사용하면 기본적으로 동일한 결과를 얻습니다. 벡터 . S 2 j = ( X T X )라고 하자$\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ 및 예측 가정X가아닌 랜덤있다. 우리가 알고있는 경우σ(2)우리는 거라고 β J를-$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$ 널 하에서H

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ 이므로 실제로 Z 테스트를합니다. 우리가 추정하지만 일단 σ 2 우리는 끝낼 χ 이 우리의 정상 가정에서, 우리의 통계의 독립적 인 것으로 밝혀 것을 확률 변수 β의 J 다음 우리는 수 t의 분포를.$H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$

---

자세한 내용은 다음과 같습니다. . 시키는 H = X ( X T X ) - 1 X T 될 우리가 모자 행렬 ‖ E ‖ 2 = ‖ ( I - H ) Y ‖ 2 = Y T가 ( I - H ) y로 . H 는 dem 등원이므로 정말 좋은 결과를 얻습니다. $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ 와 비 중심적 파라미터 δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 이므로 실제로 이것은 n − p 인 중심 χ 2 입니다. $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$자유도 (이것은 코크란 정리의 특별한 경우입니다 ). 내가 사용하고 의 열 개수 표시하기 위해 X를 하나 열 경우 그래서, X는 절편을 제공 한 후 우리가 가진 것 P - 1 비 절편의 예측을. 일부 저자는 p 를 사용 하여 비 절편 예측 변수의 수로 사용 하기 때문에 때때로 자유도에서 n - p - 1 과 같은 것을 볼 수 있지만 모두 같은 것입니다.$p$$X$$X$$p-1$$p$$n-p-1$

이것의 결과는 때문에 σ (2) : = $E(e^Te / \sigma^2) = n-p$는σ2의 추정값으로 사용됩니다.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

이것은 즉, β의 J 는 표준 가우시안 대 카이 제곱을 자유 도로 나눈 비율입니다. 이 작업을 마치려면 독립성을 보여야하며 다음 결과를 사용할 수 있습니다.

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

결과 : 위한 과 행렬 및 B 에서 R의 L × K 및 R m $Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$ 각각Z및BZ가있는 경우에만, 독립적Σ B는 T =0(이 운동이고Jun Shao의 수학 통계1 장 58 (b)).$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

우리가 β = ( X T X ) - 1 X T Y 및 E = ( I - H ) Y Y는 ~ N ( X의 β가 , σ 2 I를 ) . 이 수단 ( X T X ) ( ( X T X ) - 1 X T - ( X T X ) - 1$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ 이므로

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ , 따라서 β ⊥ETE.$\hat \beta \perp e$$\hat \beta \perp e^T e$

결론적으로 우리는 이제 알고있다 β J를 (상기 모든 가정하에) 원하는.

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

는A를 스태킹하여 형성된(l+m)×k행렬입니다$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$$AZ$$BZ$$CZ$

$\square$

@Chaconne의 대답은 훌륭합니다. 그러나 여기에 더 짧은 비 수학적 버전이 있습니다!

목표는 P 값을 계산하는 것이므로 먼저 귀무 가설을 정의해야합니다. 거의 항상, 즉, 기울기는 실제로 수평이므로 기울기 (베타)의 수치는 0.0입니다.

데이터의 기울기가 0.0이 아닙니다. 무작위 확률이나 귀무 가설로 인한 불일치입니까? 확실하게 대답 할 수는 없지만 P 값은 친절한 답변을 얻는 한 가지 방법입니다.

회귀 프로그램은 기울기의 표준 오차를보고합니다. 기울기를 표준 오차로 나눈 t 비율을 계산합니다. 실제로는 표준 오차로 나눈 (경사-귀무 가설 경사)이지만 귀무 가설 경사는 거의 항상 0입니다.

지금 당신은 비율에 있습니다. 자유도 (df)는 데이터 포인트 수에서 회귀에 맞는 모수의 수를 뺀 값과 같습니다 (선형 회귀의 경우 2 개).

해당 값 (t 및 df)을 사용하면 온라인 계산기 또는 테이블을 사용하여 P 값을 결정할 수 있습니다.

관측 된 계산 된 값 (기울기)과 가상의 값 (제로 가설)을 비교하는 것은 본질적으로 1- 표본 t- 검정입니다.