가설 검정에 선형 회귀 계수를 테스트하는 데 T 분포가 사용되는 이유는 무엇입니까?

17

실제로 선형 회귀 계수의 중요성을 확인하기 위해 표준 T- 검정을 사용하는 것이 일반적입니다. 계산의 역학이 나에게 의미가 있습니다.

선형 회귀 가설 검정에 사용되는 표준 검정 통계량을 모델링하는 데 T- 분포를 사용할 수있는 이유는 무엇입니까? 표준 테스트 통계 여기서는 다음을 참조합니다.

티_{0} = \frac{\hat{β} - β_{0}}{에스 이자형 (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— 네이트 파크
소스

이 질문에 대한 완전하고 완전한 대답은 꽤 길 것입니다. 따라서 누군가 가이 문제를 해결하기를 기다리는 동안 온라인에서 찾은 메모를 온라인 코스 에서 볼 수 있습니다. onlinecourses.science.psu.edu/stat501/node/297 . 구체적으로

입니다.

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— Stats 학생

1

나는 이것이 복제본이 아니라는 것을 믿을 수는 없지만 모든 질문 (답변과 답 모두) ... 이것은 어떻습니까? 또는 아마도 복제본이 아니기 때문에 거의 7 년 동안 Cross Validated의 존재에 대해 다루지 않은 초 기본 주제가 존재했거나 현재까지 존재했음을 의미합니다. 와우 ...

— Richard Hardy

@RichardHardy 흠, 그것은 중복 같은 소리. 더 자세한 정보이지만, 문제는 특별히입니다 : "내가 입증 할 수있는 방법 , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— 방화범

26

우리는 t- 분포를 사용하는 이유를 이해하려면 기본 배포 무엇인지 알 필요가 와 사각형의 잔류 합 (의 당신에게 t- 분포를 줄 것이다이 두 넣어 함께 같은). $\widehat{\beta}$ $RSS$

쉬운 부분의 분포 정규 분포 인 - 메모를 표시하는 = 는의 선형 함수이다되도록 여기서 . 그 결과 또한 분포 $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - 당신의 분포 파생 도움이 필요하면 알려 . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

또한 . 여기서 은 관측치 수이고 는 회귀 분석에 사용 된 매개 변수 수입니다. 이것의 증거는 조금 더 복잡하지만 파생하기도 간단합니다 ( RS가 카이 제곱 시간 np를 분배하는 이유는 여기에 있습니다 ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

이 점까지 내가 다 행렬 / 벡터 표기로 간주했지만, 단순 사용하자 최대 하고 정규 분포를 사용하는 우리를 줄 것이다 $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

또한, 의 카이 제곱 분포에서 우리는 다음을 갖습니다 : $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

이것은 단순히 첫 번째 카이 제곱 표현의 재배치였으며 $N(0,1)$ $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ $\sqrt{\chi^2(s)/s}$

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

말이되는지 알려주세요.

— 프랑슘
소스

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

4

대답은 실제로 매우 간단합니다. t- 분포는이 목적을 위해 특별히 설계 되었기 때문에 사용합니다.

뉘앙스는 선형 회귀를 위해 특별히 설계되지 않았다는 것입니다. 거셋 came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$ , and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$ . 표본 평균의 분포는 무엇입니까 $\bar x$ ?

실제 (인구) 표준 편차를 알고 있다면 $\sigma$ 그러면 변수가 $\xi=(\bar x-\mu)\sqrt n/\sigma$ 표준 정규 분포에서 $\mathcal N(0,1)$ . 문제는 일반적으로 모르는 것입니다 $\sigma$ 을 추정 할 수 있습니다. $\hat\sigma$ . 그래서 Gosset은 당신이 대체 할 때 분포를 알아 냈습니다. $\sigma$ 와 $\hat\sigma$ 분모에서, 그리고 배포판은 이제 그의 의사 "학생 t"에 따라 호출됩니다.

선형 회귀 기술은 표준 오차를 추정 할 수있는 상황으로 이어집니다. $\hat\sigma_\beta$ 계수 추정치 $\hat\beta$ 그러나 우리는 진실을 모른다 $\sigma$ 따라서 학생 t 분포도 여기에 적용됩니다.

— 악사 칼
소스