배경

회귀 모형에 계수 가있는 정규 최소 제곱 모형이 있다고 가정합니다 . $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

여기서 이다 계수들의 벡터는, 은 IS 설계 행렬 에 의해 정의 된 $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ 오류는 IID입니다 일반,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

에 대한 추정치를 로 설정하여 제곱합 오류를 최소화합니다. $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

의 바이어스되지 않은 추정량 은 여기서 ( ref ). $\sigma^2$

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

공분산 $\mathbf{\hat{\beta}}$ 에 의해 주어진다 ( ref ).

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$

의문

어떻게 증명할 수에 대한 $\hat\beta_i$ ,

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$ 여기서

t_{n - k}

$t_{n-k}$ 이다

(n - k)

$(n-k)$ 자유도의 t- 분포 및

의 표준 오차는

{\hat{β}}_{i}

$\hat{\beta}_i$ 로 추정됩니다 .

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

내 시도

나는 알고에 대한 에서 샘플 확률 변수 , 당신이 보여줄 수있는 LHS를 로 다시 작성하여 이고 numertor가 표준 정규 분포이고 분모가 df = (n-1) 인 Chi-square 분포의 제곱근이며 (n- 1) ( ref ). 따라서 df = (n-1) ( ref ) 의 t- 분포를 따릅니다 . $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

이 증거를 내 질문으로 확장 할 수 없었습니다 ...

어떤 아이디어? 나는 이 질문에 대해 알고 있지만, 그들은 분명히 그것을 증명하지 않고, 단지 "각 예측자가 당신에게 어느 정도의 자유를 요구한다"고 말하는 경험 법칙을 제시합니다.

— 개렛
소스

때문에 공동 일반 변수의 선형 조합이며, 이는 정규 분포를 갖는다. 따라서 모든 당신이 (1)이 설정된다 할 필요가 ; (2) 가 의 편견 추정량 임을 보여줍니다 . 그리고 (3) 의 자유도 가 합니다. 후자는이 사이트에서 stats.stackexchange.com/a/16931 과 같은 여러 곳에서 입증되었습니다 . 나는 당신이 이미 (1)과 (2)를 수행하는 방법을 알고 있다고 생각합니다.

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

이후 우리는 및 따라서 우리는 알고있는 각 구성 요소에 대한 의 , 여기서 는 IS 의 대각 원소 . 따라서, 우리는

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

표준 법선 벡터에서 Normal 등원 이차 형태의 분포에 대한 정리 의 진술에 주목하십시오 (녹색의 정리 B.8).

만약 및 대칭이다 멱등 후 분배 여기서 계급이다 . $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

하자 나타낸다 회귀 잔류 벡터 및하자 잔류 메이커 매트릭스 (즉 ) . 이 대칭적이고 dem 등하 다는 것을 쉽게 확인할 수 있습니다. $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

하자 에 대한 추정 될 .

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

그런 다음 선형 대수를해야합니다. 다음 세 가지 선형 대수 특성에 유의하십시오.

dem 등원 행렬의 순위는 그 트레이스입니다.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ 이 이고 가 경우 ( 이 속성은 아래에서 작동하는 데 중요합니다 ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

따라서

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

그런 다음

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

표준 법선 벡터에서 stat 등원 2 차 형태의 분포에 대한 정리를 적용하면 (위에 설명되어 있음) 입니다. $V \sim \chi^2_{n-p}$

당신이 가정 때문에 정규 분포, 다음 의 독립적 인 , 그리고 이후 의 함수이다 , 다음 또한 독립적 인 . 따라서 와 는 서로 독립적입니다. $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

그런 다음 은 표준 제곱 분포와 카이 제곱 분포의 제곱근의 비율입니다. 자유 분포 의 특성 인 동일한 자유도 (즉, )를 . 따라서, 통계량 는 자유도를 갖는 분포 를 갖는다.

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

그러면 대수적으로보다 친숙한 형태로 조작 될 수 있습니다.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— 블루 마커
소스

또한 부수적 인 질문 :에 대해 대칭이되기 위해Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector 도 필요하지 않습니까? 불행히도, 나는 Greene이 없기 때문에 Wikipedia가 당신과 같은 형식 임을 알았지 만 그 증거를 볼 수 없습니다 . 그러나 카운터 예제는 dem 등원 행렬 인 것 같습니다.이 값은 음수 값을 취할 수 있으므로 Chi-Squared가 아님)로 이어집니다 . ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— 개렛

@Garrett 사과드립니다. 는 대칭적이고 dem 등 이어야합니다. 이 문서에서 정리 3으로 증명이 제공됩니다. www2.econ.iastate.edu/classes/econ671/hallam/documents/… 운 좋게도 은 대칭성이며 dem 등식 입니다.

A

$A$

M

$M$

— Blue Marker

A

$A$ 는 단순히 2 차 형태 의 행렬 표현입니다. 모든 2 차 형태는 대칭 표현을 가지므로 의 대칭 요구 사항은 정리의 진술에 내재되어 있습니다. (사람들은 2 차 형태를 나타 내기 위해 비대칭 행렬을 사용하지 않습니다.) 따라서 2 차 형태 는 행렬 고유하게 나타납니다. 이 아닌 .

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— whuber

이 과 독립적임을 암시하는 이유는 무엇 입니까? 거기에 따르지 않습니다.

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— Glassjawed

@Glassjawed 와 은 다변량 정규 분포이므로 상관 관계는 독립성을 의미합니다. 식 사용 및 행 위의 임을 알 수 있습니다 .

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

OLS 모델의 계수가 (nk) 자유도의 t- 분포를 따르는 지 증명

배경

의문

내 시도