F- 통계량이 F- 분포를 따른다는 증거

이 질문에 비추어 : OLS 모델의 계수가 (nk) 자유도의 t- 분포를 따르는 증거

왜 그런지 이해하고 싶습니다

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)},

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)},$

여기서 는 모형 모수 의 개수 이고 은 관측치의 수이며 는 총 분산이고, 는 잔차 분산은 분포를 따릅니다 . $p$ $n$ $TSS$ $RSS$ $F_{p-1,n-p}$

어디서부터 시작해야할지 모르기 때문에이를 증명하려고 시도조차하지 않았 음을 인정해야합니다.

— 사용자 1627466
소스

크리스토프 행크와 프랜시스는 이미 매우 좋은 대답을했습니다. 선형 회귀에 대한 f 증명 증명을 이해하는 데 여전히 어려움이 있으면 teamdable.github.io/techblog/… 를 확인 하십시오 . 선형 회귀에 대한 ftest의 증거에 대한 블로그 게시물을 작성했습니다. 한국어로 작성되었지만 거의 모든 것이 수학 공식이므로 문제가되지 않을 수 있습니다. 선형 회귀에 대한 f 검정의 증거를 이해하는 데 여전히 어려움이 있다면 도움이되기를 바랍니다.

— 오태호

이 링크가 질문에 대한 답변을 제공 할 수 있지만 여기에 답변의 필수 부분을 포함시키고 참조 용 링크를 제공하는 것이 좋습니다. 링크 된 페이지가 변경되면 링크 전용 답변이 유효하지 않을 수 있습니다. - 리뷰에서

— mkt-

검정 통계량에 대한 공식이 특별한 경우 인 일반적인 경우에 대한 결과를 보여 드리겠습니다. 일반적으로, 우리는 통계량 이 $F$ 분포 의 특성에 따라 독립 $\chi^2$ rvs 의 비율 을 자유 도로 나눈 값 으로 쓰여질 수 있는지 확인해야합니다 .

하자 $H_{0}:R^\prime\beta=r$ 함께 $R$ 및 $r$ 알려진 랜덤하지 및 $R:k\times q$ 전체 열 랭크 갖는 $q$ . 이는 상수 항을 포함하여 ( OP 표기법과 달리) 회귀 에 대한 $q$ 선형 제한을 나타냅니다 . 따라서 @ user1627466의 예에서 은 모든 기울기 계수를 0으로 설정 하는 제한에 해당합니다. $k$ $p-1$ $q=k-1$

감안 $Var\bigl(\hat{\beta}_{\text{ols}}\bigr)=\sigma^2(X'X)^{-1}$ , 우리가

\begin{array}{rcl} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, σ^{2} R^{'} (X^{'} X)^{- 1} R), \end{array}

$\begin{eqnarray*} R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N\left(0,\sigma^{2}R^\prime(X^\prime X)^{-1} R\right), \end{eqnarray*}$ 그 (너무

B^{- 1 / 2} = {R^{'} (X^{'} X)^{- 1} R}^{- 1 / 2}

$B^{-1/2}=\{R^\prime(X^\prime X)^{-1} R\}^{-1/2}$ 의 "행렬 제곱근"인

B^{- 1} = {R^{'} (X^{'} X)^{- 1} R}^{- 1}

$B^{-1}=\{R^\prime(X^\prime X)^{-1} R\}^{-1}$ 을 통해, 예를 들면, 촐레 스키 분해)

\begin{array}{rcl} n := \frac{B^{- 1 / 2}}{σ} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, I_{q}), \end{array}

$\begin{eqnarray*} n:=\frac{B^{-1/2}}{\sigma}R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N(0,I_{q}), \end{eqnarray*}$ 같은

\begin{array}{rcl} V a r (n) & = & \frac{B^{- 1 / 2}}{σ} R^{'} V a r ({\hat{β}}_{ols}) R \frac{B^{- 1 / 2}}{σ} \\ = & \frac{B^{- 1 / 2}}{σ} σ^{2} B \frac{B^{- 1 / 2}}{σ} = I \end{array}

$\begin{eqnarray*} Var(n)&=&\frac{B^{-1/2}}{\sigma}R^\prime Var\bigl(\hat{\beta}_{\text{ols}}\bigr)R\frac{B^{-1/2}}{\sigma}\\ &=&\frac{B^{-1/2}}{\sigma}\sigma^2B\frac{B^{-1/2}}{\sigma}=I \end{eqnarray*}$ 두 번째 줄은 OLSE의 분산을 사용합니다.

이는 도시 된 바와 같이, 링크 한 것을 않음 (참조 여기 ), 독립적 인

d := (n - k) \frac{{\hat{σ}}^{2}}{σ^{2}} \sim χ_{n - k}^{2},

$d:=(n-k)\frac{\hat{\sigma}^{2}}{\sigma^{2}}\sim\chi^{2}_{n-k},$ 여기서,

과 일반적인 바이어스 오차의 분산 추정치이다

인 에 미치지에서 "잔류 메이커 매트릭스"

{\hat{σ}}^{2} = y^{'} M_{X} y / (n - k)

$\hat{\sigma}^{2}=y'M_Xy/(n-k)$

M_{X} = I - X (X^{'} X)^{- 1} X^{'}

$M_{X}=I-X(X'X)^{-1}X'$

X

$X$

따라서, $n'n$ 은 법선의 2 차 형태이므로

\begin{array}{rcl} \frac{\overset{\sim χ_{q}^{2}}{\overset{⏞}{n^{'} n}} / q}{d / (n - k)} = \frac{({\hat{β}}_{ols} - β)^{'} R {R^{'} (X^{'} X)^{- 1} R}^{- 1} R^{'} ({\hat{β}}_{ols} - β) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray*} \frac{\overbrace{n^\prime n}^{\sim\chi^{2}_{q}}/q}{d/(n-k)}=\frac{(\hat{\beta}_{\text{ols}}-\beta)^\prime R\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}R^\prime(\hat{\beta}_{\text{ols}}-\beta)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray*}$ 특히, 아래

H_{0} : R^{'} β = r

$H_{0}:R^\prime\beta=r$ ,이 통계에 감소

\begin{array}{rcl} F = \frac{(R^{'} {\hat{β}}_{ols} - r)^{'} {R^{'} (X^{'} X)^{- 1} R}^{- 1} (R^{'} {\hat{β}}_{ols} - r) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray} F=\frac{(R^\prime\hat{\beta}_{\text{ols}}-r)^\prime\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}(R^\prime\hat{\beta}_{\text{ols}}-r)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray}$

그림의 경우, 특별한 경우의 고려 $R^\prime=I$ , $r=0$ , $q=2$ , 및 . 그리고, $\hat{\sigma}^{2}=1$ $X^\prime X=I$

\begin{array}{rcl} F = {\hat{β}}_{ols}^{'} {\hat{β}}_{ols} / 2 = \frac{{\hat{β}}_{ols, 1}^{2} + {\hat{β}}_{ols, 2}^{2}}{2}, \end{array}

$\begin{eqnarray} F=\hat{\beta}_{\text{ols}}^\prime\hat{\beta}_{\text{ols}}/2=\frac{\hat{\beta}_{\text{ols},1}^2+\hat{\beta}_{\text{ols},2}^2}{2}, \end{eqnarray}$ 때문에, 그 강조 - OLS의 제곱 유클리드 거리 요소의 수에 의해 표준화 원점으로부터 견적

표준 법선 제곱되고 따라서

는

분포가 '평균으로 간주 될 수있다

분포.

{\hat{β}}_{ols, 2}^{2}

$\hat{\beta}_{\text{ols},2}^2$

χ_{1}^{2}

$\chi^2_1$

F

$F$

χ^{2}

$\chi^2$

작은 시뮬레이션 (물론 증거는 아닙니다!)을 선호하는 경우 $k$ 회귀자가 중요하지 않은 것으로 null을 테스트 하여 null 분포를 시뮬레이션합니다.

우리는 이론적 밀도와 Monte Carlo 테스트 통계의 히스토그램 사이에 매우 잘 일치하는 것으로 보입니다.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

질문과 답변의 테스트 통계 버전이 실제로 동등한 지 확인하려면 null이 제한 사항 $R'=[0\;\;I]$ 및 $r=0$ 입니다.

이라고하자 $X=[X_1\;\;X_2]$ 는 널 (null)에서 0으로 제한되는 계수에 따라 분할됩니다 (여러분의 경우 상수를 제외한 모든 것이 따르지만 파생은 일반적입니다). 또한하자 적당하게 분배 OLS가 추정 될. $\hat{\beta}_{\text{ols}}=(\hat{\beta}_{\text{ols},1}^\prime,\hat{\beta}_{\text{ols},2}')'$

R^{'} {\hat{β}}_{ols} = {\hat{β}}_{ols, 2}

$R'\hat{\beta}_{\text{ols}}=\hat{\beta}_{\text{ols},2}$

및

R^{'} (X^{'} X)^{- 1} R \equiv \tilde{D},

$R^\prime(X^\prime X)^{-1}R\equiv\tilde D,$ 우측 하단 블록

\begin{aligned} (X^{T} X)^{- 1} & = {(\begin{array}{cc} X_{1}^{'} X_{1} & X_{1}^{'} X_{2} \\ X_{2}^{'} X_{1} & X_{2}^{'} X_{2} \end{array})}^{- 1} \\ \equiv (\begin{array}{cc} \tilde{A} & \tilde{B} \\ \tilde{C} & \tilde{D} \end{array}) \end{aligned}

$\begin{align*} (X^TX)^{-1}&=\left( \begin{array} {c,c} X_1'X_1&X_1'X_2 \\ X_2'X_1&X_2'X_2\end{array} \right)^{-1}\\&\equiv\left( \begin{array} {c,c} \tilde A&\tilde B \\ \tilde C&\tilde D\end{array} \right) \end{align*}$ 이제 사용파티션 역함수에 대한 결과를얻었다

\tilde{D} = (X_{2}^{'} X_{2} - X_{2}^{'} X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'} X_{2})^{- 1} = (X_{2}^{'} M_{X_{1}} X_{2})^{- 1}

$\tilde D=(X_2'X_2-X_2'X_1(X_1'X_1)^{-1}X_1'X_2)^{-1}=(X_2'M_{X_1}X_2)^{-1}$ 여기서,

M_{X_{1}} = I - X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'}

$M_{X_1}=I-X_1(X_1'X_1)^{-1}X_1'$ .

따라서, 분자의 $F$ 통계 (의해 분할된다없이 $q$ )

F_{n u m} = {\hat{β}}_{ols, 2}^{'} (X_{2}^{'} M_{X_{1}} X_{2}) {\hat{β}}_{ols, 2}

$F_{num}=\hat{\beta}_{\text{ols},2}'(X_2'M_{X_1}X_2)\hat{\beta}_{\text{ols},2}$ 바이 그 다음, 회수 Frisch- 워 - 로벨 정리 우리가 쓸 수 있습니다

{\hat{β}}_{ols, 2} = (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y

$\hat{\beta}_{\text{ols},2}=(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y$ 이므로

\begin{aligned} F_{n u m} & = y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} (X_{2}^{'} M_{X_{1}} X_{2}) (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} {엑스}_{2}^{'} 엠_{{엑스}_{1}} 와이 \\ = {와이}^{'} 엠_{{엑스}_{1}} {엑스}_{2} ({엑스}_{2}^{'} 엠_{{엑스}_{1}} {엑스}_{2})^{- 1} {엑스}_{2}^{'} 엠_{{엑스}_{1}} 와이 \end{aligned}

$\begin{align*} F_{num}&=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}(X_2'M_{X_1}X_2)(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y\\ &=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{align*}$

그것은이 분자가 동일 것을 보여주기 위해 남아 $\text{USSR}-\text{RSSR}$ , 제곱 잔차의 제한 및 제한된 금액의 차이.

RSSR = {와이}^{'} 엠_{{엑스}_{1}} 와이

$\text{RSSR}=y'M_{X_1}y$

y

$y$

X_{1}

$X_1$

H_{0}

$H_0$

T S S = \sum_{i} (y_{i} - \bar{y})^{2}

$TSS=\sum_i(y_i-\bar y)^2$

$\text{USSR}$

엠_{{엑스}_{1}} 와이 에 엠_{{엑스}_{1}} {엑스}_{2}

$M_{X_1}y\quad\text{on}\quad M_{X_1}X_2$

\begin{array}{rcl} 소련 & = & {와이}^{'} 엠_{{엑스}_{1}}^{'} 엠_{엠_{{엑스}_{1}} {엑스}_{2}} 엠_{{엑스}_{1}} 와이 \\ = & {와이}^{'} 엠_{{엑스}_{1}}^{'} (나는 - 피_{엠_{{엑스}_{1}} {엑스}_{2}}) 엠_{{엑스}_{1}} 와이 \\ = & {와이}^{'} 엠_{{엑스}_{1}} 와이 - {와이}^{'} 엠_{{엑스}_{1}} 엠_{{엑스}_{1}} {엑스}_{2} ((엠_{{엑스}_{1}} {엑스}_{2})^{'} 엠_{{엑스}_{1}} {엑스}_{2})^{- 1} (엠_{{엑스}_{1}} {엑스}_{2})^{'} 엠_{{엑스}_{1}} 와이 \\ = & {와이}^{'} 엠_{{엑스}_{1}} 와이 - {와이}^{'} 엠_{{엑스}_{1}} {엑스}_{2} ({엑스}_{2}^{'} 엠_{{엑스}_{1}} {엑스}_{2})^{- 1} {엑스}_{2}^{'} 엠_{{엑스}_{1}} 와이 \end{array}

$\begin{eqnarray*} \text{USSR}&=&y'M_{X_1}'M_{M_{X_1}X_2}M_{X_1}y\\ &=&y'M_{X_1}'(I-P_{M_{X_1}X_2})M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}M_{X_1}X_2((M_{X_1}X_2)'M_{X_1}X_2)^{-1}(M_{X_1}X_2)'M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

그러므로,

\begin{array}{rcl} RSSR - 소련 & = & {와이}^{'} 엠_{{엑스}_{1}} 와이 - ({와이}^{'} 엠_{{엑스}_{1}} 와이 - {와이}^{'} 엠_{{엑스}_{1}} {엑스}_{2} ({엑스}_{2}^{'} 엠_{{엑스}_{1}} {엑스}_{2})^{- 1} {엑스}_{2}^{'} 엠_{{엑스}_{1}} 와이) \\ = & {와이}^{'} 엠_{{엑스}_{1}} {엑스}_{2} ({엑스}_{2}^{'} 엠_{{엑스}_{1}} {엑스}_{2})^{- 1} {엑스}_{2}^{'} 엠_{{엑스}_{1}} 와이 \end{array}

$\begin{eqnarray*} \text{RSSR}-\text{USSR}&=&y'M_{X_1}y-(y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y)\\ &=&y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

— 크리스토프 행크
소스

감사. 이 시점에서 손을 잡는 것으로 생각되는지는 모르겠지만 제곱 베타 베타에서 제곱 합계를 포함하는 표현식으로 어떻게 이동합니까?

— user1627466

@ user1627466에서 두 공식의 동등성을 도출했습니다.

— Christoph Hanck

@ChristophHanck은 매우 포괄적 인 답변을 제공했으며 여기에 언급 된 특수 사례 OP에 대한 증거 스케치를 추가 할 것입니다. 다행히 초보자도 따라하기가 더 쉽기를 바랍니다.

$Y\sim F_{d_1,d_2}$

와이 = \frac{{엑스}_{1} / 디_{1}}{{엑스}_{2} / 디_{2}},

$Y=\frac{X_1/d_1}{X_2/d_2},$

X_{1} \sim χ_{d_{1}}^{2}

$X_1\sim\chi^2_{d_1}$

X_{2} \sim χ_{d_{2}}^{2}

$X_2\sim\chi^2_{d_2}$

F

$F$

F

$F$

c ESS \sim χ_{p - 1}^{2}

$c\text{ESS}\sim\chi^2_{p-1}$

c RSS \sim χ_{n - p}^{2}

$c\text{RSS}\sim\chi^2_{n-p}$

c

$c$

y = X β + ε,

$y=X\beta+\varepsilon,$

X

$X$

n \times p

$n\times p$

ε \sim N_{n} (0, σ^{2} I)

$\varepsilon\sim N_n(\mathbf{0}, \sigma^2I)$

H = X (X^{T} X)^{- 1} X^{T}

$H=X(X^TX)^{-1}X^{T}$

\hat{y} = H y

$\hat{y}=Hy$

M = I - H

$M=I-H$

H

$H$

M

$M$

tr (H) = p

$\operatorname{tr}(H)=p$

H X = X

$HX=X$

$J$

TSS = {와이}^{티} (나는 - \frac{1}{엔} J) 와이, RSS = {와이}^{티} 엠 와이, ESS = {와이}^{티} (H - \frac{1}{엔} J) 와이 .

$\text{TSS}=y^T\left(I-\frac{1}{n}J\right)y,\quad\text{RSS}=y^TMy,\quad\text{ESS}=y^T\left(H-\frac{1}{n}J\right)y.$

M + (H - J / n) + J / n = I

$M+(H-J/n)+J/n=I$

J / n

$J/n$

rank (M) + rank (H - J / n) + rank (J / n) = n

$\operatorname{rank}(M)+\operatorname{rank}(H-J/n)+\operatorname{rank}(J/n)=n$

H - J / n

$H-J/n$

M (H - J / n) = 0

$M(H-J/n)=0$

$F$ $F$

$x\sim N_n(\mu,\Sigma)$ $A$ $r$ $A\Sigma$ $x^TAx\sim\chi^2_r(\mu^TA\mu/2)$ $\chi^2$ $r$ $\mu^TA\mu/2$ 증거도 여기 에서 찾을 수 있습니다 .
$x\sim N_n(\mu,\Sigma)$ $A\Sigma B=0$ $x^TAx$ $x^TBx$

$y\sim N_n(X\beta,\sigma^2I)$

\frac{ESS}{σ^{2}} = {(\frac{와이}{σ})}^{티} (H - \frac{1}{엔} J) \frac{와이}{σ} \sim χ_{피 - 1}^{2} ((엑스 β)^{티} (H - \frac{J}{엔}) 엑스 β) .

$\frac{\text{ESS}}{\sigma^2}=\left(\frac{y}{\sigma}\right)^T\left(H-\frac{1}{n}J\right)\frac{y}{\sigma}\sim\chi^2_{p-1}\left((X\beta)^T\left(H-\frac{J}{n}\right)X\beta\right).$

β = 0

$\beta=\mathbf{0}$

ESS / σ^{2} \sim χ_{p - 1}^{2}

$\text{ESS}/\sigma^2\sim\chi^2_{p-1}$

y^{T} M y = ε^{T} M ε

$y^TMy=\varepsilon^TM\varepsilon$

H X = X

$HX=X$

RSS / σ^{2} \sim χ_{n - p}^{2}

$\text{RSS}/\sigma^2\sim\chi^2_{n-p}$

M (H - J / n) = 0

$M(H-J/n)=0$

ESS / σ^{2}

$\text{ESS}/\sigma^2$

RSS / σ^{2}

$\text{RSS}/\sigma^2$

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)} = \frac{\frac{ESS}{σ^{2}} / (p - 1)}{\frac{RSS}{σ^{2}} / (n - p)} \sim F_{p - 1, n - p} .

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}=\frac{\dfrac{\text{ESS}}{\sigma^2}/(p-1)}{\dfrac{\text{RSS}}{\sigma^2}/(n-p)}\sim F_{p-1,n-p}.$

— 프랜시스
소스