에 조건부로 OLS 추정기


17

내가 아는 그 이것은 내가 분산을 계산 할 때 가지고 얼마나 멀리입니다 :

β0^=y¯β1^x¯

Var(β0^)=Var(y¯β1^x¯)=Var((x¯)β1^+y¯)=Var((x¯)β1^)+Var(y¯)=(x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2i=1n(xix¯)2

그러나 그것은 내가 가진 한 멀리 있습니다. 내가 계산하려고하는 마지막 공식은

Var(β0^)=σ2n1i=1nxi2i=1n(xix¯)2

내가 얻는 방법을 잘 모르겠어요 내 수학을 가정하고 거기에 올바른까지입니다 .

(x¯)2=1ni=1nxi2

이것이 올바른 길입니까?

(x¯)2=(1ni=1nxi)2=1n2(i=1nxi)2

나는 그것이 간단하다는 것을 확신하므로 누군가 나를 올바른 방향으로 밀어 줄 힌트가 있으면 대답이 조금 기다릴 수 있습니다.


2
이것은 올바른 길이 아닙니다. 네 번째 방정식은 유지되지 않습니다. 예를 들어 , 및 인 경우 왼쪽 항은 0이고 오른쪽 항은 입니다. 문제는 분산을 나누는 단계 (두 번째 방정식의 세 번째 줄)에서 발생합니다. 왜 보입니까? x1=1x2=0x3=12/3
QuantIbex

Quantlbex 포인트를 향한 힌트 : 분산은 선형 함수가 아닙니다. 가산 성과 스칼라 곱셈을 모두 위반합니다.
David Marx

@DavidMarx 그 단계는 이어야합니다
=Var((x¯)β1^+y¯)=(x¯)2Var(β1^)+y¯
. 대한 β1^y¯ (확인이를 위해 무엇을해야하지하지만 난 더 그것에 대해 생각하는 것이다), 올바른 경로 I 희망에 나를 넣어해야합니다.
MT

이것은 정확하지 않습니다. 합의 분산이 분산의 합과 같도록 요구되는 조건을 생각하십시오.
QuantIbex

2
아니요, y i = β 0 + β 1 x i + ϵ 이므로 y¯ 는 랜덤입니다 . 여기서 ϵ 는 (랜덤) 노이즈를 나타냅니다. 그러나 좋아, 내 이전 의견은 오도되었을 수 있습니다. 또한 ab가 상수를 나타내는 경우 V a r ( a X + b ) = a 2 V a r ( X ) 입니다. yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)ab
QuantIbex

답변:


19

이것은 자체 학습 질문이므로 솔루션을 찾는 데 도움이되는 힌트를 제공하며 피드백 / 진행 상황에 따라 답변을 편집하겠습니다.

제곱의 합을 최소화하는 매개 변수 예상 β 0

β^0=y¯β^1x¯,β^1=i=1n(xix¯)yii=1n(xix¯)2.
의 분산 얻을β0, 그 식으로부터 시작의 표현 대신β1및 대수 수행 V에게R을(β0)=VR(ˉY가-β1ˉX)=...β^0β^1
Var(β^0)=Var(Y¯β^1x¯)=

편집 :
우리는이 두 가지 분산 항은 Var( ˉ Y )=Var( 1

Var(β^0)=Var(Y¯β^1x¯)=Var(Y¯)+(x¯)2Var(β^1)2x¯Cov(Y¯,β^1).
V R ( β 1 )
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)=σ2n,
및 공분산 항은 C를O를V( ˉ Y , β 1)
Var(β^1)=1[i=1n(xix¯)2]2i=1n(xix¯)2Var(Yi)=σ2i=1n(xix¯)2,
Cov(Y¯,β^1)=Cov{1ni=1nYi,j=1n(xjx¯)Yji=1n(xix¯)2}=1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}=1ni=1n(xix¯)2i=1n(xjx¯)j=1nCov(Yi,Yj)=1ni=1n(xix¯)2i=1n(xjx¯)σ2=0
since i=1n(xjx¯)=0.
And since
i=1n(xix¯)2=i=1nxi22x¯i=1nxi+i=1nx¯2=i=1nxi2nx¯2,
we have
Var(β^0)=σ2n+σ2x¯2i=1n(xix¯)2=σ2ni=1n(xix¯)2{i=1n(xix¯)2+nx¯2}=σ2i=1nxi2ni=1n(xix¯)2.

Edit 2

Why do we have var(i=1nYi)=i=1nVar(Yi)?

The assumed model is Yi=β0+β1Xi+ϵi, where the ϵi are independant and identically distributed random variables with E(ϵi)=0 and var(ϵi)=σ2.

Once we have a sample, the Xi are known, the only random terms are the ϵi. Recalling that for a random variable Z and a constant a, we have var(a+Z)=var(Z). Thus,

var(i=1nYi)=var(i=1nβ0+β1Xi+ϵi)=var(i=1nϵi)=i=1nj=1ncov(ϵi,ϵj)=i=1ncov(ϵi,ϵi)=i=1nvar(ϵi)=i=1nvar(β0+β1Xi+ϵi)=i=1nvar(Yi).
The 4th equality holds as cov(ϵi,ϵj)=0 for ij by the independence of the ϵi.

I think I got it! The book has suggested steps, and I was able to prove each step separately (I think). It's not as satisfying as just sitting down and grinding it out from this step, since I had to prove intermediate conclusions for it to help, but I think everything looks good.
M T

See edit for the development of the suggested approach.
QuantIbex

The variance of the sum equals the sum of the variances in this step:
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)
because since the Xi are independent, this implies that the Yi are independent as well, right?
M T

Also, you can factor out a constant from the covariance in this step:
1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}
even though it's not in both elements because the formula for covariance is multiplicative, right?
M T

1
@oort, in the numerator you have the sum of n terms that are identical (and equal to σ2), so the numerator is nσ2.
QuantIbex

1

I got it! Well, with help. I found the part of the book that gives steps to work through when proving the Var(β^0) formula (thankfully it doesn't actually work them out, otherwise I'd be tempted to not actually do the proof). I proved each separate step, and I think it worked.

I'm using the book's notation, which is:

SSTx=i=1n(xix¯)2,
and ui is the error term.

1) Show that β^1 can be written as β^1=β1+i=1nwiui where wi=diSSTx and di=xix¯.

This was easy because we know that

β^1=β1+i=1n(xix¯)uiSSTx=β1+i=1ndiSSTxui=β1+i=1nwiui

2) Use part 1, along with i=1nwi=0 to show that β1^ and u¯ are uncorrelated, i.e. show that E[(β1^β1)u¯]=0.

E[(β1^β1)u¯]=E[u¯i=1nwiui]=i=1nE[wiu¯ui]=i=1nwiE[u¯ui]=1ni=1nwiE(uij=1nuj)=1ni=1nwi[E(uiu1)++E(uiuj)++E(uiun)]

and because the u are i.i.d., E(uiuj)=E(ui)E(uj) when ji.

When j=i, E(uiuj)=E(ui2), so we have:

=1ni=1nwi[E(ui)E(u1)++E(ui2)++E(ui)E(un)]=1ni=1nwiE(ui2)=1ni=1nwi[Var(ui)+E(ui)E(ui)]=1ni=1nwiσ2=σ2ni=1nwi=σ2nSSTxi=1n(xix¯)=σ2nSSTx(0)=0

3) Show that β0^ can be written as β0^=β0+u¯x¯(β1^β1). This seemed pretty easy too:

β0^=y¯β1^x¯=(β0+β1x¯+u¯)β1^x¯=β0+u¯x¯(β1^β1).

4) Use parts 2 and 3 to show that Var(β0^)=σ2n+σ2(x¯)2SSTx:

Var(β0^)=Var(β0+u¯x¯(β1^β1))=Var(u¯)+(x¯)2Var(β1^β1)=σ2n+(x¯)2Var(β1^)=σ2n+σ2(x¯)2SSTx.

I believe this all works because since we provided that u¯ and β1^β1 are uncorrelated, the covariance between them is zero, so the variance of the sum is the sum of the variance. β0 is just a constant, so it drops out, as does β1 later in the calculations.

5) Use algebra and the fact that SSTxn=1ni=1nxi2(x¯)2:

Var(β0^)=σ2n+σ2(x¯)2SSTx=σ2SSTxSSTxn+σ2(x¯)2SSTx=σ2SSTx(1ni=1nxi2(x¯)2)+σ2(x¯)2SSTx=σ2n1i=1nxi2SSTx

There might be a typo in point 1; I think var(β^) should read β^.
QuantIbex

You might want to clarify notations, and specify what ui and SSTx are.
QuantIbex

ui is the error term and SSTx is the total sum of squares for x (defined in the edit).
M T

1
In point 1, the term β1 is missing in the last two lines.
QuantIbex

1
In point 2, you can't take u¯ out of the expectation, it's not a constant.
QuantIbex
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.