간단한 선형 회귀 분석에서 회귀 계수의 편차 도출


37

간단한 선형 회귀 분석에서 y=β0+β1x+u . 여기서 uiidN(0,σ2) . 추정값을 도출했습니다 :

β1^=i(xix¯)(yiy¯)i(xix¯)2 ,
여기서x¯y¯xy의 표본 평균입니다.y .

지금은의 분산 찾으려면 β 1 . 나는 다음과 같은 것을 파생시켰다 : Var ( ^ β 1 ) = σ 2 ( 1 1β^1

Var(β1^)=σ2(11n)i(xix¯)2 .

도출은 다음과 같습니다.

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=1(i(xix¯)2)2Var(i(xix¯)(β0+β1xi+ui1nj(β0+β1xj+uj)))=1(i(xix¯)2)2Var(β1나는(엑스나는엑스¯)2+나는(엑스나는엑스¯)(나는제이제이))=1(나는(엑스나는엑스¯)2)2바르(나는(엑스나는엑스¯)(나는제이제이))=1(나는(엑스나는엑스¯)2)2×이자형[(나는(엑스나는엑스¯)(나는제이제이)이자형[나는(엑스나는엑스¯)(나는제이제이)]=0)2]=1(나는(엑스나는엑스¯)2)2이자형[(나는(엑스나는엑스¯)(나는제이제이))2]=1(나는(엑스나는엑스¯)2)2이자형[나는(엑스나는엑스¯)2(나는제이제이)2] , 이후 나는 의 iid입니다=1(나는(엑스나는엑스¯)2)2나는(엑스나는엑스¯)2이자형(나는제이제이)2=1(나는(엑스나는엑스¯)2)2나는(엑스나는엑스¯)2(이자형(나는2)2×이자형(나는×(제이제이))+이자형(제이제이)2)=1(나는(엑스나는엑스¯)2)2나는(엑스나는엑스¯)2(σ22σ2+σ2)=σ2나는(엑스나는엑스¯)2(11)

내가 여기서 뭔가 잘못 했니?

행렬 표기법으로 모든 것을 수행하면 . 그러나 개념을 이해하기 위해 행렬 표기법을 사용하지 않고 답을 도출하려고합니다.V에이아르 자형(β1^)=σ2나는(엑스나는엑스¯)2


2
예, 행렬 표기법의 수식이 정확합니다. 문제의 공식을 보면 모집단 표준 편차 대신 샘플 표준 편차를 사용하는 것처럼 보입니까? 파생을 보지 않으면 더 이상 말하기가 어렵습니다. 11n=n1n
TooTone

일반 답변은 stats.stackexchange.com/questions/91750 의 중복 스레드에도 게시되었습니다 .
우버

답변:


35

파생을 시작할 때 y iˉ y를 모두 확장하는 과정에서 괄호 를 곱합니다 . 전자는 합 변수 i 에 의존 하지만 후자는 그렇지 않습니다. ˉ y 를 그대로두면 유도가 훨씬 간단합니다. i ( x iˉ x ) ˉ yi(xix¯)(yiy¯)yiy¯iy¯

i(xix¯)y¯=y¯i(xix¯)=y¯((ixi)nx¯)=y¯(nx¯nx¯)=0

금후

i(xix¯)(yiy¯)=i(xix¯)yii(xix¯)y¯=i(xix¯)yi=i(xix¯)(β0+β1xi+ui)

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=Var(i(xix¯)(β0+β1xi+ui)i(xix¯)2),substituting in the above=Var(i(xix¯)uii(xix¯)2),noting only ui is a random variable=i(xix¯)2Var(ui)(i(xix¯)2)2,independence of ui and, Var(kX)=k2Var(X)=σ2i(xix¯)2

원하는 결과입니다.


부수적으로, 나는 당신의 파생에서 오류를 찾으려고 오랜 시간을 보냈습니다. 결국 나는 재량이 용기의 더 나은 부분이라고 결정하고 더 간단한 접근법을 시도하는 것이 가장 좋습니다. 그러나 기록을 위해이 단계가 정당화되었는지 확신하지 못했습니다.

=.1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid
because it misses out the cross terms due to jujn.

I noticed that I could use the simpler approach long ago, but I was determined to dig deep and come up with the same answer using different approaches, in order to ensure that I understand the concepts. I realise that first juj^=0 from normal equations (FOC from least square method), so u^¯=iuin=0, plus u^¯=y¯y^¯=0, so y¯=y^¯. So there won't be the term jujn in the first place.
mynameisJEFF

ok, in your question the emphasis was on avoiding matrix notation.
TooTone

Yes, because I was able to solve it using matrix notation. And notice from my last comment, I did not use any linear algebra. Thanks for your great answer anyway^.^
mynameisJEFF

sorry are we talking at cross-purposes here? I didn't use any matrix notation in my answer either, and I thought that was what you were asking in your question.
TooTone

sorry for misunderstanding haha...
mynameisJEFF

2

I believe the problem in your proof is the step where you take the expected value of the square of i(xix¯)(uijujn). This is of the form E[(iaibi)2], where ai=xix¯;bi=uijujn. So, upon squaring, we get E[i,jaiajbibj]=i,jaiajE[bibj]. Now, from explicit computation, E[bibj]=σ2(δij1n), so E[i,jaiajbibj]=i,jaiajσ2(δij1n)=iai2σ2 as iai=0.


1

Begin from "The derivation is as follow:" The 7th "=" is wrong.

Because

i(xix¯)(uiu¯)

=i(xix¯)uii(xix¯)u¯

=i(xix¯)uiu¯i(xix¯)

=i(xix¯)uiu¯(ixinx¯)

=i(xix¯)uiu¯(ixiixi)

=i(xix¯)uiu¯0

=i(xix¯)ui

So after 7th "=" it should be:

1(i(xix¯)2)2E[(i(xix¯)ui)2]

=1(i(xix¯)2)2E(i(xix¯)2ui2+2ij(xix¯)(xjx¯)uiuj)

=1(i(xix¯)2)2E(i(xix¯)2ui2)+2E(ij(xix¯)(xjx¯)uiuj)

=1(i(xix¯)2)2E(i(xix¯)2ui2), because ui and uj are independent and mean 0, so E(uiuj)=0

=1(i(xix¯)2)2(i(xix¯)2E(ui2))

σ2(i(xix¯)2)2


1
It might be helpful if you edited your answer to include the correct line.
mdewey

Your answer is being automatically flagged as low quality because it's very short. Please consider expanding on your answer
Glen_b
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.