이것은 실제로 회귀에 대한 기본 이해에 도전하는 멋진 질문입니다.
먼저 표기법에 대한 초기 혼란을 제거하십시오. 우리는 회귀를보고 있습니다 :
y=b0+b1x+u^
여기서 과 은 실제 및 이고 는 회귀의 잔차입니다. 따라서 근본적인 참 및 보존되지 않은 회귀는 다음과 같이 표시됩니다.b0b1β0β1u^
y=β0+β1x+u
기대의 이고 분산이 . 일부 책은 를 하며 여기에서이 규칙을 적용합니다. 또한 행렬 표기법을 사용합니다. 여기서 b 는 의 추정값을 보유하는 2x1 벡터 , 즉 입니다. (명확성을 위해 다음 계산에서 X를 고정 된 것으로 간주합니다.)E[u]=0E[u2]=σ2bβ^β=[β0,β1]′b=[b0,b1]′
이제 당신의 질문에. 공분산에 대한 공식은 실제로 정확합니다.
σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1
이 공식에서 관측되지 않은 계수 을 어떻게 습니까? 수식을 확장하여 한 단계 더 나아가면 실제로 취소됩니다 . 이를 확인하기 위해 추정기의 모집단 분산은 다음과 같습니다.β0,β1
Var(β^)=σ2(X′X)−1
이 행렬은 대각선 요소의 분산과 비 대각선 요소의 공분산을 유지합니다.
위의 공식에 도달하려면 행렬 표기법을 사용하여 클레임을 일반화하십시오. 그러므로 분산을 표시 하고 기대를 나타내겠습니다 .Var[⋅]E[⋅]
Var[b]=E[b2]−E[b]E[b′]
기본적으로 행렬 표기법을 사용하는 일반 분산 공식이 있습니다. 추정값 에 대한 표준 표현식을 대입하면 방정식이 해결됩니다 . 또한 가 바이어스되지 않은 추정량 이라고 가정 합니다. 따라서 우리는 다음을 얻습니다.b=(X′X)−1X′yE[b]=β
E[((X′X)−1X′y)2]−β22×2
우리는 오른쪽에 2-2x2 행렬, 즉 가 있지만이 시점에서 이미이 용어로 어떤 일이 일어날 지 짐작할 수 있습니다.β2bb′
위의 실제 기본 데이터 생성 프로세스에 대한 표현으로 를 대체 하면 다음과 같습니다.y
E[((X′X)−1X′y)2]−β2=E[((X′X)−1X′(Xβ+u))2]−β2=E[((X′X)−1X′X=Iβ+(X′X)−1X′u)2]−β2=E[(β+(X′X)−1X′u)2]−β2=β2+E[(X′X)−1X′u)2]−β2
이기 때문에 . 또한 2 차 항은 예상대로 취소됩니다.E[u]=0β2
따라서 우리는 :
Var[b]=((X′X)−1X′)2E[u2]
기대의 선형성. 참고로 가정하여 및 이후 A는 대칭 행렬과 전치로서 이와 같은. 마침내 우리는 도착E[u2]=σ2((X′X)−1X′)2=(X′X)−1X′X(X′X)′−1=(X′X)−1X′XK×K
Var[b]=σ2(X′X)−1
이제 모든 용어를 제거했습니다 . 직관적으로, 추정기의 분산은 실제 변수가 아니기 때문에 실제 기본 계수의 값과 무관합니다. 결과는 책에 표시된대로 분산 공분산 행렬의 모든 개별 요소에 유효하므로 대각선을 벗어난 요소뿐만 아니라 과 함께 각각 취소 할 수도 있습니다. 유일한 문제는 처음에이 취소를 반영하지 않는 분산에 대한 일반 공식을 적용했다는 것입니다.ββ0β1
궁극적으로 계수의 분산은 와는 독립적입니다 . 그러나 이것은 무엇을 의미합니까? (일반 공분산 행렬에 대한 일반적인 이해도를 요청했습니다)σ2(X′X)−1β
책의 공식을보십시오. 실제 기본 오차 항이 더 시끄러울 때 ( 증가) 추정기의 분산이 증가한다고 주장 하지만 X의 확산이 증가하면 감소 합니다. 더 많은 관측치가 실제 값을 중심으로 분산되므로 일반적으로 더 정확하고 따라서 실제 가까운 추정량을 작성할 수 있습니다 . 반면, 대각선 이외의 공분산 항은 과 같은 관절 가설의 가설 검정에서 실제로 관련이 있습니다. 그 외에는 실제로 약간의 퍼지입니다. 이것이 모든 질문을 명확히하기를 바랍니다.σ2βb0=b1=0
