조건부 평균 독립성은 OLS 추정기의 편견과 일관성을 의미합니다

다음 다중 회귀 모델을 고려하십시오.

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

여기서 는 열 벡터이며; 행렬; a column vector; 행렬; 열 벡터; 그리고 오류 항인 는 열 벡터입니다. $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

질문

제 강사, Econometrics 소개 교과서 제 3 판. James H. Stock 및 Mark W. Watson, p. 281 및 계량 경제학 : Honor 's Exam Review Session (PDF) , p. 7, 나에게 다음을 표현했다.

조건부 평균 독립 이라고 하는 것을 정의하면 $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
조건부 평균 제로 가정 제외하고 최소 제곱 가정이 만족되면 ( ) (1 참조) 아래 -3), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
에서 의 OLS 추정기 는 이 약한 가정 하에서 편향되지 않고 일관성을 유지 한다. $\hat{\beta}$ $\beta$ $(1)$

이 제안을 어떻게 증명합니까? 즉, 위의 1과 2는 의 OLS 추정치 가 우리에게 ? 이 제안을 증명하는 연구 기사가 있습니까? $\beta$ $\beta$

논평

가장 간단한 경우는 선형 회귀 모형 을 고려하고 OLS 추정치 이 은 각 에 대해 이면 편향되지 않습니다 .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

가정하면 UNBIASEDNESS의 증거 및 공동으로 정규 분포를 $U_i$ $Z_i$

정의한 다음 및따라서 은 으로 다시 쓰여질 수있다 의해 를 따른다. 이제 와 가 함께 정규 분포 되기 때문에 정규 분포 이론, cf. 다변량 정규 분포의 조건부 분포를 도출 , 말한다 (사실, 우리가 공동 정상 만이 ID를 가정 할 필요가 없습니다) 일부 로 벡터 $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

이제 는 가됩니다. 모델 경우 오차 항 가 조건부 가정을 만족하므로 모든 최소 자승 가정이 충족됩니다. 평균은 0입니다. 이것은 OLS이 견적을 의미 의 우리가 할 수있는 경우에 대해, 바이어스 것 및하자 수 에 의해 이루어지는 행렬 및 다음 OLS 추정치는 에서 다음을 고려하여 주어진다 $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

따라서 여기서 두 번째 줄은 뒤에옵니다 . 따라서 는 모델 대해 제공된 OLS 추정치 가 모델 대해 제공된 것과 일치 하기 때문에 조건부로 편향되지 않은 추정치입니다 . 이제 총 기대 법칙에 따르면 따라서 에 대한 바이어스이다 추정기 .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

( 이므로 의 계수 가 반드시 바이어스되지 않아도됩니다.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

그러나 위의 특별한 경우는 와 가 공동으로 정규 분포되어 있다고 가정합니다. 이 가정없이 제안을 어떻게 증명합니까? $U_i$ $Z_i$

항상 충분 하다고 가정하면 (cf. ) 조건부 평균 제로 가정을 제외하고 와 최소 제곱 가정을 사용하여 결과를 도출해야합니다 ( 아래 참조). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

일관성에 관한

나는 1도 추정 것을 볼 수 있다고 생각 에 대한 일치 회귀 모델에 있음을 알아 차리지에 의해 가정을 포함한 모든 최소 제곱 가정 만족하는 그 (신규) 오류 용어 만족 조건부 평균 제로 가정 (참조 및 아래 참조). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

나중에 Econometrics 소개, 3 판 의 일련의 연습을 기반으로 일관성 증명을 추가 할 수 있습니다 . James H. Stock 및 Mark W. Watson, ch. 18. 그러나이 증명은 매우 길다. 그러나 여기서 요점은 연습에서 제공된 증명이 가정한다고 가정 하므로 여전히 가정 충분한 지 궁금합니다 . $(**)$ $(2)$

서브 쿼리 1

에서 계량 경제학, 3 편을 소개. James H. Stock과 Mark W. Watson에 의해 p. 300, 비선형 회귀 이론을 사용하여 가정 을 완화 할 수 있다고 가정 합니다. 이것들은 무엇을 의미합니까? $(**)$

마지막 스퀘어 가정

여기서 우리가 증명하려고하는 제안이 경우를 허용하기 때문에 이라는 조건부 평균 제로 가정을 배제합니다 . 예를 들어 가 와 상관 된 경우 입니다. Cf. 계량 경제학 : Honor 's Exam Review Session (PDF) , p. 7. $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

최소 제곱 가정은 다음과 같습니다.

공동 분포 , 여기서, IID된다 는 IS : th 요소의 및 및 있다 의 번째 행 벡터 : 및 . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
대형 아웃 라이어는 각각, 즉, 가능성이 , 및 곳, 유한 넷째 순간이 는 IS 에 번째 요소 : . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ 는 전체 열 순위를 갖습니다 (즉, 완벽한 다중 공선 성이 없으므로 의 가역성을 보장합니다 ). $W^TW$
( 확장 최소 제곱 가정 : 이것이 필요하다고 생각하지 않지만 (나에게 그렇지 않다고 말함), 우리는 또한 동종 학을 가정 할 수도 있습니다 : 각 에 대해 이고 주어진 의 조건부 분포 는 각 에 대해 입니다 (즉, 정규 오류가 있습니다). $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

용어에 대한 참고 사항

에서 , 조건부 평균 제로 가정은 있다는 가정이다 . 그러나 조건부 평균 독립 가정은 입니다. $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

이 용어는 예를 들어 Econometrics 소개, 제 3 판에서 사용됩니다. James H. Stock 및 Mark W. Watson, p. 281; 및 단면 및 패널 데이터, 첫번째 에디션의 계량 경제 분석. Jeffrey M. Wooldridge, p. 607. 유사한 논의에 대해서는 조건부 독립 제한 사항 : 테스트 및 추정 을 참조하십시오 .

추가 사고 및 하위 질문 2

나는 조건부 평균 독립성이 공정한 OLS 추정치 인 보장하지 않는다는 James H. Stock 및 Mark W. Watson과는 반대로 생각 합니다. 때문이다 같은, 비선형 형태를 취할 수 있는 다항식 , 또는 여기서 여기서 는 아직 추정되지 않은 일부 매개 변수 (여기서는 행렬 지수를 사용하고 있습니다 ), 그리고 비선형 회귀 를 적용해야 한다고 생각 합니다. 또한 의 (1)에 있는 OLS 추정치가 의 OLS 추정치와 일치하지 않을 수도 있습니다. $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ 가 특정 비선형 형태를 취한 다면 에서 . (심리적으로도 Stock & Watson이 저술 한 진술이 사실이 되기에는 너무 좋다고 생각합니다.) $(4)$ $E(U|Z)$

따라서 조건부 평균 독립으로 인해 편향되지 않은 OLS 추정치가 발생한다는 제안에 반대되는 사례가 있다면 추가 질문이 있습니까?

서브 쿼리 3

에서 대부분 무해한 계량 경제학 Angrist & Pischke는 하위 섹션 3.3, P는 주장한다. 68 ~ 91에서, 조건부 독립 (CI) 하에서, 즉 는 주어진 와 독립적이며 (위의 조건부 평균 독립 가정보다 더 강한 조건 인 것) 일치하는 추정치 사이에는 밀접한 관련이 있습니다. 효과 에 와의 계수 의 회귀 에서 및 CI 하에서 OLS 온 계수 추정치 있다는 동기를 부여 의 $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ CI가 유지되지 않는 경우 (다른 모든 경우)보다 편향이 적습니다.

자,이 아이디어가 어떻게 든 내 주요 질문에 대답하는 데 어떻게 사용할 수 있습니까?

— 엘리아스
소스

@ Xi'an 무슨 뜻인가요? 그것이 나의 교과서에 주어진 조건부 평균 독립성의 정의입니다 : 만약 우리가 선형 회귀 분석에서 에 , 우리는 우리는 조건부 평균 독립성을 가지고 있습니다. 방금 쓰는 방식이 더 일반적이라고 생각했습니다.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an이 경우 "조건부 독립 $ ce"를 어떻게 정의 하시겠습니까? 제가 생각하기에 "조건부 독립"은 "조건부 평균 독립"과는 다른 개념입니다. 그것들은 개념적으로 연결되거나 연결되지 않을 수 있습니다.

— Elias

@ Xi'an 이것은 개념을 이해하는 방법입니다. 조건부 독립은 이지만 조건부 평균 독립은 .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias

시안 코멘트는 어디에 있습니까?

— Michael R. Chernick 2016

@MichaelChernick 그의 의견은 첫 번째였습니다. 그가 삭제 했어야한다고 생각합니다. 내가 기억하는 것처럼 그는 는 조건부 독립성을 의미하지 않는다고 말했고 나는 대답했다.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias

답변:

거짓입니다. 아시다시피, Stock과 Watson을 자세히 읽으면 조건부 평균 독립에서 OLS가 에 대해 편향되어 있지 않다는 주장을 실제로 보증하지는 않습니다 . 그들은 경우 OLS가 대해 편향되어 있지 않다는 훨씬 약한 주장을지지합니다 . 그런 다음 비선형 최소 제곱에 대해 모호한 말을합니다. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

방정식 (4)에는 주장이 거짓이라는 것을 알기 위해 필요한 것이 포함되어 있습니다. 변수 를 생략 하면서 OLS로 방정식 (4)를 추정하면 변수 바이어스가 생략됩니다. 아시다시피, 생략 된 변수의 편차 항 (생략 된 변수의 계수가 1 인 경우)은 다음 보조 회귀의 계수에 의해 제어됩니다. 원래 회귀 바이어스 인 이 회귀로부터의 바이어스와 IS . 경우 과 상관 조절하여, 직선 에 대해 $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ 이면 은 0이 OLS 계수는 바이어스됩니다.

α_{1}

$\alpha_1$

요점을 증명하는 예제는 다음과 같습니다.

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

위한 화학식 찾고 , 분명하다 보조 회귀 찾고, 그것이 명확 ( 의 우연한 선택 이없는 경우 ) 은 0이 아닙니다. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

R요점을 보여주는 매우 간단한 예는 다음과 같습니다 .

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

첫 번째 회귀는 계수가 주어 지며, 이는 가 와 같이 " 일부 를 갖는다"는 사실을 반영하여 0.63만큼 바이어스됩니다 . 보조 회귀는 약 0.63의 바이어스 추정치를 제공합니다. $x$ $x$ $z^2$ $E(u|z)$

그렇다면 Stock과 Watson (및 강사)은 무엇에 대해 이야기하고 있습니까? 방정식 (4)로 돌아가 봅시다 :

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

생략 된 변수는 의 함수일 뿐이 라는 것이 중요 합니다. 우리가 실제로 잘 제어 할 수 있다면 , 가 와 상관 관계가 있더라도 회귀로부터 편향을 제거하기에 충분할 것 같습니다 . $z$ $z$ $x$ $u$

함수 를 추정하기 위해 비모수 적 방법을 사용하거나 올바른 함수 형태 사용하여 아래 방정식을 추정한다고 가정 합니다 . 올바른 함수 형식을 사용하는 경우 비선형 최소 제곱으로 계산합니다 (NLS에 대한 암호 주석 설명) : 더 이상 생략 된 변수 문제가 없기 때문에 대한 일관된 추정값을 제공합니다 . $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

또는 충분한 데이터가 있으면 제어에``완벽하게 ''갈 수 있습니다. 우리는 데이터의 하위 집합 볼 수 있었다 , 그냥 회귀 분석을 실행이 : 이것은에 대한 편견, 일치 추정량을 줄 것 제외 물론 절편은 의해 오염 될 것 입니다. 분명히 데이터 포인트에서만 회귀를 실행하여 (다른) 일관되고 편향되지 않은 추정량을 얻을 수 있습니다 . 그리고 지점에 대한 또 하나 . 그런 다음 어떻게 든 훌륭한 견적을 만들 수있는 좋은 견적자가 많이 있습니다. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

후자의 생각은 일치하는 추정자에 대한 영감입니다. 문자 그대로 만 회귀 분석을 실행에 우리가 일반적으로 충분한 데이터를 가지고 있지 않기 때문에 또는 점 쌍에 대한 동일을, 우리는 대신 점의 회귀 실행 ``충분히 가까이가 '동일한 것을하는 것입니다. $z=1$ $z$ $z$

— 계산서
소스

이 결과는 일반적인 진술에서 사실이 아니기 때문에 입증 할 수 없습니다. 방정식의 모델부터 시작하십시오. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

여기서 큰 괄호는 실제 오차 항을 나타냅니다 (아직 조건부 기대에 대한 가정은 없음). 잔차 메이커 또는 소멸자 행렬 . 이는 대칭적이고 입니다. $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

"분할 회귀 결과"를 통해

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

오른쪽의 첫 번째 용어는 이미 0입니다. 전체적으로 기대 값을 취한 다음 조건부 예상에 타워 특성을 적용하면 세 번째 항도 0이됩니다 (조건부 평균 독립성을 약한 형태로 사용). 그러나이 약한 가정은 우리를 떠나게 될 것입니다.

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

들어 unbiasedness 우리는 오른쪽이 제로가되고 싶어요. 경우에 개최한다 의 선형 함수이다 (당신은 또한 발견) 우리가 다시 제로 얻기 때문에 . 그러나 그렇지 않으면 전체 예상 값이 0이라고 직접 가정하는 것은 완전히 임의적입니다. 공동 규범 성을 가정 할 필요는 없지만이 조건부 기대치의 선형성을 가정해야합니다 (다른 분포에도이 특성이 있음). 따라서 편견에 필요한 가정 은 $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

나는 엄격한 exogeneity가 평균 독립성 측면에서 언급되어 있기 때문에이 (모든 회귀 변수의 엄격한 exogeneity에 비해, 정말 "약한"인지 여부를 말할 수 있는 모든 우리는 배포판의 종류를 제한 할 필요가 여기에있는 동안, 분배 가정이 와 따라). $U$ $Z$

이러한 선형성 가정 하에서 도 일관성 이 있음을 보여주는 것은 어렵지 않습니다 . $\hat \beta_{OLS}$

— 알레 코스 파파도풀로스
소스

좋은 대답입니다! 나는 이것을 오래 전에 읽었고 나중에 그것에 대해 생각할 것이라고 생각했습니다. 몇 가지 질문이 있습니다. 분할 된 회귀 결과를 어떻게 증명할 수 있습니까? 적어도 참고 문헌에 감사드립니다. 또한, 차이 무엇 및 ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— Elias

@Monir 및 단지 오타 - 고정. 분할 된 회귀 결과 (오래된 표준 결과)에 대해서는 일반 최소 제곱 추정의 대수적 측면을 설명하는 장의 예를 들어 Greene의 Econometrics 교과서를 참조하십시오. 증거가 포함되어 있습니다.

Z

$Z$

z

$z$

— Alecos Papadopoulos