OLS 추정기를 도출하기위한 가정

누군가 OLS 추정기를 계산하기 위해 6 가지 가정 각각이 필요한 이유를 간단히 설명해 줄 수 있습니까? 나는 다중 공선성에 대해서만 발견했습니다. 그것이 존재한다면 우리는 (X'X) 행렬을 뒤집을 수 없으며 전체 추정량을 추정 할 수 없습니다. 다른 것들은 어떻습니까 (예 : 선형성, 제로 평균 에러 등)?

least-squares assumptions

— 아이바
소스

관련 : 선형 회귀에 대한 일반적인 가정의 전체 목록은 무엇입니까?

— gung-복직 모니카

개념적 설명을 찾고 있습니까, 아니면 수학 시연이 필요하십니까?

— gung-복직 모니카

일반적으로 최소 제곱은 숫자 절차이므로 계산할 때 많은 가정이 필요하지 않습니다 (무한 성 제외). 가정을 정당화하는 데 필요한 추론 : 그것에 기반을, 내 대답은 어제 참조 stats.stackexchange.com/questions/148803/...

— 할보 르센 kjetil B

정확히 어떤 "6 가정"을 언급하고 있습니까? 당신은 세 가지만 언급합니다.

— whuber

1) 선형성 2) 다중 공선 성 부재 3) 제로 평균 오차 4) 구면 오차 (균등성 및 비 자기 상관) 5) 비 확률 회귀 및 6) 정규 분포. 아래 답변에서 알 수 있듯이 추정기를 도출하기 위해서는 처음 3 개만 필요하고 추정기가 BLUE인지 확인하려면 다른 것이 필요합니까?

— Ieva

답변:

완벽한 다중 공선 성이있는 경우를 제외하고 항상 OLS 추정기를 계산할 수 있습니다. 이 경우 X 행렬에 완벽한 다중 선형 의존성이 있습니다. 결과적으로 전체 순위 가정이 이행되지 않으며 반전 가능성 문제로 인해 OLS 추정기를 계산할 수 없습니다.

기술적으로 OLS 추정값을 계산하기 위해 다른 OLS 가정이 필요하지 않습니다. 그러나 Gauss–Markov 정리에 따르면 추정기가 BLUE가되도록 OLS 가정 (clrm 가정)을 충족해야합니다.

Gauss–Markov 정리와 그 수학적 도출에 대한 광범위한 토론을 여기에서 찾을 수 있습니다.

http://economictheoryblog.com/2015/02/26/markov_theorem/

또한 OLS 가정에 대한 개요, 즉 요구되는 수, 요구 사항 및 단일 OLS 가정을 위반하면 어떻게되는지 살펴 보려면 여기에서 자세한 논의를 찾을 수 있습니다.

http://economictheoryblog.com/2015/04/01/ols_assumptions/

도움이 되길 바랍니다.

— 사이먼 데 곤다
소스

다음은 간단한 횡단면을 기반으로하며 시계열 및 패널의 경우 다소 다릅니다.

모집단 및 샘플에서 모델은 다음과 같이 작성할 수 있습니다. 이것은 선형성 가정으로, 때때로 오해되기도합니다. 모델은 매개 변수에서 선형이어야합니다 . 즉, 입니다. 자체로 원하는 것을 자유롭게 할 수 있습니다. 로그, 제곱 등. 그렇지 않은 경우 OLS로 모형을 추정 할 수 없습니다. 다른 비선형 추정기가 필요합니다. $\begin{aligned} 와이 & = β_{0} + β_{1} {엑스}_{1} + \dots + β_{케이} {엑스}_{케이} + 유 \\ = 엑스 β + 유 \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
임의 샘플 (단면 용) 추론 및 샘플 속성에 필요합니다. OLS의 순수 역학에는 다소 관련이 없습니다.
완벽한 공선 성 없음 이것은 사이에 완벽한 관계가 없음을 의미합니다 . 이것은 이 존재 하도록 가 특이 가정입니다 . $x_i$ $(X’X)$ $(X’X)^{-1}$
제로 조건부 평균 : . 이는 다음과 같이 모형을 올바르게 지정했음을 의미합니다. 생략 된 변수가 없으며 추정 된 기능 형태가 (알 수없는) 모집단 모형에 비해 정확합니다. 이것이 실제로 유효한지 여부를 알 수있는 방법이 없기 때문에 이것은 항상 OLS의 문제가되는 가정입니다. $E(u|X) = 0$
오류 항의 분산은 모든 : 조건에 따라 일정합니다 . 다시 이것은 OLS의 역학에 아무런 의미가 없지만 일반적인 표준 오류가 유효한지 확인합니다. $X_i$ $\Var(u|X)=\sigma^2$
정규성; 오류 항 u는 와 무관하며 뒤에옵니다 . 이것은 OLS의 역학과 관련이 없지만 의 샘플링 분포 가 정상 임을 보장합니다. . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

이제 의미합니다.

1-6 (고전 선형 모델 추정)에서 OLS는 BLUE (최선 선형 비 편향 추정기)이며 가장 낮은 분산의 의미에서 최고입니다. 또한 모든 선형 추정기 및 x의 일부 기능을 사용하는 모든 추정기 중에서도 효율적입니다. 더 중요한 것은 1-6에서 OLS는 최소 편차 편향 추정량입니다. 즉, 선형이 아닌 모든 편향 추정치 중에서 OLS의 편차가 가장 작습니다. OLS도 일관성이 있습니다.
1-5 (가우스-마코프 가정)에서 OLS는 BLUE이며 효율적입니다 (위에서 설명).
1-4에서 OLS는 편견이없고 일관됩니다.

실제로 OLS는 보다 약한 가정 하에서, 즉 및 보다 일관성이 있습니다 . 가정 4와의 차이점은이 가정에서 기능적 관계를 완벽하게 정할 필요가 없다는 것입니다. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— 담당자
소스

제로 평균 조건에 대해 너무 어두운 그림을 페인트한다고 생각합니다. 치우침이 있다면, 제곱 편차의 합을 최소화하는 것이 적절한 방법은 아니지만 회귀 방정식을 치우침을 으로 흡수하여) 치우침을 한 다음 당신은 않습니다 4 모두 확인하는 것은 불가능 무시하기 쉬운, 즉 평균 0을 가지고있다.

β_{0}

$\beta_0$

— user3697176

죄송하지만 동의하지 않습니다. 아니면 내가 당신을 오해하고 있을까요? 당신은 eloborate 또는 참조를 줄 수 있습니까?

— Repmat

OP가 관심이 없다고 생각하는 의도적으로 왜곡 된 추정 (예 : 능선 회귀)에 대해서는 이야기하지 않습니다. 형식의 모델에 대해 이야기 하고 있습니다 어떤 이상한 이유로 --- 잔여 은 의미 합니다. 이 경우에는 형식적으로 변환 할 쉽다 의 평균, 제로이다.

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176 2

@ user3697176 작성한 내용이 올바르지 않습니다. 방금 이유를 설명하는 답변을 게시했습니다.

— Alecos Papadopoulos

가정 1이 만족스럽지 않은 경우에도 선형 공존 관계가 없다는 것을 알고 있지만 OLS를 사용하여 모집단 공분산을 추정 할 수 없습니까?

— 최대

또 다른 질문에 대한 의견 은 회귀 사양에 상수 항을 포함 시켜서 수정할 수 있다고 주장하면서 조건 의 중요성에 대해 의문을 제기 했습니다. 쉽게 무시하십시오. " $E(\mathbf u \mid \mathbf X) =0$

그렇지 않습니다. 회귀에 상수 항을 포함 하면이 조건 평균이 이미 일정하고 회귀 함수가 아니라고 가정 하면 오류 항의 0이 아닌 조건부 평균을 흡수합니다 . 이것은 우리가 상수 용어를 포함하는지 여부와 관계없이 독립적 으로 이루어져야하는 중요한 가정입니다 .

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

이 보유하고있는 경우, 다음 비 - 제로 평균 우리는 단순히 일정한 기간을 포함하여 해결할 수 성가신된다.

그러나 이것이 유지되지 않으면 (즉, 조건 평균이 0이 아니거나 0이 아닌 상수 인 경우 ) 상수 항을 포함해도 문제가 해결되지 않습니다.이 경우 "흡수"하는 것은 크기입니다. 그것은 회귀 분석기의 구체적인 표본과 실현에 달려 있습니다. 실제로 일련의 계수에 첨부 된 미지의 계수는 오류 항의 비 일관적인 조건 평균을 통한 회귀 자에 따라 실제로 일정하지 않고 가변적입니다.

이것이 무엇을 의미합니까? 간단히하기 위해 가장 간단한 경우를 가정합니다. 여기서 ( 는 관측 값을 색인화하지만) . 즉, 오류 항은 동시적인 것을 제외하고 회귀 자와 평균에 독립적입니다 ( 에서는 일련의 것을 포함 하지 않습니다 ). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

상수 항 (일련 항의 회귀)을 포함하여 회귀를 지정한다고 가정합니다.

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

압축 표기법

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

여기서 , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

그러면 OLS 추정기는

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

들어 unbiasedness 우리가 필요로 . 그러나 $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

가 상수 함수가 아닌 경우를 검사하기 때문에 모든 대해 0이 될 수 없습니다 . 그래서 $i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

과

만약 , 우리가 포함 되더라도 일정 기간 회귀에서 OLS 추정기는 편향되지 않으며, 이는 효율성에 대한 Gauss-Markov 결과도 손실됨을 의미 $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ 합니다.

또한, 은 각각의 에 대해 다른 평균을 가지 므로 다른 분산도 있습니다 (즉, 조건부이 분산입니다). 따라서 회귀 변수에 대한 조건부 분포는 관측치 에 따라 다릅니다 . $\mathbf ε$ $i$ $i$

그러나 오류 용어 경우에도이 방법 일반 가정의 표본 오차의 다음 분배 정상하지만 하지 평균이 0 mormal, 알 수없는 바이어스. 그리고 차이가 다를 것입니다. 그래서 $u_i$ $\hat {\mathbf γ} - \mathbf γ$

만약 , 우리가 포함 되더라도 일정 기간 회귀 분석에서 가설 검정은 더 이상 유효하지 않습니다. $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

다시 말해, "finite-sample"속성은 모두 사라졌습니다.

우리는 무의식적으로 유효한 추론 에 의지 할 수있는 옵션 만 남게 되는데 , 이를 위해서는 추가적인 가정이 필요하다.

간단히 말해서, 엄격한 외 생성 은 "쉽게 무시할 수 없습니다 " .

— 알레 코스 파파도풀로스
소스

나는 이것을 이해하고 있는지 확실하지 않습니다. 평균이 동질성을 가정하는 것과 동등한 회귀 변수의 기능이 아니라고 가정하지 않습니까?

— 배트맨

@ 배트맨 내 게시물의 어느 부분을 언급하고 있습니까?

— Alecos Papadopoulos

"회귀에 상수 항을 포함하면이 조건 평균이 이미 일정하고 회귀 변수가 아니라고 가정 할 경우 오류 항의 0이 아닌 조건부 평균을 흡수합니다. 이것이 중요한 가정입니다. "항상 포함 여부와 관계없이 독립적으로 작성해야합니다." 조건 적 평균이 회귀 분석의 함수가 아니라고 가정 할 때, 우리가 동성애를 가정 할 때 가정하고있는 것이 아닙니까?

— 배트맨

@Batman Homoskedasticity는 분산에 대한 가정입니다. 평균 가정한다고해서 도 상수 라는 것을 의미하지는 않으며 조건부 균일 성도 필요합니다. 실제로 평균 독립성,조건부 이분산성과 함께 는 표준 모델 변형입니다.

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$

— Alecos Papadopoulos