최소 제곱 가정

다음 선형 관계를 가정하십시오. $Y_i = \beta_0 + \beta_1 X_i + u_i$, 어디 $Y_i$ 종속 변수 $X_i$ 단일 독립 변수 $u_i$ 에러 항.

Stock & Watson (Ecoduction to Econometrics; Chapter 4 )에 따르면, 세 번째로 작은 제곱 가정 은 네 번째 순간이$X_i$ 과 $u_i$ 0이 아니고 유한하다 $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$.

세 가지 질문이 있습니다.

1. 나는이 가정의 역할을 완전히 이해하지 못한다. 이 가정이 적용되지 않거나 추론을 위해이 가정이 필요한 경우 OLS가 바이어스되고 일관되지 않습니까?

2. Stock and Watson은 "이 가정은 매우 큰 값으로 관측치를 그릴 확률을 제한합니다. $X_i$ 또는 $u_i$그러나 나의 직관은이 가정이 극단적이라는 것이다. 우리는 큰 특이 치 (예를 들어 네 번째 모멘트가 크다)가 있지만 이러한 값이 여전히 유한 한 경우 어려움을 겪고 있는가? ?

3. 이것을 다음과 같이 재구성 할 수 있습니까? $X_i$ 과 $u_i$ 0이 아닌 유한 한가? "

당신은 할 수 없습니다 OLS 추정의 일관성을 위해 4 순간에 대한 가정이 필요하지만, 당신은 더 높은 순간에 필요한 가정을$x$ 과 $\epsilon$ 점근 적 정상 성을 위해 그리고 점근 적 공분산 행렬이 무엇인지 지속적으로 추정하기 위해.

그러나 어떤 의미에서 이것은 실제적인 포인트가 아니라 수학적, 기술적 포인트입니다. 어떤 의미에서 OLS가 유한 샘플에서 잘 작동하려면 점근 적 일관성 또는 정규성을 달성하는 데 필요한 최소한의 가정 이상이 필요합니다.$n \rightarrow \infty$.

일관성을위한 충분한 조건 :

회귀 방정식이있는 경우 :

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

OLS 추정기 는 다음과 같이 쓸 수 있습니다 : $\hat{\mathbf{b}}$

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

대한 일관성 , 당신은 그래서은 Karlin와 테일러의 에르고 드적 정리 등의 일련 의존, 뭔가 시계열의 경우, 많은 수의 콜 모고 로프의 법칙을 적용하거나 할 수 있어야합니다 :

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

필요한 다른 가정은 다음과 같습니다.

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ 은 전체 순위이므로 행렬은 되돌릴 수 없습니다.
• 회귀자는 되도록 미리 정해 지거나 엄격하게 외생 적 입니다.$\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

그런 다음 그리고$\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$$\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

당신이 중심 극한 정리 적용 할 경우 다음 당신은 예를 들어, 높은 순간에 대한 가정이 필요 어디 . 중심 한계 정리는 의 점근 적 정규성을 제공 하고 표준 오류에 대해 이야기 할 수있게하는 것입니다. 두 번째 순간 존재하는, 당신의 4 순간 필요 와 존재. 그 주장 할 여기서$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$\mathbf{g_i} = \mathbf{x}_i \epsilon_i$$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$x$$\epsilon$$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$$\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . 이것이 작동하려면 는 유한해야합니다.$\Sigma$

하야시의 계량 경제학 (Econometrics )에 좋은 토론이 있다 (4 번째 모멘트 및 공분산 행렬 추정에 대해서는 149 페이지도 참조하십시오.)

토론:

네 번째 순간에 대한 이러한 요구 사항은 아마도 실질적인 포인트가 아닌 기술적 인 포인트 일 것입니다. 일상적인 데이터에서 이것이 문제인 병리학 적 분포를 겪지 않을 것입니까? OLS에 대한 더 일반적인 또는 다른 가정이 잘못되었습니다.

의심 할 여지없이 Stackexchange의 다른 곳에서 대답하는 다른 질문은 유한 샘플이 점근 적 결과에 가까워지기 위해 필요한 샘플의 양입니다. 환상적인 특이 치가 수렴을 느리게하는 의미가 있습니다. 예를 들어, 분산이 매우 큰 로그 정규 분포의 평균을 추정 해보십시오. 표본 평균은 모집단 평균의 일관되고 편향되지 않은 추정량이지만, 과도한 과도한 첨도 등이있는 로그-정상 사례 (링크 따르기)에서 유한 표본 결과는 실제로 상당히 벗어납니다.

유한 대 무한은 수학에서 매우 중요한 차이점입니다. 그것은 일상 통계에서 발생하는 문제가 아닙니다. 실제 문제는 작은 범주와 큰 범주에 더 가깝습니다. 분산, 첨도 등이 표본 크기에 따라 합리적인 추정치를 얻을 수있을 정도로 작습니까?

OLS 추정기가 일관되지만 무증상으로 정상이 아닌 병리학 적 예

치다:

$$y_i = b x_i + \epsilon_i$$ 여기서 이지만 는 자유도가 2 인 t- 분포에서 추출되므로 입니다. OLS 추정치는 확률 수렴 하지만 OLS 추정치 대한 표본 분포 는 정규 분포가 아닙니다. 다음은 10000 개의 관측치가있는 회귀에 대한 10000 개의 시뮬레이션을 기반으로하는 대한 경험적 분포입니다 .$x_i \sim \mathcal{N}(0,1)$$\epsilon_i$$\mathrm{Var}(\epsilon_i) = \infty$$b$$\hat{b}$$\hat{b}$

의 분포는 정상이 아니며 꼬리가 너무 무겁습니다. 그러나 의 두 번째 순간이 존재 하도록 자유도를 3으로 늘리면 중앙 제한이 적용되어 다음을 얻습니다. $\hat{b}$$\epsilon_i$

그것을 생성하는 코드 :

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. 이것은 충분한 가정이지만 최소한의 가정은 아니다 [1]. OLS는 이러한 조건에서 편향되지 않고 단지 일관되지 않습니다. 가 매우 큰 영향을 미칠 수 있고 / 또는 매우 큰 잔차를 얻을 수있는 경우 OLS의 점근 적 특성이 분해됩니다 . Lindeberg Feller 중앙 한계 정리에 대한 공식 발표를 겪지 않았을 수도 있지만, 이것이 네 번째 모멘트 조건에서 다루고있는 것입니다. Lindeberg 상태는 기본적으로 동일한 사실을 알려줍니다. 포인트 [2].$X$

2. 통계에 대한 이러한 이론적 토대는 실제 적용을 위해 정리 될 때 많은 혼란을 야기합니다. 특이점에 대한 정의는 없으며 직관적 인 개념입니다. 대략적으로 이해하려면 관측치가 높은 레버리지 포인트 또는 높은 영향 포인트 여야합니다. 예를 들어 삭제 진단 (DF 베타)이 매우 큰 경우 또는 예측 변수의 Mahalanobis 거리가 큰 경우 (일 변량 통계) 그것은 단지 Z 점수입니다). 그러나 실제적인 문제로 돌아가 보자. 내가 사람들과 그들의 가구 소득에 대해 무작위 조사를하고 100 명 중 내가 샘플링 한 사람 중 1 명은 백만장 자이고, 내 추측으로는 백만장자가 인구의 1 %를 대표하는 것입니다 . 생물 통계학 강의에서 이러한 교장은 논의되고 모든 진단 도구가 본질적으로 탐색적임을 강조합니다 [3].하지 가있다 "고 분석은 제외 아웃 라이어는 내가 믿는 사람이다" "한 지점은 완전히 내 분석을 변경 제거."

3. 쿠 르토 시스는 분포의 두 번째 모멘트에 의존하는 스케일 된 수량이지만,이 특성에 대한 유한 한 0이 아닌 분산의 가정은이 특성이 네 번째 모멘트에서 유지되는 것이 불가능하지만 두 번째 모순에서는 불가능하기 때문에 암묵적입니다. 기본적으로 그렇습니다. 그러나 전반적으로 나는 첨 도나 네 번째 순간을 한번도 조사한 적이 없습니다. 나는 그것들이 실용적이거나 직관적 인 척도라고 생각하지 않습니다. 오늘날 손가락 하나만으로 히스토그램이나 산포도를 만들 때 이러한 도표를 검사하여 정성적인 그래픽 진단 통계를 사용해야합니다.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html