회귀 분석에서 더 큰 변수를 하나 더 추가 할 때 부호 뒤집기

기본 설정 :

회귀 모델 : 여기서 C는 제어 변수의 벡터입니다.$y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$

관심이 있으며 및 가 음수 일 것으로 예상 합니다. 그러나 모델에 다중 공선 성 문제가 있으며 상관 계수는 corr ( , 0.9345, corr ( , 0.1765, corr ( , 0.3019로 지정됩니다.$\beta$$\beta_1$$\beta_2$$x_1$$x_2)=$$x_1$$x_3)=$$x_2$$x_3)=$

따라서 과 는 서로 밀접한 관련이 있으며 사실상 동일한 정보를 제공해야합니다. 세 가지 회귀 분석을 실행합니다. $x_1$$x_2$

1. 변수를 제외 하십시오. 2. 변수를 제외 하십시오. 3. 과 가 모두있는 원본 모델 .$x_1$$x_2$$x_1$$x_2$

결과 :
회귀 1 및 2의 경우 각각 및 대해 예상되는 부호를 크기는 비슷합니다. 그리고 와 내가 표준 오류가있는 HAC 보정을 한 후 두 모델의 10 % 수준에서 중요하다. 은 양이지만 두 모델에서 모두 유의하지는 않습니다.$\beta_2$$\beta_1$$\beta_2$$\beta_1$$\beta_3$

그러나 3의 경우 에 예상 부호가 있지만 대한 부호 는 절대 값에서 보다 두 배 큰 양수입니다 . 그리고 모두 와 미미하다. 또한 의 크기는 회귀 1 및 2에 비해 거의 절반으로 줄어 듭니다.$\beta_1$$\beta_2$$\beta_1$$\beta_1$$\beta_2$$\beta_3$

내 질문은 :

3에서 왜 의 부호 가 양수이고 절대 값에서 보다 훨씬 커 ? 가 부호를 수 있고 크기가 큰 통계적 이유가 있습니까? 아니면 팽창 모델 1과 2를 생략 고통을 가변하기 때문에 문제이다 제공 Y에 긍정적 인 효과를? 그러나 회귀 모델 1과 2에서는 회귀 모델 3에서 과 의 총 효과가 긍정적 와 은 모두 음이 아니라 양수 여야합니다 .$\beta_2$$\beta_1$$\beta_2$$\beta_3$$x_2$$\beta_2$$\beta_1$$x_1$$x_2$

이 예를 생각해보십시오.

사람들 주머니의 동전을 기준으로 데이터 세트를 수집하십시오 .y 변수 / 응답은 동전의 총 가치이며, 변수 x1은 동전의 총 수이며 x2는 1/4이 아닌 동전의 수입니다 (또는 가장 큰 값) 일반적인 동전 중 지역 동전입니다).

x1 또는 x2의 회귀는 양의 기울기를 제공한다는 것을 쉽게 알 수 있지만, 모델에서 두 가지를 모두 넣을 때 x2의 기울기는 음수가 될 것입니다. 총 동전 수를 늘리지 않고 작은 동전의 수를 늘리면 교체됩니다. 작은 동전과 큰 가치를 가진 큰 동전 (y).

x 변수를 상호 연관시킬 때마다 같은 일이 발생할 수 있습니다. 용어 자체가있을 때와 다른 사람이있을 때 부호가 쉽게 반대가 될 수 있습니다.

당신은 당신의 자신의 질문에 대답했습니다-공선 성이 있습니다.

약간의 설명 : 과 는 매우 공선입니다. 그러나 회귀 분석에 둘 다 입력하면 회귀 분석이 다른 변수의 효과를 제어하려고 시도합니다. 즉, 홀드에서 일을 상수의 변화 에 할 . 그러나 이들이 매우 관련이 있다는 것은이 질문이 어리 석고 이상한 일이 발생할 수 있음을 의미합니다.$x_1$$x_2$$x_1$$x_2$$y$

3에서 왜 β2의 부호가 양의 값이되고 절대 값에서 β1보다 훨씬 큽니까? β2가 부호를 뒤집을 수 있고 크기가 큰 통계적 이유가 있습니까?

간단한 대답은 깊은 이유가 없다는 것입니다.

이를 고려하는 방법은 다중 공선 접근 방식이 완벽 할 때 피팅에서 얻은 특정 값이 점점 더 작은 데이터 세부 사항에 점점 더 의존하게된다는 것입니다. 동일한 기본 분포에서 동일한 양의 데이터를 샘플링 한 다음 적합하면 완전히 다른 적합 값을 얻을 수 있습니다.