설명 변수를 추가 할 때 왜 제곱 잔차의 합이 증가하지 않습니까?

9

저자는 OLS를 다루는 나의 계량 경제학 교과서 (Introductory Econometrics)에서 "설명 변수가 추가 될 때 SSR이 떨어져야한다"고 썼다. 왜 그렇습니까?

— 에릭 쉬
소스

1

본질적으로 다음 변수와 선형 관계가 없다면 (0 샘플 부분 상관 관계) SSR은 동일하게 유지됩니다. 관계가 전혀 없다면 다음 변수를 사용하여 SSR을 줄일 수 있습니다.

— Glen_b-복지국 모니카

3

성명서의 내용은 정확하지만 사실은 아닙니다. SSR은 기존 변수의 선형 조합 인 변수를 추가 할 때 동일하게 유지됩니다. 결국 새 변수를 무시하면 이전 변수로 달성 한 것과 동일한 최소 SSR 값을 얻을 수 있으므로 새 변수를 추가해도 상황이 더 나빠질 수는 없습니다.

— whuber

나는 비슷한 질문에 대답했다 : stats.stackexchange.com/questions/306267/… . 유용 할 수 있습니다.

— Josh

18

선형 회귀 모형이 있다고 가정하면 쉬운 표기법을 위해 첫 번째와 두 개의 공변량을 고려하십시오. 이것은 두 개의 공변량 세트를 일반화합니다. 첫 번째 모델은

나는 : {와이}_{나는} = β_{0} + β_{1} {엑스}_{1 나는} + ϵ_{나는}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$ 두 번째 모델은

나는 나는 : {와이}_{나는} = β_{0} + β_{1} {엑스}_{1 나는} + β_{2} {엑스}_{2 나는} + ϵ_{나는}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$ 이는 최소화하려는 모형 1의 제곱 잔차 합계를 최소화하여 해결됩니다.

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$ 모델 2의 경우 최소화하려는

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$ . 모형 1에 대한 올바른 추정량을 찾았다면 모형 2에서 동일한 값을 선택하여 동일한 잔차 합계 제곱을 얻을 수 있습니다.

β_{0}, β_{1}

$\beta_0, \beta_1$ 그리고시키는

β_{2} = 0

$\beta_2=0$ . 이제 더 나은 값을 검색하여 더 낮은 합계 제곱 잔차를 찾을 수 있습니다.

β_{2}

$\beta_2$ .

요약하면, 모델 1을 사용하여 모델링 할 수있는 모든 것을 모델 2와 일치시킬 수 있다는 점에서 모델이 중첩됩니다. 모델 2는 모델 1보다 일반적입니다. 항상 더 나은 해결책을 찾으십시오.

통계와는 아무런 관련이 없지만 최적화에 대한 일반적인 사실입니다.

— 크 제틸 비 할보 르센
소스

1

이런 식으로 생각하지 않았는데 정말 도움이되었습니다!

— Eric Xu

1

SSR은 데이터와 추정 모델 간의 불일치를 측정합니다.

다른 변수를 고려할 수있는 옵션이있는 경우이 변수에 더 많은 정보가 포함되어 있으면 적합도가 자연스럽게 더 엄격 해 지므로 SSR이 낮아집니다.

— 클라우드 스카이 워커
소스