다중 회귀 분석에서“다른 모든 것”은 무엇을 의미합니까?

여러 회귀 분석을 수행 하고 변수 의 변화에 대한 변수 의 평균 변화를보고 다른 모든 변수를 일정하게 유지하면 다른 변수를 일정하게 유지하는 값은 무엇입니까? 그들의 뜻은? 제로? 어떤 가치? $y$ $x$

나는 그것이 어떤 가치가 있다고 생각하는 경향이있다. 설명을 찾고 있습니다. 누군가 증거가 있다면, 그것도 좋을 것입니다.

— EconStats
소스

Peter Kennedy의 논문 에서 예제 10 이 이것을 이해하는 데 매우 도움이된다는 것을 알았습니다 .

— Dimitriy V. Masterov 2019

네, 평방 피트를 일정하게 유지하면서 방의 수를 늘리는 것에 대한 약간의 관찰은 정말 중요합니다. 그 논문은 실제로 유용한 아이디어의 금광입니다.

— EconStats 2013

이것은 실제로 매우 흥미로운 질문입니다. 경제학자들이 "ceteris paribus"가 정확히 무엇을 의미하는지 궁금합니다.

— mugen

네 말이 맞아 기술적으로는 모든 값 입니다. 그러나 내가 이것을 가르 칠 때 나는 보통 다른 모든 변수가 각각의 수단으로 유지 될 때 에서 한 단위 변화의 영향을 받고 있다고 사람들에게 말합니다 $X_j$ . 나는 이것이 나에게 고유하지 않은 그것을 설명하는 일반적인 방법이라고 생각합니다.

나는 보통 당신이 어떤 상호 작용 이 없다면 , $\beta_j$ 는 다른 변수의 값이 무엇이든 관계없이 의 한 단위 변화의 영향이 될 것이라고 언급합니다 $X_j$ . 그러나 나는 평균 배합으로 시작하고 싶습니다. 그 이유는 회귀 모델에 여러 변수를 포함시키는 두 가지 효과가 있기 때문입니다. 첫째, 당신의 효과를 얻을 $X_j$ (내 대답 볼 수있는 다른 변수를 통제 한을 여기를 ). 두 번째는 다른 변수가 존재하면 (일반적으로) 모형의 잔차 분산이 줄어들어 변수 ( $X_j$ ) '더 중요한'. 다른 변수에 다른 값이 있으면 사람들은 이것이 어떻게 작동하는지 이해하기 어렵습니다. 그것은 어떻게 든 변동성을 증가시키는 것처럼 보입니다 . 나머지 모든 $X$ 변수가 각각의 평균으로 이동 될 때까지 다른 변수의 값에 대해 각 데이터 포인트를 위 또는 아래로 조정한다고 생각 하면 잔차 변동이 줄어드는 것이 더 쉽습니다.

다중 회귀의 기본 사항을 소개 한 후 수업이 진행될 때까지 2 ~ 2 회까지 대화 할 수 없습니다. 그러나 그들에게 다가 가면 나는이 자료로 돌아갑니다. 위의 내용 은 상호 작용 이 없을 때 적용됩니다 . 상호 작용이 있으면 더 복잡합니다. 이 경우에, 상호 작용 변수 (들)는 에서 일정하게 유지되고 (특히 매우) 다른 값으로 유지되지 않는다. $0$

이것이 대수적으로 어떻게 나타나는지보고 싶다면 다소 간단합니다. 우리는 상호 작용이없는 경우부터 시작할 수 있습니다. 이제 변화를 결정하자 다른 모든 변수가 각각의 수단에서 개최 일정 할 때. 일반성을 잃지 않고,의이 세 가지 있다고 가정 해 봅시다 변수는 우리가 변화 방법을 이해에 관심이있는 의 한 단위 변화와 관련된 채, $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ 및 각각의 수단으로 일정을 : $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

이제 두 방정식 에 ( )에 대해 동일한 값을 입력하는 한, 첫 두 방정식에서 과 에 값을 넣을 수 있음 이 분명 합니다. 즉, 우리가 과 일정하게 유지하는 한 . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

반면에 상호 작용이 있으면이 방법으로 문제가 해결되지 않습니다. 여기에 이있는 경우를 보여줍니다. $X_1X_3$ interaction term:

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

In this case, it is not possible to hold all else constant. Because the interaction term is a function of $X_1$ and $X_3$ , it is not possible to change $X_3$ without the interaction term changing as well. Thus, $\hat\beta_3$ equals the change in $\hat Y$ associated with a one unit change in $X_3$ only when the interacting variable ( $X_1$ ) is held at $0$ instead of $\bar X_1$ (or any other value but $0$ ), in which case the last term in the bottom equation drops out.

In this discussion, I have focused on interactions, but more generally, the issue is when there is any variable that is a function of another such that it is not possible to change the value of the first without changing the respective value of the other variable. In such cases, the meaning of $\hat\beta_j$ becomes more complicated. For example, if you had a model with $X_j$ and $X_j^2$ , then $\hat\beta_j$ is the derivative $\frac{dY}{dX_j}$ holding all else equal, and holding $X_j=0$ (see my answer here). Other, still more complicated formulations are possible as well.

— gung - Reinstate Monica
소스

Thanks gung, this answer is great on a couple of levels. Firstly it answers the main point I was interested in. Secondly, you predicted what my follow up question would be, because I was going to ask how this changed with the introduction of interaction terms. Thanks for the math as well. I know this question is kind of basic but I feel that you can never be too explicit with these concepts.

— EconStats

You're welcome, @EconStats. There is no problem with including the math, sometimes it makes it much easier to understand what is going on.

— gung - Reinstate Monica

Well I have to say that when you subtracted the first equation from the second equation it finally confirmed my original thoughts that it doesn't matter what the values of

X_{2}

$X_2$ and

X_{3}

$X_3$ are, as long as the are the same in both equations. It seems so obvious to me know but I had never thought about calculating the

β

$\beta$ that way before. Definite light bulb moment for me.

— EconStats

You can also take the derivative of

Y

$Y$ wrt

X_{j}

$X_j$ and it will get you to the same place, but this is easier math (essentially high-school algebra), so it will be accessible to a broader audience.

— gung - Reinstate Monica

@beetroot, if I understand you correctly, you just hold it at a specified level. (Otherwise, you might ask this as a new question.)

— gung - Reinstate Monica

The math is simple, just take the difference between 2 models with one of the x variables changed by 1 and you will see that it does not matter what the other variables are (given there are no interactions, polynomial, or other complicating terms).

One example:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
소스

I believe you are referring to dependence in covariates ( $X_i$ ). So if the model is

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$ the effect of

X_{i}

$X_i$ on

Y

$Y$ all other things being equal would be

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$ for any

Δ X_{i}

$\Delta{X_i}$ with all other

X_{j}

$X_j$ held constant at any value.

Keep in mind that is possible that $X_1$ and $X_2$ are dependent (e.g. functions of each other) without necessarily showing a significant interaction in the linear model ( $\beta_{12}=0$ in $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$ ).

Just as an interesting tangent here is an example: Let $X_1\sim N(0,\sigma_1^2)$ and $X_2=X_1^{2}+N(0,\sigma_2^2)$ then clearly any change in $X_1$ will affect $X_2$ . However the covariance between the two is zero.

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

So in reality a change in $X_1$ would be associated with a change in $X_2$ and that $\frac{\Delta{Y}}{\Delta{X_i}}$ would not cover what really would occur if you alter $X_1$ . But $\frac{\Delta{Y}}{\Delta{X_i}}$ would still be described as the effect of $X_i$ on $Y$ all things being equal.

This is comparable to the difference between a full derivative and a partial derivate (the analog of $\frac{\Delta{Y}}{\Delta{X_i}}$ ) in a differential equation.

— Hans Roggeman
소스

Thanks Hans, I was actually trying to get at the point that gung made but this is a good example for when the two variables are dependent.

— EconStats