2 차 또는 교호 작용 항은 분리 된 의미에서 유의하지만 둘 다 함께 있지는 않습니다.

과제의 일환으로 예측 변수가 두 개인 모형을 적합시켜야했습니다. 그런 다음 포함 된 예측 변수 중 하나에 대해 모형의 잔차 그림을 그려야하며이를 바탕으로 변경해야합니다. 이 플롯은 곡선 추세를 보여 주므로 해당 예측 변수에 대한 2 차 항을 포함 시켰습니다. 새로운 모델은 2 차 항이 유의하다는 것을 보여주었습니다. 지금까지는 모두 좋았습니다.

그러나 데이터는 상호 작용도 의미가 있다고 제안합니다. 원래 모형에 교호 작용 항을 추가하면 곡선 경향도 '고정'되었으며 모형에 2 차 항이없는 경우에도 유의했습니다. 문제는 2 차 및 교호 작용 항이 모두 모형에 추가 될 때 그 중 하나가 중요하지 않다는 것입니다.

모델에 어떤 용어 (2 차 또는 교호 작용)를 포함시켜야합니까?

개요

예측 변수가 서로 연관되어 있으면 2 차 항과 교호 작용 항에 비슷한 정보가 포함됩니다. 이는 2 차 모형 또는 교호 작용 모형을 유의하게 만들 수 있습니다. 그러나 두 용어가 모두 포함 된 경우, 두 용어가 모두 유사하기 때문에 의미가 없습니다. VIF와 같은 다중 공선성에 대한 표준 진단은이를 감지하지 못할 수 있습니다. 상호 작용 대신 2 차 모델을 사용하는 효과를 감지하도록 특별히 설계된 진단 플롯조차도 어떤 모델이 가장 적합한 지 결정하지 못할 수 있습니다.

---

분석

이 분석의 추진력과 그 주된 강점은 질문에 설명 된 것과 같은 상황을 특성화하는 것입니다. 그러한 특성화가 가능하면 그에 따라 동작하는 데이터를 시뮬레이션하는 것이 쉬운 작업입니다.

두 개의 예측 변수 및 X 2 (각각 데이터 집합에서 단위 분산을 갖도록 자동으로 표준화 할 것임)를 고려하고 무작위 응답 Y 는 이러한 예측 변수와 해당 상호 작용 및 독립적 인 임의 오류에 의해 결정 된다고 가정합니다 .$X_1$$X_2$$Y$

$$Y = \beta_1 X_1 + \beta_2 X_2 + \beta_{1,2} X_1 X_2 + \varepsilon.$$

많은 경우 예측 변수는 서로 관련되어 있습니다. 데이터 세트는 다음과 같습니다.

이들 샘플 데이터는 및 β 1 , 2 = 0.1로 생성되었다 . X 1 과 X 2 사이의 상관 관계 는 0.85 입니다.$\beta_1=\beta_2=1$$\beta_{1,2}=0.1$$X_1$$X_2$$0.85$

그렇다고해서 반드시 과 X 2 를 랜덤 변수의 실현으로 생각하고있는 것은 아닙니다 . X 1 과 X 2 가 설계된 실험에서 설정 되는 상황을 포함 할 수 있지만 어떤 이유로 이러한 설정이 직교하지는 않습니다.$X_1$$X_2$$X_1$$X_2$

상관 관계가 어떻게 발생하는지에 관계없이이를 설명하는 좋은 방법은 예측 변수가 평균과 얼마나 다른지에 관한 것입니다 . 이 차이는 상당히 작습니다 (그들의 분산이 1 보다 작다는 의미에서 ). X 1 과 X 2 사이의 상관 관계가 클수록 이러한 차이는 더 작아집니다. 그런 다음 X 1 = X 0 + δ 1 및 X 2 = X 0 + $X_0 = (X_1+X_2)/2$$1$$X_1$$X_2$$X_1 = X_0 + \delta_1$ , 우리는 (말) 다시 표현할 수 X 2 의 측면에서 X 1 로 X 2 = X 1 + ( δ 2 - δ 1 ) . 이 점을 연결해상호 작용만을 용어 모델이다$X_2 = X_0 + \delta_2$$X_2$$X_1$$X_2 = X_1 + (\delta_2-\delta_1)$

$$\eqalign{ Y &= \beta_1 X_1+ \beta_2 X_2 + \beta_{1,2}X_1(X_1+ [\delta_2-\delta_1]) + \varepsilon \\ &= (\beta_1 + \beta_{1,2}[\delta_2-\delta_1]) X_1+ \beta_2 X_2 + \beta_{1,2}X_1^2 + \varepsilon }$$

값 제공자 만 약간 비교 비트 변화 β 1 , 우리는 실제 임의의 조항이 변형을 수집 할 서면$\beta_{1,2}[\delta_2-\delta_1]$$\beta_1$

$$Y = \beta_1 X_1+ \beta_2 X_2 + \beta_{1,2}X_1^2 + \left(\varepsilon +\beta_{1,2}[\delta_2-\delta_1] X_1\right)$$

따라서 우리가 Y 를 회귀하면$Y$ 및 X 2 1 에 대해 를 하면 오류가 발생합니다. 잔차의 변동은 X 1에 따라 달라집니다 (즉, 이분산성입니다 ). 이것은 간단한 분산 계산으로 볼 수 있습니다.$X_1, X_2$$X_1^2$$X_1$

$$\text{var}\left(\varepsilon +\beta_{1,2}[\delta_2-\delta_1] X_1\right) = \text{var}(\varepsilon) + \left[\beta_{1,2}^2\text{var}(\delta_2-\delta_1)\right]X_1^2.$$

그러나 의 전형적인 변동이 β 1 의 전형적인 변동을 실질적으로 초과하면$\varepsilon$, 이분산성은 검출 될 수 없을 정도로 낮아질 것이며 (미세 모델을 산출해야한다). (아래 나타낸 바와 같이, 회귀 가정이 위배를 찾는 방법은 하나의 절대 값에 대한 잔차의 절대 값을 플롯하는 X 1 표준화 제 --remembering을 X 1 필요한 경우). 이것은 우리가 추구했던 특성 인 .$\beta_{1,2}[\delta_2-\delta_1] X_1$$X_1$$X_1$

기억 및 X 2 단위 분산 표준화 것으로 가정하고,이의 분산을 의미한다 δ 2 - δ 1 상대적으로 적은 것입니다. 관찰 된 동작을 재현하려면 β 1 , 2에 대해 작은 절대 값을 선택하는것만으로 충분하지만 , 값이충분히 커지도록 (또는 충분히 큰 데이터 세트를 사용하여) 유의해야합니다.$X_1$$X_2$$\delta_2-\delta_1$$\beta_{1,2}$

요컨대, 예측 변수가 서로 연관되어 있고 상호 작용이 작지만 너무 작지 않은 경우 2 차 항 (예측 자만 해당)과 상호 작용 항은 개별적으로 유의하지만 서로 혼동됩니다. 통계적 방법만으로는 어느 것이 더 나은지를 결정하는 데 도움이되지 않을 것입니다.

---

예

$\beta_{1,2}$$0.1$$150$

먼저, 이차 모형 :

            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.03363    0.03046   1.104  0.27130    
x1           0.92188    0.04081  22.592  < 2e-16 ***
x2           1.05208    0.04085  25.756  < 2e-16 ***
I(x1^2)      0.06776    0.02157   3.141  0.00204 ** 

Residual standard error: 0.2651 on 146 degrees of freedom
Multiple R-squared: 0.9812, Adjusted R-squared: 0.9808 

$0.068$$\beta_{1,2}=0.1$

      x1       x2  I(x1^2) 
3.531167 3.538512 1.009199 

$5$

다음으로 교호 작용은 있지만 2 차항은없는 모형 :

            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.02887    0.02975    0.97 0.333420    
x1           0.93157    0.04036   23.08  < 2e-16 ***
x2           1.04580    0.04039   25.89  < 2e-16 ***
x1:x2        0.08581    0.02451    3.50 0.000617 ***

Residual standard error: 0.2631 on 146 degrees of freedom
Multiple R-squared: 0.9815, Adjusted R-squared: 0.9811

      x1       x2    x1:x2 
3.506569 3.512599 1.004566 

모든 결과는 이전 결과와 유사합니다. 둘 다 거의 동일합니다 (상호 작용 모델에 매우 작은 이점이 있음).

마지막으로 교호 작용과 2 차항을 모두 포함시켜 봅시다 .

            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.02572    0.03074   0.837    0.404    
x1           0.92911    0.04088  22.729   <2e-16 ***
x2           1.04771    0.04075  25.710   <2e-16 ***
I(x1^2)      0.01677    0.03926   0.427    0.670    
x1:x2        0.06973    0.04495   1.551    0.123    

Residual standard error: 0.2638 on 145 degrees of freedom
Multiple R-squared: 0.9815, Adjusted R-squared: 0.981 

      x1       x2  I(x1^2)    x1:x2 
3.577700 3.555465 3.374533 3.359040

$X_1$$X_2$$X_1^2$$X_1 X_2$

우리가 2 차 모형 (첫 번째 모형)에서 이분산성을 탐지하려고한다면 실망 할 것입니다.

$|X_1|$

데이터 소스를 기반으로 가장 적합한 것은 무엇입니까?

우리는 당신을 위해이 질문에 대답 할 수 없으며 컴퓨터는 당신을 위해이 질문에 대답 할 수 없습니다. 통계 프로그램 대신 통계학자가 여전히 필요한 이유는 이와 같은 질문 때문입니다. 통계는 단순히 숫자를 계산하는 것 이상의 문제이며, 데이터의 질문과 출처를 이해하고 컴퓨터가 보는 데이터 외부의 과학 및 배경 및 기타 정보를 기반으로 결정을 내릴 수있는 것입니다. 선생님은 아마도 과제의 일부로 이것을 고려하기를 바랄 것입니다. 이와 같은 문제를 할당했다면 (그리고 이전에 가지고 있었음) 나는 당신이 실제로 선택한 것보다 당신의 대답의 정당성에 더 관심이 있습니다.

아마도 현재 클래스를 넘어서는 것이지만 한 모델을 다른 모델보다 선호하는 명확한 과학적 이유가 없다면 모델 평균화이고 두 모델을 맞추고 (다른 모델도 가능) 예측을 평균화합니다. (종종 다른 모델의 적합도에 따라 가중치가 부여됨).

가능한 경우 다른 옵션은 더 많은 데이터를 수집하고 가능한 경우 x 값을 선택하여 비선형 대 상호 작용 효과가 더 명확 해 지도록하는 것입니다.

중첩되지 않은 모델 (AIC, BIC 등)의 적합을 비교할 수있는 몇 가지 도구가 있지만이 경우 데이터의 출처와 가장 의미가있는 것을 이해하는 데 큰 차이가 없을 수 있습니다.

@Greg 외에도 또 다른 가능성은 중요하지는 않지만 두 용어를 모두 포함하는 것입니다. 통계적으로 유의미한 용어 만 포함하는 것은 우주의 법칙이 아닙니다.