모형의 주 효과는 아니지만 상호 작용 포함


85

주요 효과를 포함하지 않고 모델에 양방향 상호 작용을 포함시키는 것이 유효한가요? 가설이 상호 작용에 관한 것이라면 여전히 주 효과를 포함해야합니까?


3
내 철학은 많은 모델을 실행하고, 예측을 확인하고, 비교하고, 설명하고, 더 많은 모델을 실행하는 것입니다.
Michael Bishop

11
주 효과가 모형에있을 때만 교호 작용이 유의하면 주 효과가 유의하고 교호 작용이 아닌 것일 수 있습니다. 100의 차수에 대한 분산을 갖는 매우 중요한 주 효과와 모든 값이 거의 매우 낮은 분산 인 다른 중요하지 않은 주 효과를 고려하십시오. 그들의 상호 작용은 중요하지 않지만 주요 효과가 모델에서 제거되면 상호 작용 효과는 중요해 보입니다.
토마스 레빈

4
@Thomas는 첫 번째 줄에 '주 효과가 모형에 없을 때만 교호 작용이 중요하다면 ...'?
Glen

2
아 그래!
토마스 레바인

답변:


55

내 경험상, 고차 효과에 연결될 때 모델에 모든 저차 효과를 가질 필요가있을뿐만 아니라, 관련이없는 것처럼 보이는 주요 효과를 적절하게 모델링 (예 : 비선형 화)하는 것이 중요합니다. 관심있는 상호 작용의 요소. 과 사이의 상호 작용 이 과 의 주 효과를 위해 대기 상태 일 수 있기 때문 입니다. 상호 작용 은 변수가 생략되거나 비선형 (예 : 스플라인) 항이 생략 된 공선이므로 때때로 필요한 것 같습니다 .x1x2x3x4


1
이것은 우리가 y ~ x1 * x2 * x3 * x4에서 항을 삭제하기 시작하여 최상위 항, 즉 정상적인 삭제 방법을 삭제하기 시작해야한다는 것을 의미합니까?
Curious

9
전체 용어 클래스를 "청크"로 테스트 할 수 없다면 용어 삭제는 권장되지 않습니다. 예를 들어 모든 상호 작용 용어를 유지 또는 삭제하거나 3 차 또는 4 차인 모든 상호 작용을 유지하거나 삭제하는 것이 합리적 일 수 있습니다.
Frank Harrell

특정 순서로 일부 상호 작용 만 삭제하면 어떤 문제가 있습니까?
user1205901 2016 년

3
데이터를 확인하여 결정되지 않은 완전히 사전에 지정된 순서가있는 경우이를 수행해도됩니다. 일반적으로 여러 P- 값을 사용하여 여러 결정을 할 때 공선 성과 다중성 문제가 발생합니다.
Frank Harrell 2016 년

2
나는이 대답이 불분명하다고 생각하며 부분적으로 만 대답합니다. 실제로,이 답변은 주 효과를 모델링 할 필요가 있지만 gPPI와 같은 일부 모델에서 사용되는 상호 작용에만 초점을 맞추기 위해 회귀하는 것이 유효한지 여부에 대해서는 답변하지 않습니다 (내 답변 참조). 이하).
gaborous

37

당신은 그것이 유효한지 묻습니다. 설명을 통해 추가 분석 접근 방법을 제안 할 수있는 일반적인 예를 들어 보겠습니다.

교호 작용의 가장 간단한 예는 하나의 종속 변수 와 두 개의 독립 변수 , 형식을 가진 모델입니다.ZXY

Z=α+βX+γY+δXY+ε,

함께 제로 기대를 구비하고, 매개 변수를 사용하여 임의의 용어 변수 및 . 동일한 모델의 대수적으로 동등한 표현이 있기 때문에 가까운 지 여부를 확인하는 것이 좋습니다.εα,β,γ,δδβγ

Z=α(1+βX+γY+δXY)+ε

=α(1+βX)(1+γY)+α(δβγ)XY+ε

(여기서 등).β=αβ

그러나 이라고 가정 할만한 이유가있을 경우 오류 용어 흡수 할 수 있습니다(δβγ)0ε . 이것은 "순수한 상호 작용"을 제공 할뿐만 아니라 지속적인 용어없이 수행합니다. 이것은 대수를 취할 것을 강력하게 제안합니다. 잔차의 일부 이분산성, 즉 더 큰 값과 연관된 잔차 가 평균보다 절대 값이 더 큰 경향 도이 방향을 가리킬 것입니다. 우리는 다음 대안 공식을 탐구하고 싶습니다Z

log(Z)=log(α)+log(1+βX)+log(1+γY)+τ

τβXγY1

log(Z)=(log(α)+log(β)+log(γ))+log(X)+log(Y)+τ

=η+log(X)+log(Y)+τ.

ηαβδ=βγ

나는 이것이 필요하거나 심지어 유일한 단계라고 말하지는 않지만, 이런 종류의 대수적 재 배열은 상호 작용만으로도 중요해 보일 때마다 고려할 가치가 있다고 제안하고있다.

Tukey의 EDA 10-13 장에 상호 작용이있는 모델, 특히 2 ~ 3 개의 독립 변수가있는 훌륭한 방법을 제시합니다 .


δβγ

α(δβγ)0log(Z)XYZXYZXY
whuber

30

교과서에는 종종 해당 주 효과가없는 모델에서 상호 작용을 포함해서는 안된다고 언급되어 있지만, 이것이 완벽하게 이해 될 수있는 예가 있습니다. 제가 상상할 수있는 가장 간단한 예를 알려 드리겠습니다.

두 그룹에 무작위로 배정 된 대상이 기준선에서 한 번 (즉, 무작위 화 직후) 및 그룹 T 후에 어떤 종류의 치료를받은 후에 한 번 두 번 측정되었다고 가정하지만 그룹 C는 그렇지 않습니다. 그런 다음이 데이터에 대한 반복 측정 모델에는 측정 기회에 대한 주요 효과 (기준선의 경우 0, 후속 조치의 경우 1 인 더미 변수)와 그룹 더미 (C의 경우 0, T의 경우 1)의 교호 작용 항이 포함됩니다. )와 시간 더미.

그런 다음 모델 차단은 기준에있는 대상의 평균 점수를 추정합니다 (그룹에 관계없이). 측정 기회 더미에 대한 계수는 기준선과 후속 조치 사이의 제어 그룹 변경을 나타냅니다. 상호 작용 항에 대한 계수는 대조군과 비교하여 치료군에서 변화가 얼마나 더 크거나 작은지를 나타냅니다.

여기서, 기준선에서 그룹은 무작위 화로 인해 정의에 의해 동등하므로 그룹에 대한 주 효과를 포함 할 필요는 없다.

물론 그룹에 대한 주 효과가 여전히 포함되어야한다고 주장 할 수 있으며, 따라서 무작위 화에 실패한 경우 분석에 의해 밝혀 질 것입니다. 그러나 이는 두 그룹의 기준 수단을 서로 테스트하는 것과 같습니다. 그리고 무작위 연구에서 기준선 차이에 대한 테스트에 눈살을 찌푸리는 사람들이 많이 있습니다.


4
시간 제로 (기준선) 측정이 첫 번째 응답 변수로 사용될 때 문제가 발생합니다. 기준선은 종종 연구의 시작 기준으로 사용됩니다. 예를 들어, 한 연구에서 수축기 혈압 (bp)> 140 인 환자를 등록한 다음 2bp 치료로 무작위 배정하고 bps를 따를 수 있습니다. 초기에 bp는 잘린 분포를 가지며 이후 측정은 더 대칭 적입니다. 동일한 모형에서 2 개의 분포 모양을 모델링하는 것은 지저분합니다. 기준선을 기준선 공변량으로 취급해야하는 더 많은 이유가 있습니다.
Frank Harrell

3
좋은 지적이지만 최근의 연구에 따르면 이것이 문제가되지 않는다는 것이 밝혀졌습니다. 사실, 기준선 점수를 공변량으로 사용하면 더 많은 단점이있는 것 같습니다. 문헌 : Liu, GF, et al. (2009). 임상 시험에서 기준선으로부터의 변화를 분석 할 때 기준선이 공변량 또는 종속 변수 여야합니까? 의학 통계, 28, 2509-2530.
Wolfgang

3
나는 그 신문을 읽었다. 설득력이 없으며 Liu는 내가 설명한 다양한 종류의 임상 시험 상황을 연구하지 않았습니다. 일련의 (종 방향) 데이터 분석에 관한 장 에서 biostat.mc.vanderbilt.edu/wiki/pub/Main/RmS/course2.pdf 에 더 많은 논증이 있습니다.
Frank Harrell

1
링크 주셔서 감사합니다. 8.2.3의 논의를 참조한다고 가정합니다. 이것들은 몇 가지 흥미로운 점이지만, 이것이 확실한 대답이라고 생각하지 않습니다. Liu et al.의 논문이 확실합니다. 궁극적 인 대답은 아니지만, 예를 들어 기준값의 비정규 성이 중요한 문제는 아니라는 것을 암시합니다. 이것은 OP의 질문과 직접 ​​관련이 없으므로 별도의 토론 항목에 대한 것일 수 있습니다.
Wolfgang

2
예, 비정규성에 따라 다릅니다. 모델을 공식화 할 때 행운에 의존하는 이유는 무엇입니까? 시간 제로 측정을 기준선 측정으로 처리해야하는 순수한 철학적 이유도 많이 있습니다 (내 노트에서 Senn과 Rochon의 인용문 참조).
Frank Harrell

19

모델에서 주요 효과를 유지하는 이유는 식별 가능성 때문입니다. 따라서 각 효과에 대한 통계적 추론이 목적이라면 모형의 주 효과를 유지해야합니다. 그러나 모델링 목적이 새로운 값을 예측하기위한 것일 경우 예측 정확도를 향상시키는 경우에만 상호 작용 만 포함하는 것이 합법적입니다.


5
식별 가능성 문제에 대해 좀 더 명확하게 설명해 주시겠습니까?
ocram

6
주요 효과를 생략 한 모델이 반드시 미확인 된 것으로 생각하지 않습니다. 아마도 당신은 "식별 가능성"(정확한 정의를 가진 기술적 용어)이 아닌 "해석 가능성"을 의미 할 것입니다.
JMS

6
@JMS : 그렇습니다. 해석 성을 떨어 뜨립니다. 그러나 "식별성"이라는 용어는 통계 학자와 사회 과학자에 의해 다르게 사용됩니다. 나는 후자를 의미했습니다. (느슨하게 말하면) 특정 구조로 각 통계 매개 변수를 식별하려고합니다. 주요 효과를 삭제하면 더 이상 구문과 매개 변수를 일치시킬 수 없습니다.
Galit Shmueli

13

이것은 다른 사람들이 많은 답변에 암시하지만 간단한 요점은 제품 용어가있는 모델이지만 중재자 및 예측 변수가없는 모델은 다른 모델이라는 것입니다. 그림 밖으로 각 수단이 무엇인지 는 모델링 과정을 제공하고 모델 여부 w 운영자 및 예측을하게 O를 더 이해는 이론이나 가설을 부여 /. 제품 용어는 중요하지만 인 관찰 만 사회자 및 예측 인자의 납득 설명 당신에게 / OA w (어쩌면 당신이 "의미"주변에 낚시하는 것을 제외하고) 아무 말도하지 않습니다 포함되지 않은 경우 이유 는 그들을 떠나 의미가 있습니다 .


중요한 상호 작용 용어가있을 때 주요 효과에 대한 해석을 조사하기 위해 여기에 왔으며이 답변은 실제로 많은 도움이되었습니다. 감사!
Patrick Williams

9

아마도 그것은 모델을 사용하는 것에 달려 있습니다. 그러나 가설이 단지 상호 작용에 관한 경우에도 주요 효과가있는 모델을 실행하고 설명하지 않는 이유는 결코 보지 못했습니다.


주 효과가 모형에없는 경우에만 교호 작용이 유의하면 어떻게됩니까?
Glen

3
@Glen-통계적 유의성 외에 다른 많은 생각이 있습니다. 참조 . 전체 모형 적합 (적합한 각 모형에 대한 예측과 잔차를 표시), 이론 및 모델링 동기를 검토하는 것이 좋습니다.
Michael Bishop

7

나는이 책에서 단락 빌려 STATA를 사용하여 생존 분석에 대한 소개M.Cleves이 R.Gutierrez는 W.Gould, Y.Marchenko 에 의해 편집 STATA 기자가 질문에 대답하기를.

해당 주 효과가 포함 된 경우에만 상호 작용 효과가 모델에 포함되어야한다는 것이 일반적이지만, 상호 작용 효과를 자체적으로 포함하는 데 아무런 문제가 없습니다. [...] 연구원의 목표는 처방전을 따르는 것이 아니라 당면한 문제를 고려하여 데이터에 대해 합리적으로 사실 일 가능성이있는 것을 매개 변수화하는 것입니다.


3
절대적으로 끔찍한 조언.
Frank Harrell

3
@ 프랭크, 의견을 넓히시겠습니까? "얼마나 합리적 일지 모를 데이터를 매개 변수화"하는 것은 많은 의미가 있습니다.
whuber

6
stats.stackexchange.com/questions/11009/…를 참조하십시오 . 데이터는 사실을 말할 수 없으며 그러한 접근법은 곱할 변수의 측정 원점에 크게 의존합니다. 화씨에서 온도의 고립 된 상호 작용 효과를 평가하면 섭씨를 사용하는 경우와 다른 그림이 나타납니다.
Frank Harrell

@ 프랭크 : 감사합니다, 나는 그것을 발견 :-). 이제이 스레드의 일부입니다.
whuber

7

xy 는 모두 xy 와 상관 관계가 있습니다 (중심을 사용하여이를 방지하기 위해 특정 조치를 취하지 않은 경우). 따라서 접근 방식으로 실질적인 상호 작용 효과를 얻으면 상호 작용으로 가장하는 하나 이상의 주요 효과에 해당 할 수 있습니다. 이것은 명확하고 해석 가능한 결과를 낳지 않을 것입니다. 대신에 x , y 및 (바람직하게는 후속 단계에서) xy 를 포함하여 상호 작용이 주요 효과의 역할을 얼마나 설명 할 수 있는지를 보는 것이 바람직 합니다.

용어에 관해서는, 그렇습니다. β 0은 "일정한"이라고합니다. 반면에 "부분"은 회귀에서 특정 의미를 가지므로 여기서는이 용어를 사용하여 전략을 설명하지 않습니다.

달에는 푸른 달에서 한 번 발생하는 몇 가지 흥미로운 예가 설명 되어 있습니다.


7

나는 그것이 모델 불확실성의 특별한 경우라고 제안 할 것이다. 베이지안 관점에서, 당신은 단순히 다음과 같은 방법으로 다른 종류의 불확실성을 처리하는 것과 같은 방식으로 이것을 취급합니다.

  1. 관심 대상인 경우 확률 계산
  2. 관심이 없지만 결론에 영향을 줄 수있는 경우 통합 또는 평균화

Hint:The interaction between A and B is significant
정확하게 정의되지는 않았지만 여기에 대답하고 싶은 질문입니다. 위와 같은 가설은 가설을 "정의"하는 것이 아니라 수학적 방정식이기도합니다. 우리는 약간의 데이터 와 사전 정보 를 가지고 다음과 같이 간단히 계산합니다 : (작은 메모 :이 방정식을 몇 번 쓰더라도 문제를 더 잘 이해하는 데 도움이됩니다. 계산할 주요 수량은 우도 이며, 이는 모형을 참조하지 않으므로 총 확률의 법칙을 사용하여 모형을 제거해야합니다. DI
P(Hint|DI)=P(Hint|I)P(D|HintI)P(D|I)
P(D|HintI)
P(D|HintI)=m=1NMP(DMm|HintI)=m=1NMP(Mm|HintI)P(D|MmHintI)
여기서 은 m 번째 모델을 색인화하고 은 고려중인 모델 수 첫 번째 용어는 데이터와 사전 정보가 m 번째 모델을 얼마나 지원 하는지를 나타내는 "모델 가중치"입니다. 두 번째 항은 m 번째 모형이 가설을 얼마나지지하는지 나타냅니다. 이 방정식을 원래 베이 즈 정리에 다시 연결하면 MmNM
P(Hint|DI)=P(Hint|I)P(D|I)m=1NMP(Mm|HintI)P(D|MmHintI)
=1P(D|I)m=1NMP(DMm|I)P(MmHintD|I)P(DMm|I)=m=1NMP(Mm|DI)P(Hint|DMmI)

그리고 당신은 가 m 번째 모델에서 가정의 "조건부 결론"이라는 것을 알 수 있습니다 (이것은 일반적으로 선택된 "최상의"모델에 대해 고려되는 모든 것입니다) ). 이 표준 분석은 "분명히 최고"모델 일 때마다 또는 -모든 모델은 동일 / 유사한 결론을 제공합니다. 그러나 Bayes 'Theorem은 두 가지 모두 충족되지 않으면 결과를 평균화하여 데이터와 사전 정보가 가장 많이 지원하는 모델에 더 높은 가중치를 부여하는 것이 가장 좋습니다.P(Hint|DMmI)P(Mm|DI)1P(Hint|DMjI)P(Hint|DMkI)


5

주요 효과없이 상호 작용 항을 포함시키는 것은 매우 드물다. CCNY의 David Rindskopf는 그 드문 사례에 관한 논문을 썼습니다.


5

본질적으로 상호 작용 효과와 관련 법칙을 포함하는 다양한 프로세스가 있습니다. 예를 들어 옴의 법칙. 예를 들어 심리학에서는 Vroom (1964)의 성능 모델 : Performance = Ability x Motivation이 있습니다.이 법이 참일 때 중요한 상호 작용 효과를 기대할 수 있습니다. 유감스럽게도, 이것은 사실이 아닙니다. 두 가지 주요 효과와 무의미한 상호 작용 효과를 찾는 것으로 쉽게 끝날 수 있습니다 (시연 및 추가 설명은 Landsheer, van den Wittenboer 및 Maassen (2006), Social Science Research 35, 274-294 참조). 선형 모델은 상호 작용 효과를 탐지하는 데 적합하지 않습니다. 옴은 선형 모델을 사용했을 때 법을 찾지 못했습니다.

결과적으로 선형 모델에서 상호 작용 효과를 해석하는 것은 어렵습니다. 상호 작용 효과를 예측하는 이론이있는 경우 중요하지 않은 경우에도이를 포함시켜야합니다. 이론에서 제외하면 주 효과를 무시하고 싶을 수도 있지만, 곱셈 효과 만있는 진정한 데이터 생성 메커니즘의 경우 중요한 주 효과가 종종 발견되므로 어렵습니다.

내 대답은 다음과 같습니다. 그렇습니다. 주요 효과를 포함하지 않고 모델에 양방향 상호 작용을 포함하는 것이 유효 할 수 있습니다. 선형 모델은 다양한 데이터 생성 메커니즘의 결과를 근사화하는 데 유용한 도구이지만 수식을 데이터 생성 메커니즘에 대한 올바른 설명으로 쉽게 해석 할 수는 없습니다.


4

이것은 까다 롭고 마지막 프로젝트에서 나에게 일어났다. 나는 이것을 이렇게 설명 할 것입니다 : 변수 A와 B가 독립적으로 중요하게 나타 났으며 비즈니스 감각으로 A와 B의 상호 작용이 좋다고 생각했다고 가정 해 봅시다. 중요한 것으로 드러난 상호 작용을 포함 시켰지만 B는 그 중요성을 잃었습니다. 처음에는 두 가지 결과를 표시하여 모델을 설명합니다. 결과는 처음에 B가 유의했지만 A에 비추어 볼 때 광채를 잃어 버렸다는 것을 보여줍니다. 따라서 B는 좋은 변수이지만 다양한 수준의 A에 비추어 볼 때만 가능합니다 (A가 범주 형 변수 인 경우). 마치 SEAL 군대에 비추어 볼 때 오바마가 훌륭한 지도자라고 말하는 것과 같습니다. 따라서 Obama * seal은 중요한 변수가 될 것입니다. 그러나 오바마만으로는 중요하지 않을 수 있습니다. (오바마에 대한 위반은 없으며 단지 예일뿐입니다.)


1
여기서는 반대입니다. 주요 관심사가 모형에없는 경우에만 관심있는 교호 작용이 중요합니다.
Glen

3

F = m * a, 힘은 질량 곱하기 가속과 같습니다.

F = m + a + ma 또는 이러한 매개 변수의 다른 선형 조합으로 표시되지 않습니다. 실제로 질량과 가속도 간의 상호 작용 만 물리적으로 의미가 있습니다.


2
변동의 여지가없는 논란의 여지가없는 물리학 방정식에 적용되는 것은 변동성을 특징으로하는 데이터를 모델링 할 때 반드시 적용되거나 반드시 진실되거나 정확하거나 생산적인 것은 아닙니다.
rolando2

2

주요 효과의 유무에 관계없이.  파란색은 하나의 조건입니다.  다른 레드.  각각의 효과는 3 회 연속 측정으로 테스트됩니다.

주요 효과없이 양방향 상호 작용을 포함하는 것이 유효한가요?

예, 유효하고 필요할 수도 있습니다. 예를 들어 2의 경우 주 효과 요인 (파란색과 빨간색의 평균 차이)을 포함하면 모형이 더 나빠질 수 있습니다.

가설이 상호 작용에 관한 것이라면 여전히 주 효과를 포함해야합니까?

귀하의 가설은 주요 효과와 무관하게 사실 일 수 있습니다. 그러나 모델은 기본 프로세스를 가장 잘 설명하기 위해 필요할 수 있습니다. 그렇습니다.

참고 : "연속"독립 변수 (예제 ​​측정)의 코드를 가운데에 배치해야합니다. 그렇지 않으면 모델의 교호 작용 계수가 대칭 적으로 분포되지 않습니다 (이 예에서는 첫 번째 측정에 대한 계수가 없음).


1

문제가되는 변수가 범주 형인 경우 주 효과없이 상호 작용을 포함시키는 것은 모델의 매개 변수 화일 뿐이며 매개 변수화의 선택은 모델로 수행하려는 대상에 따라 다릅니다. 연속 변수를 다른 연속 변수와 상호 작용하거나 범주 형 변수와 상호 작용하는 것은 완전히 다른 이야기입니다. 참조 : UCLA의 디지털 연구 및 교육 연구소에서이 FAQ를 참조 하십시오.


1

예, 이것은 드물지만 유효 할 수 있습니다. 그러나이 경우에도 여전히 주요 효과를 모델링해야하며,이 효과는 나중에 퇴보하게됩니다.

실제로 일부 모델에서는 약물 테스트 / 임상 모델과 같은 상호 작용 만 흥미 롭습니다. 이것은 예를 들어 gPPI (Generalized PsychoPhysiological Interactions) 모델의 기초입니다. y = ax + bxh + ch여기서 x/y복셀 / 관심 영역 및 h블록 / 이벤트 디자인이 있습니다.

이 모델에서, 모두 ac아웃 회귀 될은 단지 b유추 (베타 계수) 동안 유지 될 것이다. 사실, 모두 ac우리의 경우 가짜 활동을 나타내며, 단지 b가짜 활동, 업무와의 상호 작용에 의해 설명 될 수없는 것을 나타냅니다.


1

짧은 대답 : 고정 효과에 상호 작용을 포함하면 코드에 구체적 으로 포함 하는지 여부에 관계없이 주요 효과가 자동으로 포함됩니다 . 유일한 차이점은 매개 변수화, 즉 모델의 매개 변수가 의미하는 것입니다 (예 : 그룹화 또는 참조 수준과의 차이).

가정 : 나는 우리가 일반적인 선형 모델에서 일하고 있으며 대신 고정 효과 사양 를 사용할 수 있는지 묻고 있다고 가정합니다. 여기서 와 는 (범주) 요인입니다.ABA+B+ABAB

수학적 설명 : 응답 벡터 합니다. 경우 , 및 세 가지 요소에 대한 설계 행렬은, 다음 "주 효과 및 상호 작용"을 가진 모델은 제한에 해당하는 스팬 . "상호 작용 만"인 모델은 span 제한에 해당합니다 . 그러나 span span 입니다. 따라서 동일한 모델 의 두 가지 다른 매개 변수입니다.YN(ξ,σ2In)XAXBXABξ{XA,XB,XAB}ξ{XAB}{XAB}={XA,XB,XAB} (또는 해당 용어에 더 익숙한 경우 동일한 배포 그룹).

나는 David Beede가 매우 유사한 대답을 제공한다는 것을 보았습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.