혼합 모형에서 요인을 랜덤으로 처리하는 것의 장점은 무엇입니까?

몇 가지 이유로 모델 요소를 무작위로 레이블링하는 이점을 수용하는 데 문제가 있습니다. 나에게 거의 모든 경우에서 최적의 해결책은 모든 요소를 ​​고정 된 것으로 취급하는 것 같습니다.

첫째, 고정 대 무작위의 구별은 임의적입니다. 표준 설명은 특정 실험 단위 자체에 관심이 있다면 고정 효과를 사용해야하고, 실험 단위로 표현 된 모집단에 관심이 있다면 무작위 효과를 사용해야한다는 것입니다. 이는 데이터와 실험 설계가 동일하게 유지 되더라도 고정 된 뷰와 임의의 뷰를 번갈아 나타낼 수 있기 때문에 큰 도움이되지 않습니다. 또한이 정의는 요인이 랜덤으로 레이블이 지정된 경우 요인에서 고정으로 레이블이 지정된 경우보다 모델에서 도출 된 추론이 모집단에 더 적합하다는 착시를 촉진합니다. 마지막으로 Gelman은 고정 랜덤 구별이 혼란 스럽다는 것을 보여줍니다. 고정 및 랜덤 효과가 무엇인지에 대한 정의가 네 개 더 있기 때문에 정의 수준에서도 마찬가지입니다.

둘째, 혼합 모형의 추정은 매우 복잡합니다. "완전히 고정 된"모델과 달리 p- 값을 얻는 방법은 몇 가지가 더 있습니다 R의 lme4 패키지에서 REML 추정을 구현 한 베이츠 교수는 p- 값을 모두보고하지 않기로했습니다. .

셋째, 임의의 요인에 의해 몇 개의 암시 적 매개 변수가 도입되는지에 관한 문제가 있습니다. 다음 예는 Burnham & Anderson, Model Selection 및 Multi-Model Inference에서의 실용적 정보 이론적 접근 방식에 대한 나의 적응입니다 . 바이어스-분산 트레이드 오프 관점에서, 랜덤 효과의 역할은 다음과 같이 설명 될 수 있습니다. 와 일원 분산 분석을 고려 치료와 K 있는 주요 요인 효과, K - 1 으로 추정됩니다. 오차항의 분포 는 N ( 0 , σ 2 ) 입니다. 관측치 수가 고정되면 편차-분산 트레이드 오프가 K로 악화됩니다.$K$$K$$K - 1$$\mathcal N(0, \sigma^2)$$K$상승. 주 효과가 N ( 0 , σ K ) 분포 에서 도출 되었다고 가정 합니다. 해당 모델은 고정 (과적 합) 버전과 절편 만 포함 된 언더 핏 모델 사이에 복잡성이 있습니다. 고정 모델의 유효 매개 변수 수는$K$$\mathcal N(0, \sigma_K)$

임의의 모델에서 효과적인 파라미터의 개수는 적어도 세 가지이다 : . 또한 랜덤 모델에는 주 효과에 부과 된 분포 (이 경우 정상) 제한에 의해 암시 된 많은 "숨겨진"매개 변수가 있습니다.$\mathrm{intercept}, \sigma, \sigma_K$

특히, 두 수준을 가진 요인이있는 경우, 일부 모집단에서 해당 수준이 무작위로 샘플링되었다는 것을 알고 있음에도 불구하고 무작위로 부르는 것은 합리적이지 않습니다. 고정 효과 버전에는 3 개의 파라미터가 있고 랜덤 효과 버전에는 3 개 이상의 파라미터가 있기 때문입니다. 이 경우 랜덤 모델은 고정 버전보다 더 복잡합니다. 분명히 고정 버전에서 임의 버전으로의 전환은 더 큰 K 에 더 적합합니다.$K$. 그러나 랜덤 모델에서 "숨겨진"매개 변수의 수는 알려져 있지 않으므로 AIC와 같은 정보 기준에 따라 고정 및 랜덤 버전을 비교하는 것은 불가능합니다. 따라서이 예제는 랜덤 효과 (더 나은 바이어스-분산 트레이드 오프 가능성)의 기여를 설명하지만, 고정에서 랜덤으로 요인의 레이블을 재지 정하는 것이 정당하다고 말하기 어렵다는 것을 보여줍니다.

위의 문제는 "순수하게 고정 된"모델에 존재하지 않습니다. 그러므로 나는 기꺼이 물을 것이다 :

1. 랜덤 팩터가 마치 고정 된 것처럼 사용될 때 매우 나쁜 일이 발생했을 때 누구에게나 모범을 보여줄 수 있습니까? 문제를 명시 적으로 해결하는 시뮬레이션 연구가 있어야한다고 생각합니다.

2. 고정 레이블에서 임의 레이블로 전환하는 것이 적절한시기를 결정하는 입증 된 정량적 방법이 있습니까?

1. 심리학과 언어학의 유명한 예는 Herb Clark (1973; 1964 년 Coleman에 따름)에 기술되어있다.

Clark은 심리학 실험을 논의하는 심리 언어 학자로서, 연구 대상의 샘플이 일련의 자극 물질, 일반적으로 일부 코퍼스에서 추출한 다양한 단어에 대한 반응을 만드는 심리 실험을 논의합니다. 그는 반복 측정 ANOVA를 기반으로하며 Clark이 이라고하는 이러한 통계적 통계 절차 는 참가자를 임의의 요인으로 취급하지만 자극 물질 (또는 "언어")을 (암시 적으로) 처리한다고 지적합니다. 고정으로. 이것은 실험 조건 인자에 대한 가설 테스트 결과를 해석하는 데 문제를 일으킨다. 당연히 우리는 긍정적 인 결과가 우리가 참가자 샘플을 뽑은 모집단과 우리가 그린 이론적 모집단 모두에 대해 무언가를 말해 준다고 가정하고 싶다 언어 자료. 하지만 $F_1$ , 참가자를 무작위로 자극하고 고정 된 자극으로 취급함으로써, 정확히 동일한 자극에 반응하는 다른 유사한 참가자에 대한 조건 인자의 영향에 대해서만 알려줍니다. 도전 F 1 참가자 자극 모두보다 적절하게 랜덤으로 볼 때 분석 실질적 공칭 초과 1 에러 레이트 유형으로 이어질 수 α의 보통 0.05 - - 레벨 범위가 이러한 개수와의 변동 등의 요인에 의존하여 자극과 실험의 디자인. 이러한 경우에, 적어도 고전적인 ANOVA 프레임 워크에서보다 적절한 분석은선형 조합의비율에 기초한준 F 통계량을 사용하는것입니다.$F_1$$F_1$$\alpha$$F$ 평균 제곱.

클라크의 논문은 당시 심리 언어학에서 시작되었지만 더 넓은 심리학 문헌에서 큰 흠집을 내지 못했습니다. (심리 언어학에서도 Raaijmakers, Schrijnemakers, & Gremmen, 1999 년에 문서화 한 바와 같이 Clark의 조언은 수년 동안 다소 왜곡되었다.) 그러나 최근 몇 년 동안이 문제는 통계적 진보로 인해 부흥의 무언가를 보았다. 혼합 효과 모델에서 고전 혼합 모델 ANOVA는 특별한 경우로 볼 수 있습니다. 최근 논문으로는 Baayen, Davidson, & Bates (2008), Murayama, Sakaki, Yan, & Smith (2014), ( ahem ) Judd, Westfall, & Kenny (2012) 등이 있습니다. 나는 내가 잊고있는 것이 있다고 확신합니다.

2. 정확히는 아닙니다. 가 있습니다 . 요소가 더 나은 임의의 효과 또는 모든의 모델에 포함되어 있는지 여부에 가져 오는 방법 (예를 들면, 핀 헤이 & 베이츠, 2000 참조 쪽 83-87을, 그러나 바, 레비, Scheepers, Tily를 참조 2013). 물론 요인이 고정 효과로 더 잘 포함되는지 여부를 결정하는 고전적인 모델 비교 기술이 있습니다 (즉, 검정). 그러나 요인이 고정 또는 무작위로 더 잘 고려되는지 여부를 결정하는 것이 일반적으로 연구의 설계와 그 결론에서 도출 된 결론의 성격을 고려하여 대답하는 개념적인 질문으로 가장 잘 생각된다고 생각합니다.$F$

저의 대학원 통계 강사 중 한 명인 Gary McClelland는 아마도 통계적 추론의 근본적인 질문은 "무엇과 비교할까요?" 라고 말하고 싶어했습니다. Gary에 이어 위에서 언급 한 개념적 질문을 다음과 같이 구성 할 수 있다고 생각합니다. 실제 관찰 결과를 비교하려는 가상 실험 결과의 참조 클래스는 무엇입니까? 심리 언어 론적 맥락에 머무르고 두 조건 중 하나 (클락, 1973에 의해 논의 된 특정 디자인) 중 하나에 분류 된 단어의 샘플에 응답하는 피험자 샘플이있는 실험적 디자인을 고려하여, 나는 두 가지 가능성 :

1. 각 실험에 대해 새로운 피험자 샘플, 새로운 단어 샘플 및 생성 모델에서 새로운 에러 샘플을 추출하는 일련의 실험. 이 모델에서 주제와 단어는 모두 임의의 효과입니다.
2. 각 실험마다 새로운 주제 샘플과 새로운 오류 샘플을 그리는 실험 세트 이지만 항상 동일한 단어 세트를 사용합니다 . 이 모델에서 주제는 무작위 효과이지만 단어는 고정 효과입니다.

이 전체를 구체적으로 설명하기 위해, 아래는 모델 1에서 4 번의 시뮬레이션 된 실험에 대한 4 세트의 가상 결과로부터 얻은 일부 도표입니다. (아래) 모델 2에서 4 개의 시뮬레이션 된 실험에 대한 4 세트의 가상 결과. 각 실험은 두 가지 방식으로 결과를 봅니다. (오른쪽 패널)은 단어별로 그룹화되며 각 단어에 대한 응답 분포를 요약하는 상자 그림이 있습니다. 모든 실험에는 10 개의 단어에 반응하는 10 명의 피험자가 포함되며, 모든 실험에서 관련 모집단에서 조건 차이가없는 "널 가설"이 참입니다.

주제와 단어 모두 무작위 : 4 개의 시뮬레이션 실험

여기서 각 실험에서 주제와 단어에 대한 반응 프로필이 완전히 다릅니다. 대상의 경우 전체 응답이 낮고 응답자가 많으며 때로는 조건 차이가 큰 경향이있는 주제와 조건 차이가 작은 경향이있는 주제가 있습니다. 마찬가지로, 단어의 경우, 때때로 우리는 저 응답을 이끌어내는 경향이있는 단어를 얻거나 때로는 높은 반응을 이끌어내는 경향이있는 단어를 얻습니다.

무작위 대상, 고정 단어 : 4 시뮬레이션 실험

여기서 4 개의 시뮬레이션 된 실험에서 주제는 매번 다르게 보이지만,이 모델에서 모든 실험에 대해 동일한 단어 세트를 재사용한다는 가정하에 단어의 응답 프로파일은 기본적으로 동일하게 보입니다.

모델 1 (피험자 및 단어 모두 무작위) 또는 모델 2 (무작위 주제, 고정 된 단어)가 우리가 실제로 관찰 한 실험 결과에 대한 적절한 참조 클래스를 제공한다고 생각하는지 여부에 대한 선택은 조건 조작 여부에 대한 평가에 큰 영향을 줄 수 있습니다. "일했다." 더 많은 "이동 부품"이 있기 때문에 Model 2에서보다 Model 1에서 데이터의 확률 변동이 더 클 것으로 예상됩니다. 따라서 추론하고자하는 결론이 확률 변동이 상대적으로 높은 모델 1의 가정과 더 일치하지만 확률 변동이 상대적으로 낮은 모델 2의 가정에 따라 데이터를 분석하면 유형 1 오류 조건 차이를 테스트하기위한 속도는 (아마도 상당히 큰) 정도로 팽창 될 것입니다. 자세한 내용은 아래 참조를 참조하십시오.

참고 문헌

Baayen, RH, Davidson, DJ, & Bates, DM (2008). 주제 및 항목에 대한 교차 임의 효과를 사용한 혼합 효과 모델링. 기억과 언어의 전표, 59 (4), 390-412. PDF

Barr, DJ, Levy, R., Scheepers, C., & Tily, HJ (2013). 확증 가설 검정을위한 랜덤 효과 구조 : 최대로 유지하십시오. 메모리 및 언어 저널, 68 (3), 255-278. PDF

HH 클락 (1973). 고정 효과 언어 오류 : 심리학 연구에서 언어 통계에 대한 비판. 언어 학습 및 언어 행동 저널, 12 (4), 335-359. PDF

콜맨, EB (1964). 언어 인구 일반화. 심리학 보고서, 14 (1), 219-226.

Judd, CM, Westfall, J., & Kenny, DA (2012). 사회적 심리학에서 자극을 무작위 요인으로 취급 : 광범위하지만 무시되는 문제에 대한 새롭고 포괄적 인 솔루션. 성격 및 사회 심리학 저널, 103 (1), 54. PDF

Murayama, K., Sakaki, M., Yan, VX, & Smith, GM (2014). 메타 메모리 정확도에 대한 기존의 참여자 분석에서 유형 I 오류 인플레이션 : 일반화 된 혼합 효과 모델 관점. 실험 심리학 저널 : 학습, 기억 및 인식. PDF

Pinheiro, JC, & Bates, DM (2000). S 및 S-PLUS의 혼합 효과 모델. 봄 병아리.

Raaijmakers, JG, Schrijnemakers, J., & Gremmen, F. (1999). "고정 된 언어의 오류"를 다루는 방법 : 일반적인 오해와 대안 솔루션. 메모리 및 언어 저널, 41 (3), 416-426. PDF

여러 다른 기계에서 재료를 만드는 과정이 있다고 가정합니다. 그들은 내가 가진 유일한 기계이므로 "기계"는 고정 된 효과입니다. 그러나 나는 각 기계에 많은 재료를 만들고 미래의 로트에 대한 것들을 예측하는 데 관심이 있습니다. "로트 번호"를 임의의 요소로 만들 것입니다. 앞으로의 로트에 대해 얻을 결과에 관심이 있기 때문 입니다.

따라서 요인의 표본 크기와 전체 관측치 수를 기반으로 특정 요인에 대한 전체 평균과 평균 사이에 평균 효과가 있도록이를 무작위로 처리합니다. 가중 평균 유형과 해당 요인으로 인한 변동 추정값이 있기 때문에 결과가 모집단에 크게 적용된다고 말할 수 있습니다. 그렇지 않은 경우 실제로는 결과가 요인 수준에 적용된다고 말할 수 있습니다 회귀 분석에서 가중치를 평균화하는 임의 요인이 아닌 이산 요인으로 취급하므로 사용했습니다.

같은 주제에 대해 측정 값을 반복 할 때도 유용합니다. 동일한 주제에 대한 측정 값 간의 상관 관계를 설명하는 데 사용할 수 있기 때문입니다.

데이터에 그룹화 구조가있는 경우 $Y_{ij} = \beta_1 X_{ij} + \beta_2 Z_{i} + e_{i} + \mu_{ij}$ 어디에 $X_{ij}$ 우리 개인 관찰의 관찰 가능 $Z_{i}$ 그 중에서도 불변의 관측치이며 그룹화 수준에서만 관측되며, 추정하려는 경우 고정 효과를 사용할 수 없습니다 $\beta_2$내부 추정기를 사용하면 $Z_{i}$ 우리가 각각에 대해 더미 변수를 사용하면 $i$, $Z_{i}$그들과 공선입니다. 따라서이 상황에서 고정 효과 추정기를 사용하면 잠재적으로 중요한 정보는 무시합니다.

경우에도 $Y_{ij} = \beta_1 X_{ij} + e_{i} + \mu_{ij}$ 우리가없는 곳 $Z_{i}$, 문제와 함께 발생할 수있는 문제에도 불구하고 몇 가지 이유로 무작위 효과를 사용하고 싶을 수도 있습니다.

이러한 종류의 설정에서 무작위 변형에는 두 가지 (또는 여러 그룹화 수준이있는 경우) 변형 소스가 있습니다. 고정 효과 (또는 "내부") 추정기는 추정시 그룹 간의 변동을 완전히 제거합니다.$\beta_1$. 랜덤 / 믹스 효과 추정기는 "사이"변동이 다음의 추정에 기여할 수 있도록합니다.$\beta_1$이론적으로 더 작은 표준 오류가 발생합니다.

(원래 답변)

기본적으로 임의 효과를 사용해야하는 한 가지 위치는 고정 효과의 그룹화 수준에서 변하지 않는 매개 변수를 포함하려는 경우입니다.

예를 들어 의사의 특성 (예 : 교육)이 환자의 결과에 미치는 영향을 조사하려고한다고 가정하십시오. 데이터 세트는 관찰 된 환자 결과 및 환자 / 의사 특성을 갖는 환자 수준이다. 단일 의사의 치료를받은 환자는 서로 관련이있을 수 있으므로이를 관리하려고합니다. 여기에 의사 고정 효과를 삽입 할 수 있지만 그렇게하면 모델에 의사 특성이 포함되지 않습니다. 의사 수준의 특성에 관심이 있다면 문제가됩니다.

나는 그것이 추정의 일관성과 관련이 있다고 생각합니다.

의 말을하자 $x_{ij} = a_i+b_j+e$ 어디에 $a_i$ 고정 효과를 나타냄 (일부 실험 조건)

과 $b_j$ 임의의 효과를 나타낼 수 있음

Neyman과 Scott (1948)은 일관성의 문제를 지적

최대 가능성 추정치 $a_i$ 과 $b_j$.

우리가 가져 가면 $a_i$ 과 $b_j$ 두 고정 효과로 추정치가 더 이상

일관된. 적어도 그게 내가 이해 한 방법입니다 ...