혼합 효과 모델에서 고정 효과가 임의 효과의 레벨에 따라 달라지는 것을 언제 * 허용 *하지 않아야합니까?

예측 변수 (P), 랜덤 효과 (R) 및 고정 효과 (F)가 주어지면 두 가지 혼합 효과 모델 ( lme4 구문)에 적합 할 수 있습니다 .

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

내가 이해하는 것처럼 두 번째 모델은 고정 효과가 임의의 효과 수준에 따라 달라지는 모델입니다.

필자의 연구에서는 일반적으로 혼합 효과 모델을 사용하여 여러 사람 참가자에 대해 수행 된 실험의 데이터를 분석합니다. 참가자를 임의의 효과로 모델링하고 실험 조작을 고정 효과로 모델링합니다. 실험에서 고정 효과가 성능에 영향을 미치는 정도가 참가자마다 달라지게하는 것이 우선적이라고 생각합니다. 그러나 고정 효과가 임의의 효과 수준에 따라 달라지는 상황을 상상하는 데 어려움이 있으므로 내 질문은 다음과 같습니다.

고정 효과가 무작위 효과의 수준에 따라 변하지 않아야 하는 시점은 언제 입니까?

혼합 효과 모델링의 전문가는 아니지만 계층 적 회귀 모델링 컨텍스트에서 표현하면 질문에 훨씬 쉽게 답변 할 수 있습니다. 따라서 관측치에는 두 개의 인덱스 와 있으며 클래스 와 클래스 멤버를 나타내는 인덱스 있습니다. 계층 적 모델을 사용하면 클래스마다 계수가 다른 선형 회귀를 맞출 수 있습니다. F i j i $P_{ij}$$F_{ij}$$i$$j$

$$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$$

이것이 우리의 첫 번째 수준의 회귀입니다. 두 번째 수준 회귀는 첫 번째 회귀 계수에서 수행됩니다.

$$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$$

1 차 회귀 분석에서 이것을 대체하면

$$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$$

여기서 는 고정 효과이고 는 임의 효과입니다. 혼합 모형 추정값은 및 분산입니다 .u γ $\gamma$$u$$\gamma$$u$

내가 적어 둔 모델은 lmer구문에 해당 합니다

P ~ (1+F|R) + F

이제 임의의 용어없이 을$\beta_{1i}=\gamma_{01}$

$$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$$

lmer구문에 해당

P ~ (1|R) + F

이제 문제는 2 차 회귀에서 오류 항을 언제 배제 할 수 있습니까? 정식 답변은 두 번째 수준의 회귀 분석에서 회귀자가 (여기에는 없지만, 포함 할 수 있지만 클래스 내에서 일정하다는 것을 확신 할 때) 클래스 간 계수의 분산을 완전히 설명한다는 것입니다.

따라서이 특별한 경우에 계수가 변하지 않거나 의 분산 이 매우 작은 경우 첫 번째 모형에서 더 나은 것으로 생각해야합니다. U 1 $F_{ij}$$u_{1i}$

참고 . 나는 대수적 인 설명만을 제공했지만 그것을 염두에두고 특정 적용 예를 생각하는 것이 훨씬 쉽다고 생각합니다.

"고정 효과"는 분산 성분이 0 인 "무작위 효과"로 생각할 수 있습니다.

따라서 고정 효과가 변하지 않는 이유에 대한 간단한 대답은 "충분히 큰"분산 성분에 대한 증거가 충분하지 않습니다. 증거는 이전 정보와 데이터 모두에서 가져와야합니다. 이것은 기본적인 "옥캄 면도기"원칙과 일치합니다. 모델을 필요 이상으로 복잡하게 만들지 마십시오.

나는 다음과 같은 방식으로 선형 혼합 모형을 생각하는 경향이 있으며 다음과 같이 다중 회귀를 작성하십시오.

$$Y=X\beta+Zu+e$$

따라서 는 모델의 "고정"부분이고 는 "무작위"부분이고 는 OLS 스타일 잔차입니다. "랜덤 효과"분산 모수 및 대해 있습니다. 표준 결과 를 얻습니다.Z u e u ∼ N ( 0 $X\beta$$Zu$$e$$u\sim N(0,D(\theta))$$\theta$$e\sim N(0,\sigma^{2}I)$$(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

$$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$$

이것을 OLS 회귀 ( )와 비교하면 다음 과 같습니다.$Z=0$

$$Y\sim N(X\beta,\sigma^{2}I)$$

따라서 모델의 "무작위"부분은 모델 에서 노이즈 또는 오류 구성 요소의 상관 구조에 대한 사전 정보 를 지정하는 방법으로 볼 수 있습니다 . OLS는 기본적으로 모델의 고정 부분에서 발생한 오류가 모델의 고정 부분을 확실하게 알고 있더라도 다른 오류를 예측하는 데 쓸모 없다고 가정합니다. 랜덤 효과를 추가하면 기본적으로 일부 오류가 다른 오류를 예측하는 데 유용 할 것이라고 생각합니다.

이것은 아주 좋은 답변이있는 아주 오래된 질문이지만, 더 실용적인 관점을 다루기 위해 새로운 답변의 이점을 얻을 수 있다고 생각합니다.

고정 효과가 무작위 효과의 수준에 따라 변하지 않아야하는 경우는 언제입니까?

다른 답변에서 이미 설명한 문제를 다루지 않고 Barr et al (2013)의 "유명한"논문을 종종 "최대한 상태로 유지"라고 부르지 만 지금은 유명합니다.

Barr, DJ, Levy, R., Scheepers, C. and Tily, HJ, 2013. 확인 가설 테스트를위한 랜덤 효과 구조 : 최대로 유지하십시오. 기억과 언어의 전표, 68 (3), pp.255-278.

이 논문에서 저자들은 모든 고정 된 효과가 그룹화 요소 (무작위 가로 채기)의 수준에 따라 달라질 수 있다고 주장합니다. 그들의 주장은 상당히 매력적입니다. 기본적으로 그것들을 변화 시키지 않으면 서 모델에 제약을 가하고 있습니다. 이것은 다른 답변에 잘 설명되어 있습니다. 그러나이 접근법에는 Bates el al (2015)이 설명하는 심각한 문제가 있습니다.

베이츠, D., Kliegl, R., Vasishth, S. 및 Baayen, H., 2015. Parsimonious 혼합 모델. arXiv 프리 프린트 arXiv : 1506.04967

여기서 Bates는 lme4R에서 혼합 모델을 맞추기위한 패키지 의 주요 저자이며, 아마도 이러한 모델에 가장 널리 사용되는 패키지 일 것입니다. 베이츠 등은 많은 실제 응용에서 데이터가 최대 랜덤 효과 구조를 지원하지 않는다는 점에 주목합니다. 종종 관련 변수에 대한 각 군집에 관측치 수가 충분하지 않기 때문입니다. 이것은 수렴하지 않거나 임의 효과에서 특이한 모델에서 나타날 수 있습니다. 이 사이트에서 그러한 모델에 대한 많은 질문이 그것을 증명합니다. 또한 Barr 등은 논문의 기초로 "잘 동작하는"임의 효과를 사용하여 비교적 간단한 시뮬레이션을 사용했다고 언급합니다. 대신 베이츠 등은 다음과 같은 접근법을 제안합니다.

우리는 (1) 랜덤 효과 구조의 분산 공분산 행렬의 차원을 결정하기 위해 PCA를 사용하고, (2) 특히 최대 모델을 맞추기위한 초기 시도가 수렴하지 않을 때 처음에 상관 매개 변수를 0으로 제한하도록 제안했습니다. 그리고 (3) 중요하지 않은 분산 성분과 관련 상관 파라미터를 모형에서 제거

같은 논문에서 그들은 또한 다음과 같이 지적합니다.

중요한 것은 수렴 실패는 추정 알고리즘의 결함 때문이 아니라 데이터가 제대로 지원하기에 너무 복잡한 모델을 적합시키려는 시도의 직접적인 결과입니다.

과:

반 보수적 인 결론으로부터 보호하기 위해 최대 모델이 필요하지 않습니다. 이 보호 기능은 데이터가 지원할 수있는 복잡성에 대한 현실적인 기대치에 따라 종합적인 모델을 통해 완벽하게 제공됩니다. 통계학에서 과학의 다른 곳에서와 마찬가지로, 파르 모니는 악덕이 아닙니다.

베이츠 외 (2015)

보다 적용되는 관점에서, 데이터 생성 프로세스, 데이터의 기초가되는 생물학적 / 물리적 / 화학적 이론이 랜덤 효과 구조를 지정하도록 분석가를 안내해야하는지 여부에 대한 추가 고려 사항이 있습니다.