REML 또는 ML 두 가지 혼합 효과 모델을 다른 고정 효과와 비교하지만 동일한 임의 효과를 비교합니까?

배경 : 참고 : 내 데이터 세트와 r 코드는 텍스트 아래에 포함됩니다.

R의 lme4 패키지를 사용하여 생성 된 두 가지 혼합 효과 모델을 비교하기 위해 AIC를 사용하고 싶습니다. 각 모델에는 하나의 고정 효과와 하나의 임의 효과가 있습니다. 고정 효과는 모델마다 다르지만 임의 효과는 모델간에 동일하게 유지됩니다. REML = T를 사용하면 model2의 AIC 점수가 낮아 지지만 REML = F를 사용하면 model1의 AIC 점수가 낮아집니다.

ML 사용 지원 :

Zuur et al. (2009; PAGE 122)는 "내포 된 고정 효과 (그러나 동일한 랜덤 구조를 갖는)와 모델을 비교하려면 REML이 아닌 ML 추정을 사용해야합니다." 이것은 임의의 효과가 두 모델에서 동일하기 때문에 ML을 사용해야 함을 나타내지 만 고정 효과는 다릅니다. [Zuur et al. 2009. R. Springer를 이용한 생태학의 혼합 효과 모델 및 확장.]

REML 사용 지원 :

그러나 ML을 사용할 때 임의 효과와 관련된 잔차 분산이 두 모델 (model1 = 136.3; model2 = 112.9)에서 다르지만 REML을 사용하면 모델간에 동일합니다 (model1 = model2 = 151.5). 이것은 랜덤 잔차 분산이 동일한 랜덤 변수를 가진 모델간에 동일하게 유지되도록 REML을 대신 사용해야한다는 것을 의미합니다.

질문:

고정 효과가 변경되고 무작위 효과가 동일한 모델을 비교할 때 ML보다 REML을 사용하는 것이 더 합리적이지 않습니까? 그렇지 않다면 이유를 설명하거나 더 설명하는 다른 문헌을 알려 주시겠습니까?

# Model2 "wins" if REML=T:
REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T)
REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T)
AIC(REMLmodel1,REMLmodel2)
summary(REMLmodel1)
summary(REMLmodel2)

# Model1 "wins" if REML=F:
MLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = F)
MLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = F)
AIC(MLmodel1,MLmodel2)
summary(MLmodel1)
summary(MLmodel2)

데이터 세트 :

Response    Fixed1  Fixed2  Random1
5.20    A   A   1
32.50   A   A   1
6.57    A   A   2
24.77   A   B   3
41.69   A   B   3
34.29   A   B   4
1.80    A   B   4
10.00   A   B   5
15.56   A   B   5
4.44    A   C   6
21.65   A   C   6
9.20    A   C   7
4.11    A   C   7
12.52   B   D   8
0.25    B   D   8
27.34   B   D   9
11.54   B   E   10
0.86    B   E   10
0.68    B   E   11
4.00    B   E   11

— 그것은 인물
소스

Faraway 's (2006) R을 사용하여 선형 모형 확장 (p. 156) : "REML은 고정 효과를 제거하는 데이터의 선형 조합을 고려하여 랜덤 효과를 추정하기 때문입니다. 이러한 고정 효과가 변경되면 두 모델은 직접 비교할 수 없습니다. "

— jvh_ch

AIC는 가능성을 기반으로하지만 내 지식을 최대한 활용하여 예측 목적으로 개발되었습니다. 예측에 혼합 모델을 정확히 어떻게 적용합니까?

— AdamO

@AdamO, 더 정확할 수 있습니까? 모집단 수준 (조건부 모드 / BLUP을 0으로 설정하여 지정되지 않은 / 알 수없는 단위에 대한 반응 예측) 또는 개별 수준 (조건부 모드 / BLUP의 추정치에 대한 조건 예측)에서 적합 혼합 모형을 예측에 사용할 수 있습니다. ). 좀 더 구체적으로 할 수 있다면, 새로운 이력서 문제가 될 수 있습니다.

— Ben Bolker

이 모델을 어떻게 적용 할 것인지 분명하지 않았습니다. 문제의 어떤 것도 어떤 종류의 예측이 이루어 졌는지, 또는 필요한지, 어떤 경우에 어떤 목적으로 수행되었는지를 제안하지 않았습니다.

— AdamO

답변:

Zuur et al. 및 Faraway (위의 @janhove의 의견에서)가 옳습니다. 가능성 기반 방법 (AIC 포함)을 사용하여 REML에 맞는 다른 고정 효과와 두 모델을 비교하면 일반적으로 말이되지 않습니다.

— 벤 볼커
소스

@janhove, AdamO 및 Ben Bolker에게 감사합니다. 또한 Aaron 의이 링크 가이 질문에 대답하는 데 도움 이된다는 것을 알았습니다 . "REML 가능성은 모델에 어떤 고정 효과가 있는지에 따라 달라 지므로 고정 효과가 변경되면 비교할 수 없습니다. REML은 일반적으로 임의 효과에 대한 더 나은 추정치를 제공하는 것으로 간주되므로 일반적인 조언은 적합합니다. 최종 추론 및보고에 REML을 사용하는 최상의 모델입니다. "

— It 's Figures

REML 가능성을 AIC 비교와 같은 용도로 사용할 수없는 이유를 설명하는 예제를 제공합니다. 우리가 일반적인 혼합 효과 모델이라고 상상해보십시오. 하자 나타낸다 설계 행렬이 행렬은 전체 순위가 있다고 가정합니다. 행렬 의해 주어진 평균값 공간의 재 파라미터 화를 찾을 수 있습니다 . 두 행렬은 의 동일한 선형 부분 공간에 걸쳐 있습니다. 따라서, 의 열은 의 열의 선형 조합으로 기록 될 수있다 . 따라서 이차 행렬을 찾을 수 있습니다 $X$ $\tilde{X}$ $\mathbb{R}^n$ $\tilde{X}$ $X$ 그러한를, $B$

. $\tilde{X} = XB$

또한 는 전체 순위를 가지고 있습니다. $B$ $X$ $B$

$V$

$|V|^{-1/2}|\tilde{X}'V^{-1}\tilde{X}|^{-1/2}\exp((y-\tilde{X}\tilde{\beta})'V^{-1}(y-\tilde{X}\tilde{\beta})/2)$

$\beta = (\tilde{X}V^{-1}\tilde{X})^{-1}y$ $X = \tilde{X}B$

$|B||V|^{-1/2}||X'V^{-1}X|^{-1/2}|\exp((y-X\bar{\beta})'V^{-1}(y-X\bar{\beta})/2)$

$\bar{\beta} = (XV^{-1}X)^{-1}y$ $|B|$

$|B| \neq 1$

다른 고정 효과가있는 모델을 비교할 때 REML을 사용해서는 안되는 이유의 예입니다. 그러나 REML은 종종 랜덤 효과 매개 변수를 더 잘 추정하므로 비교를 위해 ML을 사용하고 단일 (아마도 최종) 모델을 추정하기 위해 REML을 사용하는 것이 좋습니다.

— swmo
소스