중첩 된 var-covar 모델 중에서 선택하기 위해 ML 대신 REML을 사용해야하는 이유는 무엇입니까?

선형 혼합 모형의 임의 효과에 대한 모형 선택에 대한 다양한 설명은 REML을 사용하도록 지시합니다. 일부 수준에서 REML과 ML의 차이점을 알고 있지만 ML이 바이어스되어 REML을 사용해야하는 이유를 이해하지 못합니다. 예를 들어 ML을 사용하여 정규 분포 모형의 분산 모수에 대해 LRT를 수행하는 것이 잘못 되었습니까 (아래 코드 참조)? 모델 선택에서 ML보다 편견이 더 중요한 이유를 이해하지 못합니다. 궁극적 인 대답은 "모델 선택이 ML보다 REML에서 더 잘 작동하기 때문"이어야한다고 생각하지만 그보다 조금 더 알고 싶습니다. 나는 LRT와 AIC의 파생물을 읽지 못했지만 (완전히 이해하기에는 충분하지 않습니다), REML이 파생물에서 명시 적으로 사용되는 경우 실제로 충분하다는 것을 알면 (예 :

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

매우 짧은 대답 : REML은 ML이므로 REML 기반 테스트는 어쨌든 정확합니다. REML을 사용한 분산 매개 변수의 추정이 더 좋으므로이를 사용하는 것이 당연합니다.

REML이 ML 인 이유는 무엇입니까? 예 모델 고려 와 X ∈ R N × P는 , Z ∈ R N × Q 및 β ∈ R (P)는 고정 효과 벡터이고 U ~ N ( 0 , τ I에서 Q가 ) 는 랜덤 효과의 벡터이며 e ∼ N ( 0 , σ 2 I

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$$u \sim \mathcal N(0, \tau I_q)$$e \sim \mathcal N(0, \sigma^2 I_n)$. 고정 된 효과를 "제거"하기 위해 대비를 고려하여 제한 가능성을 얻을 수 있습니다 . 보다 정확하게 할 수 C ∈ R ( N - 쪽 ) × N 되도록, C X = 0 및 C C ' = I N - P 이다 (의 열 C는 ' 받는 벡터 공간 orthognal의 정규직 교 기저있다 X 의 열에 의해 생성 된 공간 ); 그런 다음 C Y = C Z $n-p$$C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$$X$ 와 ε ~ N (는 제한된 우도이다. $$CY = CZ u + \epsilon$$ , C Y가 주어진 τ , σ 2 가능성$\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

우도 비 검정은 두 우도의 비에 기초한 통계적 가설 검정입니다. 그들의 속성은 최대 우도 추정 (MLE)과 관련이 있습니다. (예를 들어 평신도 용어로 최대 가능성 추정치 (MLE) ).

귀하의 경우에는 당신이 '두 개의 중첩 VAR-코발 모델마다'선택 '할 (질문 참조),하자 당신이 VAR-코발이되는 모델 중에서 선택하고 싶은 말은 var에-코발이와 모델이다 Σ $\Sigma_g$$\Sigma_s$ 번째 (간이 형)가 제 1 일 (일반적인 하나)의 특별한 경우이다.

테스트는 우도 비율에 기초 . 어디에 Σ S 및 Σ g 있다 최대 가능성 추정기.$LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

통계량 은 무증상 (!) χ 2 입니다. $LR$ $\chi^2$

최대 우도 추정치는 일관된 것으로 알려져 있지만 많은 경우 편향되어 있습니다. 이는 분산에 MLE 추정기의 경우와 Σ S 및 Σ의 g , 그들이 가압되어 표시 될 수있다. 이는 데이터에서 도출 된 평균을 사용하여 계산되므로이 '추정 평균'주변의 스프레드가 실제 평균 주변의 스프레드보다 작습니다 (예 : 표준 편차를 계산할 때 n - 1로 나누는 직관적 인 설명 참조) ? )$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

통계 상술이다 χ 2 대규모 샘플이 단지 때문에 사실, 즉 큰 샘플, Σ S 및 Σ$LR$$\chi^2$$\hat{\Sigma}_s$$\hat{\Sigma}_g$ 수렴 그들의 진정한 값 (MLE 일관성).
(참고 : 위 링크에서 매우 큰 샘플의 경우 n 또는 (n-1)으로 나누면 차이가 없습니다.)

작은 샘플의 경우, MLE은의 추정 Σ 들 과 Σ의 g는 바이어스되며, 따라서의 분포 L R이 됩니다 벗어나지 에서 χ 2 REML 추정에 대한 편견 추정주는 반면, Σ 들 과 Σ의 g를 사용 그렇다면, var-covar 모델을 선택하기 위해 REML 추정값 은 작은 샘플에 대한 L R 은 χ 2 로 더 잘 추정됩니다.$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$$\chi^2$ .

REML은 평균이 동일한 모델의 중첩 된 var-covar 구조 중에서 선택하는 데만 사용해야합니다. 평균이 다른 모델의 경우 REML이 적합하지 않습니다. 평균이 다른 모델의 경우 ML을 사용해야합니다.

통계보다 상식과 관련이있는 답변이 있습니다. SAS에서 PROC MIXED를 살펴보면 6 가지 방법으로 추정을 수행 할 수 있습니다.

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

그러나 REML이 기본값입니다. 왜? 실제로, 실제 경험은 최고의 성능 (예를 들어, 수렴 문제가 발생할 가능성이 가장 적은)을 보여주었습니다. 따라서 목표를 REML로 달성 할 수 있으면 다른 5 가지 방법과 달리 REML을 사용하는 것이 좋습니다.