선형 혼합 모형에 대한 랜덤 효과 예측을 수동으로 계산

손으로 선형 혼합 모델에서 랜덤 효과 예측을 계산하려고 시도하고 Generalized Additive Models 에서 Wood가 제공 한 표기법을 사용하여 R (pg 294 / pg 307 of pdf)을 사용하여 각 매개 변수에 대해 혼란스러워합니다. 나타냅니다.

아래는 Wood의 요약입니다.

선형 혼합 모형 정의

와이 = 엑스 β + 지 비 + ϵ

$Y = X\beta + Zb + \epsilon$

여기서 b $\sim$ N (0, ) 및 N (0, ) $\psi$ $\epsilon \sim$ $\sigma^{2}$

b와 y가 공동 정규 분포를 갖는 임의의 변수 인 경우

\begin{aligned} [\begin{matrix} 비 \\ 와이 \end{matrix}] & \sim 엔 [\begin{matrix} [\begin{matrix} 0 \\ 엑스 β \end{matrix}], & [\begin{matrix} ψ & Σ_{비 와이} \\ Σ_{와이 비} & Σ_{θ} σ^{2} \end{matrix}] \end{matrix}] \end{aligned}

$\begin{align*} \begin{bmatrix} b\\ y \end{bmatrix} &\sim N \begin{bmatrix} \begin{bmatrix} 0\\ X\beta \end{bmatrix}\!\!,& \begin{bmatrix} \psi & \Sigma_{by} \\ \Sigma_{yb}& \Sigma_{\theta}\sigma^{2} \end{bmatrix} \end{bmatrix}\\ \end{align*}$

RE 예측은 다음과 같이 계산됩니다.

\begin{aligned} 이자형 [비 ∣ 와이] & = Σ_{비 와이} Σ_{와이 와이}^{- 1} (와이 - 엑스 β) \\ = Σ_{비 와이} Σ_{θ}^{- 1} (와이 - 엑스 β) / σ^{2} \\ = ψ 지^{티} Σ_{θ}^{- 1} (와이 - 엑스 β) / σ^{2} \end{aligned}

$\begin{align*} E[b \mid y] &= \Sigma_{by} \Sigma_{yy}^{-1} (y - x\beta)\\ &= \Sigma_{by}\Sigma_{\theta}^{-1}(y - x \beta) / \sigma^{2}\\ &= \psi z^{T}\Sigma_{\theta}^{-1} (y - x \beta) / \sigma^{2} \end{align*}$

여기서 $\Sigma_{\theta} = Z\psi Z^{T} /\sigma^{2} + I_{n}$

lme4R 패키지 의 무작위 절편 모델 예제를 사용하여 출력을 얻습니다.

library(lme4)
m = lmer(angle ~ temp + (1 | replicate), data=cake)
summary(m)

% Linear mixed model fit by REML ['lmerMod']
% Formula: angle ~ temp + (1 | replicate)
%    Data: cake
% 
% REML criterion at convergence: 1671.7
% 
% Scaled residuals: 
%      Min       1Q   Median       3Q      Max 
% -2.83605 -0.56741 -0.02306  0.54519  2.95841 
% 
% Random effects:
%  Groups    Name        Variance Std.Dev.
%  replicate (Intercept) 39.19    6.260   
%  Residual              23.51    4.849   
% Number of obs: 270, groups:  replicate, 15
% 
% Fixed effects:
%             Estimate Std. Error t value
% (Intercept)  0.51587    3.82650   0.135
% temp         0.15803    0.01728   9.146
% 
% Correlation of Fixed Effects:
%      (Intr)
% temp -0.903

그래서이에서, 나는 생각 = 23.51이 에서 추정 할 수 및 인구 수준 잔차의 광장에서. $\psi$ $(y-X\beta)$ cake$angle - predict(m, re.form=NA)sigma

th = 23.51
zt = getME(m, "Zt") 
res = cake$angle - predict(m, re.form=NA)
sig = sum(res^2) / (length(res)-1)

이것들을 곱하면

th * zt %*% res / sig
         [,1]
1  103.524878
2   94.532914
3   33.934892
4    8.131864
---

비교할 때 올바르지 않은

> ranef(m)
$replicate
   (Intercept)
1   14.2365633
2   13.0000038
3    4.6666680
4    1.1182799
---

왜?

mixed-model lme4-nlme

— 사용자 2957945
소스

두 가지 문제 (두 번째 문제를 발견하는 데 40 분이 걸렸다 고 고백합니다).

$\sigma^2$ 23.51
```
sig <- 23.51
```
$\psi$ 39.19
```
psi <- 39.19
```
잔차는를 사용하여 얻지 않고을 사용하여 얻 cake$angle - predict(m, re.form=NA)습니다 residuals(m).

함께 정리 :

> psi/sig * zt %*% residuals(m)
15 x 1 Matrix of class "dgeMatrix"
         [,1]
1  14.2388572
2  13.0020985
3   4.6674200
4   1.1184601
5   0.2581062
6  -3.2908537
7  -4.6351567
8  -4.5813846
9  -4.6351567
10 -3.1833095
11 -2.1616392
12 -1.1399689
13 -0.2258429
14 -4.0974355
15 -5.3341942

와 비슷합니다 ranef(m).

나는 predict계산하는 것을 정말로 얻지 못한다 .

$\hat\epsilon$ $PY$ $P = V^{-1} - V^{-1} X \left(X' V^{-1} X\right)^{-1} X' V^{-1}$

\hat{ϵ} = σ^{2} 피 와이

$\hat\epsilon = \sigma^2 PY$

\hat{비} = ψ 지^{티} 피 와이 .

$\hat b = \psi Z^t PY.$

$\hat b = \psi / \sigma^2 Z^t \hat\epsilon$

— 엘비스
소스

y - x β

$y-x\beta$ plot(residuals(m), cake$angle-predict(m, re.form=NULL)) ; plot(residuals(m), cake$angle-predict(m, re.form=NA))

고정 효과를 사용하는 방법과 위의 E [b | y]의 세 번째 버전 :

z = getME(m, "Z")  ; big_sig = solve(((z * psi) %*% zt ) / sig + diag(270)) ;  psi/sig * zt %*% big_sig %*% (cake$angle-predict(m, re.form=NA))

. 올바른 항목을 지적 해 주셔서 감사합니다.

— user2957945

Σ_{b y}

$\Sigma_{by}$

Σ_{y y}

$\Sigma_{yy}$

Σ_{y b}

$\Sigma_{yb}$

ψ Z

$\psi Z$

엘비스, 나는 이것에 대해 또 다른 생각을했다. RE 수준에서 예측 된 값 (및 잔차)을 사용하여 계산하기 때문에 이와 같은 잔차를 사용하는 것은 실제로 합리적이지 않으므로 방정식의 양쪽에서 사용합니다. (따라서 RE 예측 (E [b | y])을 사용하여 잔차를 예측할 수 있습니다 (예 : 우리가 예측하려고하는 용어 임에도 불구하고))

— user2957945