혼합 모형에서의 모수 추정에 대한 직감 (분산 모수 대 조건부 모드)

나는 무작위 효과 (피험자에 대한 BLUP / 조건 모드)가 선형 혼합 효과 모델의 매개 변수가 아니라 추정 분산 / 공분산 매개 변수에서 파생 될 수 있다는 것을 여러 번 읽었습니다. 예를 들어 Reinhold Kliegl et al. (2011) 상태 :

무작위 효과는 대 평균 RT에서 피사체의 편차와 고정 효과 매개 변수에서 피사체의 편차입니다. 그들은 독립적으로 일반적으로는 이러한 임의 효과가 있음을 인식하는 것이 중요합니다 0의 평균과 분산 된 것으로 가정 하지 LMM의 매개 변수 - 그들의 분산 및 공분산이다. [...] 피험자 데이터와 함께 LMM 매개 변수를 사용하여 각 피험자에 대한 임의 효과의 "예측"(조건부 모드)을 생성 할 수 있습니다.

누군가 무작위 효과를 실제로 사용 / 추정하지 않고 무작위 효과의 (공) 분산 변수를 추정 할 수있는 방법을 직관적으로 설명 할 수 있습니까?

mixed-model intuition blup

— statmerkur
소스

답변:

간단한 선형 혼합 모형, 예를 들어, 다른 주제 에서 에 대한 의 의존성을 추정하는 무작위 절편 모델을 고려하고 각 주제에 고유 한 무작위 절편이 있다고 가정합니다 : 여기서 절편 는 가우시안 분포 에서 오는 것으로 모델링되며 랜덤 노이즈도 가우시안 $y$ $x$

y = a + b x + c_{i} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{i} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

에서구문이 모델은 다음과 같이 기록 될 것입니다.

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

위의 내용을 다음과 같이 다시 작성하는 것이 좋습니다.

\begin{matrix} y ∣ c \sim N (a + b x + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

동일한 확률 모델을 지정하는보다 공식적인 방법입니다. 이 공식에서 우리는 랜덤 효과 가 "모수"가 아니라는 것을 직접 볼 수 있습니다 : 그것들은 관찰되지 않은 랜덤 변수입니다. 의 값을 모르고 분산 변수를 어떻게 추정 할 수 있습니까? $c_i$ $c$

$y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (a + b x, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— 아메바의 말에 따르면 복원 모니카
소스

y \sim N (a + b x, σ^{2} I)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (a + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Sextus Empiricus

@statmerkur Tau는 매개 변수입니다. 내 대답의 마지막 수식에는 여전히 tau가 포함되어 있습니다. 중요한 점은 마지막 공식에 가 포함되어 있지 않다는 것입니다

c

$c$

c

$c$

c

$c$

나는 단지 통합 단계를 얻지 못한다고 생각합니다. @Martijn Weterings가 약간 (R 코드) 예제 나 참조를 지적 했으므로 이것이 좋을 것입니다!

— statmerkur

답변을 받아 주셔서 감사합니다. 나는 예를 생각하려고 노력할 것이다. 답변을 업데이트하면 핑합니다.

— amoeba는 Reinstate Monica가

@statmerkur이 질문에 대한 답변으로 혼합 효과 모델의 수동 계산을 보여줍니다 (우도 함수를 작성한다는 의미에서 수동으로 최적화는 여전히 R의 표준 최적화 함수로 수행됨

— Sextus Empiricus

고정 효과를 사용하여 임의 효과에 의존하지 않고 분산 및 공분산 모수를 쉽게 추정 할 수 있습니다 ( 고정 효과 대 임의 효과에 대한 설명 은 여기 를 참조 하십시오 .이 용어에 대해 다른 정의가 있다는 사실을 알고 있어야합니다).

각 그룹 (또는 각 기간 또는 임의 효과로 사용하려고 생각하는 모든 항목에 대해 (이진) 표시기 변수를 추가하면 고정 효과를 쉽게 도출 할 수 있습니다. 이는 내부 변환 과 동일 합니다). 이를 통해 고정 효과 (파라미터로 볼 수 있음)를 쉽게 추정 할 수 있습니다.

고정 효과 가정에서는 고정 효과의 분포를 가정 할 필요가 없으며, 고정 효과의 분산을 쉽게 추정 할 수 있습니다 (각 그룹 내 관측 수가 적은 경우에 극도로 노이즈가 발생하더라도 최소화 됨) 이러한 지표 변수를 추가하여 각 그룹에 대해 1 개의 자유도를 잃기 때문에 랜덤 효과에 비해 훨씬 더 큰 분산 비용에 대한 편견) 서로 다른 고정 효과 세트 간 또는 고정 효과와 다른 공변량 간의 공분산을 추정 할 수도 있습니다. 우리는 예를 들어 독일 분데스리가의 경쟁 균형 및 구색 매칭 이라는 논문 에서 더 나은 축구 선수가 더 나은 팀을 위해 더 많이 플레이하는지 평가합니다.

랜덤 효과는 공분산에 대한 사전 가정이 필요합니다. 고전적인 랜덤 효과 모델에서는 랜덤 효과가 오차와 같고 다른 공변량과 무관하다고 가정합니다 (따라서이를 무시하고 OLS를 사용할 수 있으며 가정이 다른 파라미터에 대해 비효율적 인 추정치에도 불구하고 일관성이 있음) 랜덤 효과 모델 중

더 자세한 기술 정보는 여기에 있습니다 . Andrew Gelman은 또한 멋진 저서 인 회귀 및 다단계 / 계층 모델을 사용한 데이터 분석 에서 이에 대해 훨씬 직관적 인 작업을 수행했습니다.

— 아르네 조나스 워케
소스

랜덤 효과의 (공) 분산 변수를 참조하고 있습니다 (편집 참조).

— statmerkur

나는 이것이 질문에 대답하지 않는다고 생각한다.

— amoeba는 11시 13 분에 Reinstate Monica가