5 명의 대상에 대한 100 개의 측정 값이 100 명의 대상에 대한 5 개의 측정 값보다 훨씬 적은 정보를 제공함을 보여줍니다.

회의에서 나는 다음 진술을 들었다.

5 명의 피험자에 대한 100 회 측정은 100 명의 피험자에 대한 5 회 측정보다 훨씬 적은 정보를 제공합니다.

이것이 사실이라는 것은 분명하지만, 어떻게 수학적으로 증명할 수 있는지 궁금합니다. 선형 혼합 모델을 사용할 수 있다고 생각합니다. 그러나 나는 그것들을 추정하는 데 사용되는 수학에 대해 많이 모른다. ( lmer4LMM과 GLMM을 bmrs위해 실행 한다.) 이것이 사실 인 예를 보여 줄 수 있습니까? R의 일부 코드보다 일부 수식을 사용하는 것이 좋습니다. 예를 들어 정규 분포 된 임의의 가로 채기와 경사가있는 선형 혼합 모델과 같은 간단한 설정을 가정하십시오.

추신 : LMM과 관련이없는 수학 기반 답변도 괜찮습니다. LMM은 왜 더 많은 주제의 측정 값이 적은 주제의 측정 값보다 나은지 설명하는 자연스러운 도구 인 것처럼 보였지만 잘못되었을 수 있습니다.

— 델타 IV
소스

+1. 가장 간단한 설정은 각 과목마다 자신의 평균

과목의 각 측정 값이

)으로 분포되는 모집단 평균

를 추정하는 작업을 고려하는 것입니다

. 각

피험자 로부터

측정 값을 취하면 , 일정한 곱이

과

을 설정하는 최적의 방법은 무엇입니까 ?

μ

$\mu$

a \sim N (μ, σ_{a}^{2})

$a \sim \mathcal N(\mu, \sigma_a^2)$

x \sim N (a, σ^{2})

$x \sim \mathcal N(a, \sigma^2)$

n

$n$

m

$m$

n

$n$

m

$m$

n m = N

$nm=N$

— 아메바는

샘플의 평균의 편차 최소화의 관점에서 "최적"

N

$N$ 데이터 포인트를 획득.

— amoeba는

예. 그러나 귀하의 질문에 대해서는 분산을 추정하는 방법에 대해 신경 쓸 필요가 없습니다. 귀하의 질문 (즉, 귀하의 질문에 인용 된 것)은 전 세계 평균

추정하는 것에 대해서만 믿으며

μ

$\mu$ 최상의 추정량은 표본 의 모든

지점 의 총 평균

\bar{x}

$\bar x$ 에 의해 주어진다는 것이 분명합니다 . 그러면

및

주어지면

의 분산은 무엇 입니까? 우리가 알고 있다면, 우리는에 관하여를 최소화 할 수있을 것입니다

주어진

N = n m

$N=nm$

μ

$\mu$

σ^{2}

$\sigma^2$

σ_{a}^{2}

$\sigma^2_a$

n

$n$

m

$m$

\bar{x}

$\bar x$

n

$n$

제약

n m = N

$nm=N$

— amoeba는

그 중 하나를 도출하는 방법을 모르겠지만, 나는 그것이 분명한 것 같다 동의 : 추정 오류 분산에 모든 것이 가장 것

하나 개의 주제에서 측정; 피험자 분산을 추정하려면 각각 1 회 측정으로

개의 다른 피험자 를 갖는 것이 가장 좋을 것입니다 . 그래도 그 평균에 대해 명확하지는 않지만, 직감에 따르면

피험자가 1 번 측정하는 것이 가장 좋습니다. 그것이 사실인지 궁금합니다.

N

$N$

N

$N$

N

$N$

— amoeba는 Reinstate Monica

어쩌면 다음과 같은 것일 수도 있습니다. 개체 별 표본 평균의 분산은

이어야합니다 . 여기서 첫 번째 항은 주제 분산이고 두 번째는 각 주제 평균 추정치의 분산입니다. 과다-주체의 분산 평균 (즉, 총 평균)은

σ_{a}^{2} + σ^{2} / n

$\sigma^2_a + \sigma^2/n$

때 최소화됩니다.

(σ_{a}^{2} + σ^{2} / n) / m = σ_{a}^{2} / m + σ^{2} / (n m) = σ_{a}^{2} / m + σ^{2} / N = σ_{a}^{2} / m + c o n s t,

$(\sigma^2_a + \sigma^2/n)/m = \sigma^2_a/m + \sigma^2/(nm) = \sigma^2_a/m + \sigma^2/N = \sigma^2_a/m + \mathrm{const},$

m = N

$m=N$

— 아메바는 모니카

짧은 대답은 데이터에 클래스 내 에서 양의 상관 관계 가있을 때만 추측이 참 이라는 것 입니다. 경험적으로 말하면, 대부분의 클러스터 된 데이터 세트는 대부분 클래스 내 상관 관계를 보여 주므로 실제로는 추측이 사실입니다. 그러나 클래스 내 상관 관계가 0이면 언급 한 두 경우가 모두 정보를 제공합니다. 클래스 내 상관 관계가 음수 이면 더 많은 피사체에 대해 더 적은 측정을 수행 하는 것이 실제로 덜 유익 합니다. 우리는 실제로 하나의 주제에 대한 모든 측정을 수행하기 위해 (모수 추정치의 분산을 줄이는 한) 선호합니다.

통계적으로 우리가 이것에 대해 생각할 수있는 두 가지 관점이 있습니다 : 당신이 당신의 질문에 언급 한 랜덤 효과 (또는 혼합 ) 모델 또는 여기에서 조금 더 유익한 한계 모델 .

랜덤 효과 (혼합) 모델

각각 측정 한 피험자 가 있다고 가정 해 봅시다 . 이어서 단순한 랜덤 효과 모델 로부터 번째 측정 번째 주제는있을 고정 절편은 분산과 랜덤 자기 효과이다 ( ), 는 관측 수준 오차 항입니다 (분산 $n$ $m$ $j$ $i$

y_{i j} = β + u_{i} + e_{i j},

$y_{ij} = \beta + u_i + e_{ij},$

β

$\beta$

u_{i}

$u_i$

σ_{u}^{2}

$\sigma^2_u$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$ ) 및 후자의 두 임의의 용어는 독립적입니다.

이 모델에서 는 모집단 평균을 나타내며, 균형 잡힌 데이터 세트 (즉, 각 피험자로부터 동일한 수의 측정 값)를 사용하면 최상의 추정치는 단순히 표본 평균입니다. 따라서이 추정치에 대해 더 작은 분산을 의미하기 위해 "추가 정보"를 취하면 기본적으로 표본 평균의 분산이 과 에 어떻게 의존하는지 알고 싶습니다 . 약간의 대수로 우리는 그 해결할 수 있습니다 $\beta$ $n$ $m$ 이 표현을 살펴보면피험자 편차(예 :)가있을 때마다피험자 수 ()를 늘리면 피험자 당 측정 횟수 ()는 두 번째 항만 작게 만듭니다. (멀티 사이트 복제 프로젝트를 설계 할 때의 실질적인 영향에 대해서는얼마 전에 쓴이 블로그 게시물을참조하십시오.)

\begin{aligned} var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) & = var (\frac{1}{n m} \sum_{i} \sum_{j} β + u_{i} + e_{i j}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{i} \sum_{j} u_{i} + \sum_{i} \sum_{j} e_{i j}) \\ = \frac{1}{n^{2} m^{2}} (m^{2} \sum_{i} var (u_{i}) + \sum_{i} \sum_{j} var (e_{i j})) \\ = \frac{1}{n^{2} m^{2}} (n m^{2} σ_{u}^{2} + n m σ_{e}^{2}) \\ = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} . \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$

σ_{u}^{2} > 0

$\sigma^2_u>0$

n

$n$

m

$m$

이제 총 관측치 수를 일정하게 유지하면서 또는 을 늘리거나 줄이면 어떻게되는지 알고 싶었습니다 . 따라서 우리는 을 상수로 간주 하므로 전체 분산 식은 와 같습니다. $m$ $n$ $nm$ 이 가능한 한 클 때 가능한 한 작습니다 (최대,이 경우이므로 각 주제에서 단일 측정을 수행함).

\frac{σ_{u}^{2}}{n} + constant,

$\frac{\sigma^2_u}{n} + \text{constant},$

n

$n$

n = n m

$n=nm$

m = 1

$m=1$

내 짧은 대답은 클래스 내 상관 관계를 언급 했으므로 어디에 적합합니까? 이 간단한 랜덤 효과 모델에서 클래스 내 상관 관계는 (여기서유도의 스케치). 따라서 위의 분산 방정식을

ρ = \frac{σ_{u}^{2}}{σ_{u}^{2} + σ_{e}^{2}}

$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$

이것은 위에서 이미 본 것에 대한 통찰력을 실제로 추가하지는 않지만 클래스 내 상관 관계가 선의의 상관 계수이고 상관 계수이기 때문에 궁금해합니다. 클래스 내 상관 관계가 음수이면 음수 일 수 있으며 어떤 결과가 발생합니까?

var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) (σ_{u}^{2} + σ_{e}^{2})

$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$

$\sigma^2_u$ $\rho$

한계 모델

$y_{ij}$

y_{i j} = β + e_{i j}^{*},

$y_{ij} = \beta + e^*_{ij},$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*}

$e^*_{ij}$

C

$\textbf{C}$

C = σ^{2} [\begin{matrix} R & 0 & \dots & 0 \\ 0 & R & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & R \end{matrix}], R = [\begin{matrix} 1 & ρ & \dots & ρ \\ ρ & 1 & \dots & ρ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ ρ & ρ & \dots & 1 \end{matrix}]

$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$

ρ

$\rho$

e^{*}

$e^*$

ρ

$\rho$

ρ

$\rho$ .)

\begin{aligned} var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) & = var (\frac{1}{n m} \sum_{i} \sum_{j} β + e_{i j}^{*}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{i} \sum_{j} e_{i j}^{*}) \\ = \frac{1}{n^{2} m^{2}} (n (m σ^{2} + (m^{2} - m) ρ σ^{2})) \\ = \frac{σ^{2} (1 + (m - 1) ρ)}{n m} \\ = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) σ^{2}, \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$

σ_{e}^{2} + σ_{u}^{2} = σ^{2}

$\sigma^2_e+\sigma^2_u=\sigma^2$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

$\rho \ge -1/(m-1)$ $m=2$ $\rho=-1$ $m=3$ $\rho=-1/2$

$nm$

(1 + (m - 1) ρ) \times positive constant .

$\big(1+(m-1)\rho\big) \times \text{positive constant}.$

ρ > 0

$\rho>0$

m

$m$

ρ < 0

$\rho<0$

m

$m$

n m

$nm$

ρ = 0

$\rho=0$

m

$m$

n

$n$

— 제이크 웨스트 폴
소스

ρ < 0

$\rho<0$

n m

$nm$

σ_{u}

$\sigma_u$

β

$\beta$

m

$m$

ρ

$\rho$

σ_{u}^{2}

$\sigma^2_u$

Σ

$\Sigma$

σ_{u}^{2} + σ_{e}^{2} / m_{i}

$\sigma^2_u + \sigma^2_e/m_i$

m

$m$

ρ

$\rho$

m

$m$