"제한된 최대 가능성"이란 무엇이며 언제 사용해야합니까?

73

나는 이 논문 의 초록을 읽었다 :

"Hartley aud Rao의 ML (Maximum Likelihood) 절차는 Patterson과 Thompson의 변환을 수정하여 가능성 렌더 정규성을 두 부분으로 분할합니다. 하나는 고정 된 효과가 없습니다.이 부분을 최대화하면 제한된 최대 가능성이라고합니다. (REML) 견적 자입니다. "

또한 이 논문 의 초록에서 REML을 읽었습니다 .

"고정 효과 추정으로 인한 자유도 손실을 고려합니다."

슬프게도 나는 그 논문의 전문에 접근 할 수 없습니다 (그리고 아마도 내가 이해하지 못했을 것입니다).

또한 REML과 ML의 장점은 무엇입니까? 혼합 효과 모델을 피팅 할 때 어떤 상황에서 ML보다 REML을 선호 할 수 있습니까 (또는 그 반대)? 고등학교 (또는 그 너머) 수학 배경을 가진 사람에게 적합한 설명을 제공하십시오!

mixed-model maximum-likelihood reml

— 조 킹
소스

stats.stackexchange.com/questions/99895/…

62

ocram의 답변에 따라 ML은 분산 성분 추정에 편향되어 있습니다. 그러나 표본 크기가 클수록 치우침이 작아지는 것을 관찰하십시오. 따라서 귀하의 질문에 대한 답변으로 " ... REML 대 ML의 장점은 무엇입니까? 어떤 상황에서 혼합 효과 모델을 피팅 할 때 ML보다 ML (또는 그 반대)이 더 좋을 수 있습니다 (또는 그 반대)? ", 작은 샘플 크기의 경우 REML이 선호됩니다. 그러나 REML에 대한 우도 비율 테스트는 두 모델에서 정확히 동일한 고정 효과 사양을 요구합니다. 따라서 고정 효과가 다른 모델 (일반 시나리오)과 LR 테스트를 비교하려면 ML을 사용해야합니다.

REML은 추정 된 (고정 효과) 매개 변수의 수를 고려하여 각각 1 자유도를 잃습니다. 이는 고정 효과와 무관 한 최소 제곱 잔차에 ML을 적용하여 수행됩니다.

— 로버트 롱
소스

8

실제로, 분산 성분의 REML 추정기는 일반적으로 (대략) 편향되지 않은 반면, ML 추정기는 음으로 바이어스된다. 그러나 ML 추정기는 일반적으로 REML 추정기보다 낮은 평균 제곱 오차 (MSE)를 갖습니다. 따라서 평균적으로 옳고 싶다면 REML을 사용하십시오.하지만 추정값의 변동성이 더 큰 것으로 지불하십시오. 평균적으로 실제 값에 더 가깝게하려면 ML을 사용하십시오.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"분산 성분의 추정을 위해 ML이 바이어스된다". 랜덤 효과의 분산 또는 고정 효과 계수의 표준 오차를 의미합니까?

— SKAN

54

빠른 답변은 다음과 같습니다.

표준 예시 예

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{엔} \sum_{나는 = 1}^{엔} ({와이}_{나는} - \bar{와이})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

이자형 ({\hat{σ}}_{ML}^{2}) = \frac{엔 - 1}{엔} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

REML 추정은 종종 복잡한 모델의보다 복잡한 상황에서 사용됩니다. 혼합 모델에 대한 모든 책에는 REML 추정을 자세히 설명하는 섹션이 있습니다.

편집하다

@Joe King : 다음 은 온라인에서 사용할 수있는 혼합 모델에 대해 제가 가장 좋아하는 책 중 하나입니다. 2.4.2 절에서는 분산 성분 추정에 대해 다룹니다. 당신의 독서를 즐기십시오 :-)

— 옥람
소스

고맙습니다-도움이 되긴하지만 혼합 모델에 대한 책을 쉽게 이용할 수는 없습니다. 내 게시물의 두 따옴표에 답을 알려주시겠습니까?

— Joe King

다변량 가우시안이 스토리를 어떻게 바꾸는 지 궁금합니다. stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

ML 방법은 분산 모수를 추정 할 때 고정 모수를 불확실성없이 알고 있다고 가정하기 때문에 분산 모수를 과소 평가합니다.

REML 방법은 수학적 트릭을 사용하여 고정 모수에 대한 추정치와는 별개로 분산 모수에 대한 추정치를 만듭니다. REML은이 시점에서 분산 성분을 무시하고 모델의 고정 효과 부분에 의해 모델링 된 관측치에 대한 회귀 잔차를 먼저 가져옵니다.

ML 추정치는 고정 효과에 대해 편향되지 않지만 랜덤 효과에 대해서는 편향되는 반면, REML 추정은 고정 효과에 대해 편향되고 랜덤 효과에 대해서는 편향되지 않습니다.

— 스칸
소스