REML에 대한 베이지안 해석이 있습니까?

REML에 대한 베이지안 해석이 가능합니까? 내 직감에 따르면 REML은 소위 경험적 베이 즈 추정 절차와 강력하게 유사하며 어떤 종류의 점근 적 동등성 (일부 적절한 선례에서)이 입증되었는지 궁금합니다. 예를 들어 경험적 베이와 REML은 모두 성가신 매개 변수에 직면 한 '손상된'추정 접근법처럼 보입니다 .

주로이 질문으로 찾는 것은 이러한 종류의 논증이 가져 오는 경향이있는 높은 수준의 통찰력입니다. 물론 어떤 이유로 든이 특성에 대한 주장 을 REML에 유용하게 추구 할 수 없다면, 왜 그런지에 대한 설명도 환영하는 통찰력을 제공 할 것입니다!

bayesian asymptotics reml

— 데이비드시 노리스
소스

이 논문은 관련이있는 것으로 보인다 : Foulley J. (1993). 제한된 최대 가능성을 도출하는 방법을 보여주는 간단한 주장. 유제품 과학 76, 2320–2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

베이지안 해석은 사후 분포와 관련된 추정자에 대한 베이지안 분석의 틀 안에서만 존재합니다. 따라서 REML 추정값에 베이지안 해석을 제공 할 수있는 유일한 방법은 (즉, 후방에서 추정 된 추정값으로 해석) REML 분석에서 제한된 로그 우도를 해당 로그의 로그 포지셔닝으로 간주하는 것입니다. 베이 분석; 이 경우 REML 추정기는 해당 베이지안 해석과 함께 베이지안 이론 의 MAP 추정기 입니다.

REML 추정값을 MAP 추정기로 설정 : REML 분석에서 제한된 로그 우도를 Bayes 분석에서 로그 포워드로 설정하는 방법을 보는 것은 비교적 간단합니다. 이를 위해서는 로그 우선 순위가 REML 프로세스에 의해 제거 된 로그 우도 부분의 음수 여야합니다. 로그 우도가 경우 는 잔차 로그 우도이고 는 관심있는 매개 변수입니다 ( 는 방해 매개 변수입니다). 상기 사전 설정 대응 후방을 준다 : $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

이것은 우리에게 :

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

이 결과를 통해 REML 추정기를 MAP 추정기로 해석 할 수 있으므로 REML 추정기에 대한 베이지안의 올바른 해석은 위의 이전에서 사후 밀도를 최대화하는 추정기입니다 .

REML 추정기에 베이지안 해석을 제공하는 방법을 설명 했으므로 이제이 접근 방식에 큰 문제 가 있음을 알 수 있습니다 . 한 가지 문제는 이전이 데이터에 의존 하는 로그 가능성 구성 요소 사용하여 형성된다는 것 입니다. 따라서, 이러한 해석을 얻기 위해 필요한 "선점"은 데이터를보기 전에 형성 될 수있는 기능이라는 점에서 실제적인 것은 아니다. 또 다른 문제는 이전의 문제가 종종 부적절하고 (즉, 하나에 통합되지 않음), 매개 변수 값이 극단적이되면 실제로 무게가 증가 할 수 있다는 것입니다. (아래에 예를 보여 드리겠습니다.) $\ell_*(\theta, \nu)$

이러한 문제를 바탕으로 REML 추정기에 대한 적절한 베이지안 해석 이 없다고 주장 할 수 있습니다. 대안 적으로, REML 추정기는 여전히 위의 베이지안 해석을 유지하며 , 지정된 형태로 관측 된 데이터와 일치해야하며 "우선"하의 최대 사후 추정기이며, 매우 부적절 할 수있다.

정규 데이터가있는 그림 : REML 추정의 전형적인 예 는 정밀도 관심이있는 정규 데이터 경우입니다. 평균 는 방해 매개 변수입니다. 이 경우 로그 우도 함수가 있습니다. $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

REML에서는이 로그 가능성을 두 가지 구성 요소로 나눕니다.

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

잔차 가능성을 최대화하여 정밀도 모수에 대한 REML 추정값을 얻습니다.

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

이 경우 REML 추정기는 "선점"밀도에 대한 MAP 추정기에 해당합니다.

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

보다시피,이 "선점"은 실제로 관측 된 데이터 값에 따라 달라 지므로 실제로 데이터를보기 전에는이를 구성 할 수 없습니다. 더욱이, 우리는 와 의 극단적 인 값에 점점 더 많은 가중치를 부여하는 것이 분명히 "부적절한"것임을 알 수 있습니다 . (실제로,이 사전은 꽤 본질입니다.) 만약 "우연성"에 의해 당신이이 결과와 일치하는 사전을 형성한다면, REML 추정기는 그 이전에 MAP 추정자가 될 것이고, 따라서 베이지안 해석은 그 이전의 사후를 최대화하는 추정기. $\theta$ $\nu$

— 벤-복원 모니카
소스

엄청나게 명확한 대답입니다! 결과적으로 REML을 훨씬 더 잘 이해한다고 생각합니다. 당신의 논쟁을 여는 당신의 접근 방식은 본질적으로 식별을하고 이전의 것을 '해결'하는 것으로 보인다. 그런 다음 REML에 대한 비판 (베이지 관점에서)으로 보이는 이전의 철거를 진행합니다. 아름답게 완성되었습니다!

— David C. Norris

예, 이것이 제가 사용한 방법입니다. 유사하게, 우리는 일반적으로 동일한 방법으로 MLE에 베이지안 해석을 제공합니다. 즉, MLE이 균일 한 사전 하에서 MAP임을 알아냅니다. 따라서 일반적으로 어떤 함수의 최대화에 의해 형성된 고전 추정량에 대한 베이지안 유사체를 찾고자 할 때, 우리는 단지 그 함수를 사후에 설정 한 다음 이전 문제를 해결합니다. 이것이 현명한 선행을 제공한다면 우리는 훌륭한 베이지안 해석을 할 수 있습니다. 이전이 미쳤다면 (REML과 같이), 베이지안 해석이 적절하지 않다는 좋은 주장이 있습니다.

— 벤-복원 모니카