GLM의 MLE을 찾기 위해 IRLS 방법에 대한 간단한 직관적 설명을 제공 할 수 있습니까?

배경:

Princeton의 GLM MLE 추정 검토 를 따르려고합니다 .

내가 MLE 추정의 기초를 이해 : likelihood, score, 관찰 및 예상 Fisher information과 Fisher scoring기술. 그리고 나는 MLE 추정으로 간단한 선형 회귀 를 정당화하는 방법을 알고 있습니다.

---

질문:

이 방법의 첫 번째 줄조차 이해할 수 없습니다.

다음과 같이 작업 변수 의 직관은 무엇입니까?$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

왜 를 추정하기 위해 대신에 사용 됩니까?$y_i$$\beta$

그리고 그들과의 관계 response/link function는 와 사이의 연결입니다.$\eta$$\mu$

누구든지 간단한 설명이 있거나 이것에 대해 더 기본적인 수준의 텍스트로 안내 할 수 있다면 감사하겠습니다.

몇 년 전에 나는 학생들 (스페인어)을 위해 이것에 관한 논문을 썼기 때문에 여기서 그 설명을 다시 쓰려고 노력할 수 있습니다. 복잡성을 증가시키는 일련의 예를 통해 IRLS (반복적으로 가중 된 최소 제곱)를 살펴 보겠습니다. 첫 번째 예에서는 위치 규모 제품군의 개념이 필요합니다. 하자 어떤 의미에서 제로를 중심으로 밀도 함수이다. 를 정의하여 밀도 계열을 구성 할 수 있습니다 여기서 되는 스케일 파라미터 f ( x ) = f ( x ; μ , σ ) = $f_0$σ>0μf0N(μ,σ

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$위치 매개 변수입니다. 일반적으로 오차 항이 정규 분포로 모델링되는 측정 오차 모델에서 정규 분포 대신 위와 같이 위치 스케일 패밀리를 사용할 수 있습니다. 경우 표준 정규 분포이며, 상기 구조가 제공 패밀리.$f_0$$\text{N}(\mu, \sigma)$

이제 간단한 예제에서 IRLS를 사용하겠습니다. 먼저 모델 에서 밀도 ML (최대 가능성) 추정값을 Cauchy 분포는 위치 패밀리 (따라서 이는 위치 패밀리입니다). 그러나 먼저 몇 가지 표기법이 있습니다. 가중 최소 제곱 추정기 주어진다 여기서 는 가중치입니다. 우리는 의 ML 추정량이 와 같은 형식으로 표현 될 수 있음을 알 수 있습니다f ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$잔차 의 일부 기능 우도 함수는 이고 로그 우도 함수는 대한 파생어 는 여기서 입니다. 쓰다 $$\epsilon_i = y_i-\hat{\mu}.$$ $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ 및 이면 우리는 발견 우리의 정의를 사용 $f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ 것을 기억 우리가 식을 구하는 IRLS의 예측 식이다. 참고$\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. 가중치 는 항상 양수입니다.$w_i$
2. 잔차가 크면 해당 관측치에 가중치가 적습니다.

실제로 ML 추정기를 계산하려면 시작 값 이 필요합니다. 예를 들어 중간 값을 사용할 수 있습니다. 이 값을 사용하여 잔차 및 가중치 의 새로운 값 주어진다 이런 식으로 계속해서 우리는 및 알고리즘 의 패스 에서의 추정값 은 $\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ 시퀀스 수렴 될 때까지 계속합니다. $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

이제 우리는보다 일반적인 위치 및 스케일 패밀리 로이 프로세스를 연구합니다 . 하자 위의 밀도 독립적. 도 정의하십시오 . 로그 우도 함수는 기록 , 참고 과 로그 우도 미분 계산 $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ 이고 이것을 0과 같으면 첫 번째 예와 동일한 추정식이 제공됩니다. 그런 다음 에 대한 추정기를 검색하십시오 . $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ 추정기 이 경우에도 위의 반복 알고리즘을 사용할 수 있습니다. $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

다음에서는 이중 지수 모델 (알려진 척도) 및 data에 대해 R을 사용하여 수치 예를 제공합니다 y <- c(-5,-1,0,1,5). 이 데이터의 경우 ML 추정기의 실제 값은 0입니다. 초기 값은입니다 mu <- 0.5. 알고리즘의 한 단계는

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

이 기능을 사용하면 "수동으로"반복을 수행하여 실험 할 수 있습니다. 그런 다음 반복 알고리즘을 사용하여 수행 할 수 있습니다.

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

연습 : 모형이 스케일 모수 분포 인 경우 반복은 가중치 연습 : 밀도가 로지스틱 인 경우 가중치가 $t_k$$\sigma$승(ε)=1-E

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

여기에 남겨 두는 동안이 게시물을 계속하겠습니다.