EM 알고리즘을 사용하여 제로 팽창 된 포아송 모델의 잠복 변수 공식에 대한 MLE을 계산하는 방법은 무엇입니까?

부풀려진 포아송 회귀 모형은 의해 표본 에 대해 정의 그것은 상기 매개한다고 가정 과 충족 $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

0으로 팽창 된 포아송 회귀 모형의 해당 로그 우도는

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

여기서 및 는 디자인 행렬입니다. 이러한 행렬은 두 생성 프로세스에 사용하려는 기능에 따라 동일 할 수 있습니다. 그러나 행 수는 동일합니다. $\mathrm{B}$ $\mathrm{G}$

가 완전, 제로 상태에서 온 경우 이고 가 포아송 상태에서 온 경우 을 볼 수 있다고 가정하면 로그 우도는 다음과 같습니다. $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ 첫 두 용어는 을 분리하기위한 로지스틱 회귀 분석에서의 손실입니다. 부터 . 두 번째 항은 포아송 프로세스에 의해 생성 된 점에 대한 회귀입니다.

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

그러나 잠복 변수는 관찰 할 수 없습니까? 목적은 첫 로그 가능성을 최대화하는 것입니다. 그러나 잠재적 변수를 도입하고 새로운 로그 우도를 도출해야합니다. 그런 다음 EM 알고리즘을 사용하여 두 번째 로그 가능성을 최대화 할 수 있습니다. 그러나 이것은 또는 이라는 것을 알고 있다고 가정합니다 . $Z_i = 0$ $Z_i = 1$

— 다미 엔
소스

는 무엇입니까 ? 또한이 질문의 큰 부분은 @Robby의 이전의 다른 질문에서 크게 잘라 붙여 넣은 것으로 보입니다. 당신인가요?

f

$f$

— 매크로

@ 매크로 : 매크로 네, 저예요. 가 무엇인지 잘 모르겠습니다 . 신문은 말하지 않았다.

f

$f$

— Damien

어려움의 근본은 문장에 있습니다.

그런 다음 EM 알고리즘을 사용하여 두 번째 로그 가능성을 최대화 할 수 있습니다.

당신이 관찰했듯이, 당신은 할 수 없습니다. 대신, 최대화하는 것은 두 번째 로그 우도의 예상 값 ( "완전한 데이터 로그 우도"라고 함)이며, 여기서 예상 값은 됩니다. $z_i$

이는 반복 에서 반복 의 매개 변수 추정치가 주어지면 의 예상 값을 계산 하는 반복 절차로 집니다 (이는 "E-step"이라고 함). ",) 그런 다음이를 완전한 데이터 로그 가능성으로 대체하고 (이 경우이 작업을 수행 할 수있는 이유는 아래 편집 참조) 매개 변수와 관련하여이를 최대화하여 현재 반복에 대한 추정치를 얻습니다 ("M-step " .) $k^{th}$ $z_i$ $(k-1)^{th}$

가장 간단한 경우에 0으로 팽창 된 포아송에 대한 완전한 데이터 로그 가능성- 및 와 같은 두 개의 매개 변수 는 M 단계와 관련하여 실질적인 단순화를 허용하며, 이는 사용자의 양식에 어느 정도까지 적용됩니다. R 코드를 통해 간단한 경우 어떻게 작동하는지 보여 주므로 본질을 볼 수 있습니다. 가능한 한 단순화하지 않습니다. 문제를 생각할 때 선명도가 떨어질 수 있습니다. $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

귀하의 경우 각 단계에서 가중치가 및 따라서1-zhat 의 추정치를 얻는 가중치가 부여 된 포아송 회귀 분석을 수행 한 다음 다음을 최대화하십시오. $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

의 추정치를 구하기 위해 행렬 의 계수 벡터와 관련하여 . 예상되는 값 는 반복 할 때마다 다시 계산됩니다. $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

알고리즘을 이해하는 것과 달리 실제 데이터에 대해이 작업을 수행하려면 R 패키지가 이미 존재합니다. 다음 은 라이브러리를 사용하는 http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm 의 예 pscl입니다.

편집 : 우리가하고있는 일은 누락 된 데이터 / 잠재 변수의 예상 값을 사용하여 전체 데이터 로그 가능성을 최대화하지 않고 전체 데이터 로그 가능성의 예상 값을 최대화하는 것임을 강조해야합니다. 완전한 데이터 로그 가능성은 누락 된 데이터에서 선형 적입니다. 여기에서와 같이 두 가지 접근 방식은 동일하지만 그렇지 않습니다.

— 보보 맨
소스

@ 콜라, 당신은 기존 답변을 변경하지 않고, 당신의 자신의 보충 답변 으로이 정보를 추가해야합니다. 이 수정 사항은 승인되지 않아야합니다.

— gung-복직 모니카