주사위는 몇면입니까? JAGS에서의 베이지안 추론

문제

알려지지 않은 수의면으로 죽는 것과 비슷한 시스템에 대해 추론하고 싶습니다. 다이를 여러 번 굴린 후 다이의 변 수 θ에 해당하는 매개 변수에 대한 확률 분포를 추론하고 싶습니다.

직관

40 개의 롤 후에 10 개의 빨간색, 10 개의 파란색, 10 개의 녹색 및 10 개의 노란색이 관찰 된 경우 θ가 4에서 정점에 도달하는 것으로 보이며 각 측면의 롤링 바이어스는 1/4을 중심으로 한 분포입니다.

θ는 사소한 하한값을 가지며, 데이터에서 관찰 된 다른 변의 수입니다.

상한은 여전히 알려져 있지 않습니다. 편향이 낮은 5면이있을 수 있습니다. 다섯 번째 범주가없는 데이터가 많을수록 사후 확률은 θ = 4입니다.

접근하다

여기에 적절한 것으로 보이는 비슷한 문제 (R 및 rjags를 통해)에 JAGS를 사용했습니다.

데이터와 관련하여 obs <- c(10, 10, 10, 10)위 예의 관측치에 해당한다고 가정 해 봅시다.

나는 관찰이 다항 분포로 모델링해야한다고 생각 obs ~ dmulti(p, n), p ~ ddirch(alpha)하고 n <- length(obs).

θ는에 의해 암시 된 범주의 수와 연결되어 alpha있으므로 alpha가능한 다른 범주의 범주를 포함 하도록 어떻게 모델링 할 수 있습니까?

대안?

나는 베이지안 분석에 익숙하지 않아서 잘못된 트리를 완전히 짖을 수도 있습니다.이 문제에 대해 다른 통찰력을 제공 할 수있는 대체 모델이 있습니까?

많은 감사합니다! 데이비드

r probability bayesian jags

— 다비 파티
소스

수년에 걸쳐 많은 관심을 받아 왔으며 많은 다른 추정 문제 (예 : 마크 회수)를 포괄하는 '종 표본 추출'이라는 흥미로운 문제입니다. JAGS는이 경우 도움이되지 않습니다 .JAGS는 다양한 반복 차원에서 Markov 체인을 처리 할 수 없습니다. 가역 점프 MCMC와 같은 문제를 위해 설계된 MCMC 체계에 의지해야합니다.

다음은 설명하는 특정 모델에 적합한 한 가지 방법입니다 . Jeff Miller ( arxived ) 의 작업에서 처음 접한 방법입니다 .

파트 I (원래 질문)

내가 할 한 가지 가정은 주어진 범주를 관찰하면 더 낮은 순위의 범주가 있음을 의미합니다. 즉,면 9에서 다이 롤을 관찰하면면 1-8이 존재 함을 의미합니다. 그것은하지 않습니다 이 이런 식으로 - 범주는 임의의 수 -하지만 내 예를 그렇게 가정합니다. 이는 다른 종 추정 문제와 달리 0 값을 관찰 할 수 있음을 의미합니다.

다항식 표본이 있다고 가정 해 보겠습니다.

Y = {y_{1}, y_{2}, \dots, y_{m}, y_{m + 1}, \dots, y_{n}} \sim M ({p_{1}, p_{2}, \dots, p_{m}, p_{m + 1}, \dots, p_{n}})

$Y = \{y_1, y_2, \dots, y_m, y_{m+1}, \dots, y_{n} \} \sim \mathcal{M}(\{p_1, p_2, \dots, p_m, p_{m+1}, \dots, p_n\})$

여기서 은 관측 된 최대 범주이고, 은 (알 수없는) 범주 수이며, 모든 은 0입니다. 매개 변수 은 유한하므로 매개 변수 은 유한하며 그것을위한 선행. 를 지원하기 전에 적절하고 별개의 모든 것이 작동합니다. 예를 들어 0으로 잘린 포아송을 예로 들어 보겠습니다. $m$ $n$ $\{y_{m+1},\dots,y_{n}\}$ $n$ $[1, \infty)$

n \sim P (λ), n > 0

$n \sim \mathcal{P}(\lambda), n > 0$

다항식 확률에 앞서 편리한 것은 Dirichlet입니다.

P = {p_{1}, \dots, p_{n}} \sim D ({α_{1}, \dots, α_{n}})

$P = \{ p_1, \dots, p_n \} \sim \mathcal{D}(\{ \alpha_1, \dots, \alpha_n \})$

그리고 간단히 . $\alpha_1 = \alpha_2 = \dots = \alpha_n = \tilde{\alpha}$

문제를 다루기 쉽도록 가중치를 소외시킵니다.

p (Y | \tilde{α}, n) = \int_{P} p (Y | P, n) p (P | \tilde{α}, n) d P

$p(Y|\tilde{\alpha}, n) = \int_P p(Y|P, n)p(P|\tilde{\alpha}, n) dP$

이 경우 잘 연구 된 Dirichlet- 다항식 분포를 이끄는 것 입니다. 목표는 조건부 후부를 추정하는 것입니다.

p (n | Y, \tilde{α}, λ) = \frac{p (Y | n, \tilde{α}) p (n | λ)}{p (Y | \tilde{α}, λ)}

$p(n|Y, \tilde{\alpha}, \lambda) = \frac{ p(Y|n, \tilde{\alpha}) p(n|\lambda) }{ p(Y|\tilde{\alpha}, \lambda) }$

여기서 및 는 고정 하이퍼 파라미터 라고 가정 합니다. 다음을 쉽게 알 수 있습니다. $\tilde{\alpha}$ $\lambda$

피 (와이 | \tilde{α}, λ) = \sum_{엔 = 1}^{\infty} 피 (와이 | 엔, \tilde{α}) 피 (엔 | λ)

$p(Y|\tilde{\alpha}, \lambda) = \sum_{n=1}^\infty p(Y|n, \tilde{\alpha}) p(n|\lambda)$

여기서 여기서 입니다. 이 무한 시리즈는 이전의 꼬리가 너무 무겁지 않은 한 오히려 빠르게 수렴해야하므로 대략적인 편입니다. 잘린 포아송의 경우 형식은 다음과 같습니다. $p(Y|n, \tilde{\alpha}) = 0$ $n < m$

피 (와이 | \tilde{α}, λ) = \frac{1}{({이자형}^{λ} - 1)} \sum_{엔 = 미디엄}^{\infty} \frac{Γ (엔 \tilde{α}) \prod_{나는 = 1}^{엔} Γ ({와이}_{나는} + \tilde{α})}{Γ (엔 \tilde{α} + \sum_{나는 = 1}^{엔} {와이}_{나는}) Γ (\tilde{α})^{엔}} \cdot \frac{λ^{엔}}{엔!}

$p(Y|\tilde{\alpha}, \lambda) = \frac{1}{(e^\lambda - 1)} \sum_{n=m}^\infty \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!}$

이어지는 :

피 (엔 | 와이, \tilde{α}, λ) = \frac{Γ (엔 \tilde{α}) \prod_{나는 = 1}^{엔} Γ ({와이}_{나는} + \tilde{α})}{Γ (엔 \tilde{α} + \sum_{나는 = 1}^{엔} {와이}_{나는}) Γ (\tilde{α})^{엔}} \cdot \frac{λ^{엔}}{엔!} \cdot {(\sum_{제이 = 미디엄}^{\infty} \frac{Γ (제이 \tilde{α}) \prod_{나는 = 1}^{제이} Γ ({와이}_{나는} + \tilde{α})}{Γ (제이 \tilde{α} + \sum_{나는 = 1}^{제이} {와이}_{나는}) Γ (\tilde{α})^{제이}} \cdot \frac{λ^{제이}}{제이!})}^{- 1}

$p(n|Y,\tilde{\alpha}, \lambda) = \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!} \cdot \left(\sum_{j=m}^\infty \frac{\Gamma(j\tilde{\alpha})\prod_{i=1}^j \Gamma(y_i + \tilde{\alpha})}{\Gamma(j\tilde{\alpha} + \sum_{i=1}^j y_i) \Gamma(\tilde{\alpha})^j} \cdot \frac{\lambda^j}{j!}\right)^{-1}$

어떤에 대한 지원이 . Bayes 규칙 분모의 무한 계열을 너무 많은 노력없이 근사 할 수 있으므로이 경우 MCMC가 필요하지 않습니다. $[m, \infty)$

R의 조잡한 예는 다음과 같습니다.

logPosteriorN <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        posterior <- lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { posterior <- posterior + (j-m)*lgamma(alpha) } 
        else if( j < m ) { posterior = -Inf }
        prior + posterior
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

## with even representation of sides
Y <- c(10, 10, 10, 10)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

## with uneven representation of sides
Y <- c(1, 2, 1, 0, 0, 2, 1, 0, 1)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

직관이 정확합니다. 범주 간 희소 샘플링으로 인해 전체 범주 수에 대한 불확실성이 커집니다. 를 알 수없는 매개 변수로 취급 하려면 MCMC와 및 의 대체 업데이트를 사용해야 합니다. $\tilde{\alpha}$ $n$ $\tilde{\alpha}$

물론 이것은 추정에 대한 한 가지 접근법입니다. 약간의 검색만으로 쉽게 베이지안과 비 베이지 맛을 찾을 수 있습니다.

파트 II (답변 답변)

$Y = \{y_1, \dots, y_m, y_{m+1}, \dots, y_n \}$ 은 대응 확률 갖는 부분적으로 관측 된 다항식 벡터입니다 : $\Omega = \{\omega_1, \dots, \omega_m, \omega_{m+1}, \dots, \omega_n\}$

피 아르 자형 (와이 | Ω, 엔) = \frac{Γ (\sum_{나는 = 1}^{엔} {와이}_{나는} + 1)}{\prod_{나는 = 1}^{엔} Γ ({와이}_{나는} + 1)} \prod_{나는 = 1}^{엔} ω_{나는}^{{와이}_{나는}}

$\mathrm{Pr}(Y|\Omega, n) = \frac{\Gamma(\sum_{i=1}^n y_i + 1)}{\prod_{i=1}^n \Gamma(y_i + 1) } \prod_{i=1}^n \omega_i^{y_i}$

여기서 , 및 이지만 그렇지 않으면 인덱스는 임의적입니다. 이전과 마찬가지로 문제는 실제 개수의 을 추론하는 것이며 , 0으로 자른 포아송 (Poisson)과 같은 시작합니다 . $y \in \mathbb{N}$ $y_1 \dots y_m > 0$ $y_{m+1} \dots y_n = 0$ $n$ $n$

피 아르 자형 (엔 | λ) = \frac{λ^{엔}}{(특급 {λ} - 1) 엔!}, 엔 \in 지^{+}

$\mathrm{Pr}(n|\lambda) = \frac{\lambda^{n}}{(\exp\{\lambda\} - 1)n!},~n \in \mathbb{Z}^+$

또한 이전과 마찬가지로 다항식 확률 를 대칭 하이퍼 파라미터 분배 된 Dirichlet으로 , 즉 주어진 , $\Omega$ $\tilde{\alpha}$ $n$

피 아르 자형 (Ω | \tilde{α}, 엔) = \frac{Γ (엔 \tilde{α})}{Γ (\tilde{α})^{엔}} \prod_{나는 = 1}^{엔} ω_{나는}^{\tilde{α} - 1}

$\mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n\tilde{\alpha})}{\Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \omega_i^{\tilde{\alpha}-1}$

확률 벡터에 통합 (marginalizing)하면 다항식 Dirichlet이 제공됩니다.

피 아르 자형 (와이 | \tilde{α}, 엔) = \int 피 아르 자형 (와이 | Ω, 엔) 피 아르 자형 (Ω | \tilde{α}, 엔) = \frac{Γ (엔 \tilde{α})}{Γ (\sum_{나는 = 1}^{엔} {와이}_{나는} + 엔 \tilde{α}) Γ (\tilde{α})^{엔}} \prod_{나는 = 1}^{엔} Γ ({와이}_{나는} + \tilde{α})

$\mathrm{Pr}(Y|\tilde{\alpha}, n) = \int \mathrm{Pr}(Y|\Omega, n) \mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n \tilde{\alpha})} {\Gamma(\sum_{i=1}^n y_i + n \tilde{\alpha}) \Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})$

여기서 우리는 위의 파트 I의 모델과 다릅니다. 1 부에서는 범주에 대한 암시 적 순서가있었습니다. 예를 들어, 형 다이에서 범주 (측면)에는 암시 적 순서가 있으며 모든 범주에 대한 관찰은 의미합니다. 더 적은 카테고리의 존재 . Part II에는 암시적인 순서가없는 부분적으로 관찰 된 다항식 랜덤 벡터가 있습니다. 다시 말해서, 데이터는 데이터 포인트를 관측 된 카테고리 로 정렬되지 않은 파티션으로 나타낸다 . 관찰되지 않은 범주에 의해 증가한 비 순차 파티션을 표시하겠습니다 . $n$ $i \in \{1 \dots n\}$ $j < i$ $m \leq n$ $Y$ $n-m$ $\mathcal{P}[Y]$

동일한 수의 범주 에 대해 조건부 정렬되지 않은 파티션의 확률은 동일한 파티션을 초래하는 범주의 순열 수를 고려하여 찾을 수 있습니다. $n$

피 아르 자형 (피 [와이] | \tilde{α}, 엔) = \frac{엔!}{(엔 - 미디엄)!} 피 아르 자형 (와이 | \tilde{α}, 엔)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) = \frac{n!}{(n-m)!} \mathrm{Pr}(Y|\tilde{\alpha}, n)$

그리고 이것은 을 통해 통합되어 다음 을 제공 할 수 있습니다 : $n$

피 아르 자형 (피 [와이] | \tilde{α}, λ) = \sum_{제이 = 미디엄}^{\infty} 피 아르 자형 (피 [와이] | \tilde{α}, 엔) 피 아르 자형 (엔 | λ)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda) = \sum_{j=m}^{\infty} \mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) \mathrm{Pr}(n|\lambda)$

Bayes의 규칙을 사용하여 사후 검색 :

피 아르 자형 (엔 | 피 [와이], \tilde{α}, λ) = \frac{피 아르 자형 (피 [와이] | 엔, \tilde{α}) 피 아르 자형 (엔 | λ)}{피 아르 자형 (피 [와이] | \tilde{α}, λ)}

$\mathrm{Pr}(n|\mathcal{P}[Y], \tilde{\alpha}, \lambda) = \frac{\mathrm{Pr}(\mathcal{P}[Y]|n, \tilde{\alpha}) \mathrm{Pr}(n|\lambda)}{\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda)}$

위의 정의에서 연결하면됩니다. 다시 말하지만 분모는 빠르게 수렴되는 무한 계열입니다.이 간단한 모델에서는 MCMC가 적절한 근사치를 제공 할 필요가 없습니다.

1 부에서 R 코드를 수정하여 :

logPosteriorN_2 <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        likelihood <- lchoose(j, m) + lgamma(m + 1) + lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { likelihood <- likelihood + (j-m)*lgamma(alpha) } 
        else if( j < m ) { likelihood = -Inf }
        prior + likelihood
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

Y_1 <- rep(10, 15)
pos_1 <- logPosteriorN_2(50, Y_1, 6, 1)
plot(1:50, exp(pos_1))

— 네이트 교황
소스

매우 완전한 답변을 주셔서 감사합니다. (매우 느린 응답에 대해 죄송합니다). 나는 이런 유형의 질문으로 돌아 왔고 여전히 수학을 통해 노력하고 있습니다. 내 시스템에서 범주는 순서가 아니므 로 주어진 범주 의 관측이 더 낮은 순위의 범주가 존재한다는 가정 은 유효하지 않습니다.

— davipatti

@davipatti 두 번째 부분에서 답변했습니다.

— 네이트 교황