계층 적 로지스틱 회귀 분석에 Bernoulli 매개 변수에 베타 분포를 사용하는 이유는 무엇입니까?

저는 현재 Kruschke의 "Doing Bayesian Data Analysis"책을 읽고 있습니다. 그러나 계층 적 로지스틱 회귀 (20 장) 장은 다소 혼란 스럽다.

그림 20.2는 Bernoulli 매개 변수가 S 자형 함수를 통해 변환 된 계수에 대한 선형 함수로 정의되는 계층 적 로지스틱 회귀 분석을 설명합니다. 이것은 다른 소스에서도 온라인에서 본 대부분의 예에서 계층 적 로지스틱 회귀 분석이 이루어지는 방식 인 것 같습니다. 예를 들어 -http : //polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

그러나 예측 변수가 명목 형이면 계층 구조에 레이어를 추가합니다. Bernoulli 매개 변수는 이제 mu 및 kappa에 의해 결정된 매개 변수를 사용하여 베타 분포 (그림 20.5)에서 가져옵니다. 여기서 mu는 계수의 선형 함수에 대한 시그 모이 드 변환입니다. kappa는 이전에 감마를 사용합니다.

이것은 합리적이고 9 장의 동전 던지는 예와 비슷해 보이지만, 명목상의 예측자가 베타 분포를 추가하는 것과 어떤 관계가 있는지는 알 수 없습니다. 메트릭 예측기의 경우 왜 그렇게하지 않고 왜 명목 예측기의 베타 분포가 추가 되었습니까?

편집 : 내가 말하는 모델에 대한 설명. 먼저, 메트릭 예측 변수가 포함 된 로지스틱 회귀 모델 (베타 사전 없음). 이것은 위의 버그 예와 같이 계층 적 로지스틱 회귀의 다른 예와 유사합니다.

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

그런 다음 명목 예측 변수가있는 예입니다. 여기서는 계층의 "낮은"수준의 역할 (로지컬 결과를 이항에 대한 베타로 통합)과 메트릭 예제와 다른 이유를 이해하지 못하는 부분입니다.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— 사용자 4733
소스

답변:

비교하는 두 가지 모델에는 많은 관련없는 기능이 있으며 다음 두 가지 단순화 된 모델의 맥락에서 질문을보다 명확하게 설명 할 수 있다고 생각합니다.

모델 1 :

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

모델 2 :

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

귀하의 질문은 다음과 같습니다. (1) 베타 배포판의 역할 (2) 모델 2가 모델 1과 어떻게 다릅니 까?

표면상에서 이것은 상당히 다른 모델로 보이지만 실제로 두 모델에서 의 한계 분포 는 동일합니다. 모형 1에서 의 사후 분포 는 모델 2에서 의 한계 사후 분포는 $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

따라서 모델 2를 사용하여 얻을 수있는 이점은 계산적입니다. 모델 2에서 를 추가하는 등의 계층 적 모델을 과도하게 매개 변수화 하면 샘플링 절차의 효율성을 향상시킬 수 있습니다. 예를 들어, 매개 변수 그룹간에 조건부 켤레 관계를 도입하거나 (Jack Tanner의 답변 참조) 관심있는 매개 변수 간의 상관 관계를 해제합니다 (google "Parameter Expansion"). $\theta_i$

— jmtroos
소스

베타 분포에서 Bernoulli 매개 변수를 가져 오는 이유는 베타가 이항에 결합 하기 때문입니다. 사용 공액 사전 분포하는 후방을 찾는 닫힌 형태의 솔루션을 가능하게한다.

편집 : 명확히. 어느 모델이든 작동합니다. MCMC를 사용하더라도 일반 샘플러보다 효율적인 다양한 유형의 분포에 특수 샘플러를 사용할 수 있기 때문에 켤레 사전을 갖는 것이 유용합니다. 예를 들어, JAGS 사용자 매뉴얼 sec을 참조하십시오. 4.1.1 및 초 4.2.

— 잭 태너
소스

내 질문에 책의 내용이 충분하지 않을 수 있지만 이러한 분석은 Gibbs 샘플링으로 수행되므로 사후의 닫힌 양식 표현이 필요하지 않습니다. 링크 된 예제에서 bernoulli 매개 변수는 베타 분포로 고정되어 있지 않지만 일반적으로 계수가 분포 된 선형 예측 변수의 시그 모이 드 변환에서 발생합니다. 이것은 또한 Kruschke가이 장에서 이전 예 (메트릭 예측 변수 포함)를 제시하는 방법입니다 (bernoulli 매개 변수는 정규 분포 계수를 사용하는 선형 함수의 시그 모이 드 변환

— 일뿐입니다

@ user4733 잭 태너 (Jack Tanner)는 베르누이 (Bernoulli) 샘플 이전의 베타가 컨쥬 게이트 인 것에 대해 옳다. 그것이 선택된 우연의 일치 이상으로 보입니다. 그렇습니다. 사후 분포를 얻기 위해 Gibbs 샘플링을 수행하고있을 수도 있지만, 계층 적 모델에는 두 가지 이상의 이전 관계가 있으며 하이퍼 파라미터 (사전 분포 계열에 대한 매개 변수)에 사전을 두는 것일 수 있습니다. 만약에 당신 이전에 그 이전 상황에서는 이전 콘쥬 게이트를 사용하는 책의 당신의 설명 중 일부는 우리에게 혼란 편리 할 수 있습니다...

— 마이클 R. Chernick에게

무슨 일이 일어나고 있는지 이해하는 능력에 차이가있는 발췌문을 거의 들지 않습니다. 당신은 (나를 위해 적어도)> 도움말을 우리를 위해 더 나은 모델과 전과의 계층 구조를 설명하기 위해 필요

— 마이클 R. Chernick

내가 참조하고있는 계층 모델에 대한 설명을 추가했습니다. 잘하면 도움이됩니다.

— user4733