베이지안 로짓 모형-직관적 인 설명?

저의 학급, 학부 또는 대학원에서 그 용어에 대해 들어 보지 못했다고 고백해야합니다.

로지스틱 회귀 분석이 베이지안이라는 것은 무엇을 의미합니까? 다음과 비슷한 정규 물류에서 베이지안 물류로의 전환에 대한 설명을 찾고 있습니다.

이것은 선형 회귀 모델의 방정식입니다 : .$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

이것은 로지스틱 회귀 모델 식이다 : . 이것은 y가 범주 형일 때 수행됩니다.$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

우리가 한 일은 를 입니다.$E(y)$$\ln(\frac{E(y)}{1-E(y)})$

그렇다면 베이지안 로지스틱 회귀 분석에서 로지스틱 회귀 모델은 어떻게됩니까? 나는 그것이 방정식과 관련이 없다고 생각합니다.

이 책 미리보기 가 정의 된 것 같지만 실제로 이해가되지 않습니다. 이 모든 것, 가능성이 무엇입니까? 는 무엇입니까 ? 누군가 책이나 베이 즈 로짓 모델의 다른 부분을 다른 방식으로 설명해 주시겠습니까?$\alpha$

참고 : 이것은 이전 에 요청 되었지만 잘 대답하지 못했습니다.

로지스틱 회귀는 선형 조합으로 설명 할 수 있습니다.

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

링크 함수 통해 전달됩니다 .$g$

$$g(E(Y)) = \eta$$

여기서 링크 함수는 로짓 함수입니다.

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

여기서 는 값만 취하고 역 로짓 함수는 선형 조합 를이 범위로 변환 합니다. 이것은 고전적인 로지스틱 회귀가 끝나는 곳입니다.{ 0 , 1 } $Y$$\{0,1\}$$\eta$

당신은 리콜 그러나 경우 에서만 값을 변수 ,보다 로 간주 할 수 . 이 경우 로짓 함수 출력은 "성공"의 조건부 확률, 즉 로 간주 될 수 있습니다 . Bernoulli 분포 는 일부 매개 변수 를 사용하여 이진 결과를 관찰 할 확률을 나타내는 분포 이므로 과 같이 설명 할 수 있습니다.$E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

로지스틱 회귀 분석을 통해 독립 변수 가진 togeder가 선형 조합 형성하는 일부 매개 변수 를 찾습니다 . 고전적 회귀에서는 (링크 함수를 항등 함수로 가정) 에서 값을 취하는 모델 대해 를 적합하도록 변환해야합니다. 의 의 범위.X η E ( Y | X , β ) = η Y { 0 , 1 } η [ 0 , 1 $\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

이제 베이지 안에서 로지스틱 회귀를 추정하려면 선형 회귀와 마찬가지로 매개 변수에 대한 몇 가지 선행 사항을 선택한 다음 ( Kruschke et al, 2012 참조 ) logit 함수를 사용하여 선형 조합 를 변환하여 출력을 변수 를 설명하는 Bernoulli 분포의 모수 . 예, 실제로 방정식과 로짓 연결 함수를 자주 사용하는 경우와 같은 방식으로 사용하고 나머지는 (예 : 선회 회귀 추정 베이지안 방식과 같은) 사전 작업을 선택합니다. η p $\beta_i$$\eta$$p$$Y$

사전을 선택하는 간단한 방법 은 사전 설정되거나 취해진 매개 변수 및 와 함께 대해 정규 분포를 선택하는 것입니다 (그러나 보다 강력한 모형의 경우 또는 Laplace 분포 와 같은 다른 분포를 사용할 수도 있음 ). 에서 계층 전과 . 이제 모델 정의를 사용하면 JAGS 와 같은 소프트웨어를 사용 하여 Markov Chain Monte Carlo 시뮬레이션 을 수행 하여 모델을 추정 할 수 있습니다. 아래에는 간단한 물류 모델에 대한 JAGS 코드가 게시되어 있습니다 ( 자세한 예제는 여기 참조).β i μ i σ 2 $t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

보시다시피 코드는 모델 정의로 직접 변환됩니다. 어떤 소프트웨어가 수행하는 것이 보통 전과에서 일부 값을 그립니다 a하고 b, 다음은 추정이 값을 사용하여 p마지막으로, 데이터는 이러한 매개 변수를 주어진 가능성을 평가하는 우도 함수를 사용하여 (이것은 당신이 베이 즈 정리를 사용할 때 볼 수 있습니다 여기 에 더 자세한 설명).

기본 로지스틱 회귀 모델은 계층 모델 ( hyperpriors 포함 )을 사용하여 예측 변수 간의 종속성을 모델링하도록 확장 될 수 있습니다 . 이 경우 독립 변수 사이의 공분산 에 대한 정보를 포함시킬 수있는 다변량 정규 분포 에서 그릴 수 있습니다$\beta_i$$\boldsymbol{\Sigma}$

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

...하지만 자세한 내용은 여기로 넘어가겠습니다.

여기에있는 "베이지 아"부분은 베이 즈 정리를 사용하고 확률론적인 용어로 모형을 정의하는 것입니다. "베이지안 모델"의 정의는 여기를 참조 하고 베이지안 접근에 대한 일반적인 직관 은 여기를 참조하십시오 . 또한이 방법을 사용하면 모델을 정의하는 것이 매우 간단하고 유연합니다.

---

Kruschke, JK, Aguinis, H. & Joo, H. (2012). 조직 과학의 데이터 분석을위한 베이지안 방법. 조직 연구 방법, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM 및 Su, Y.-S. (2008). 로지스틱 및 기타 회귀 모델에 대한 약한 유익한 기본 사전 배포입니다. 응용 통계의 연대기, 2 (4), 1360–1383.

이 모든 것, 가능성이 무엇입니까?

그것이 베이지안을 만드는 이유입니다. 데이터의 생성 모델은 동일합니다. 차이점은 베이지안 분석 에서 관심 모수에 대한 일부 사전 분포를 선택하고 모든 추론이 기반으로 하는 사후 분포를 계산하거나 근사한다는 것입니다. 베이 즈 규칙은 두 가지를 연관시킵니다. 후부는 이전의 가능성 시간에 비례합니다.

직관적으로,이 사전은 분석가가 주제 전문 지식이나 기존 결과를 수학적으로 표현할 수있게합니다. 예를 들어, 참조하는 텍스트는 의 이전 은 다변량 법선입니다. 아마도 선행 연구는 특정 정상 매개 변수로 표현할 수있는 특정 범위의 매개 변수를 제안합니다. (유연성에 책임이있다 : 회의론자에 앞서 그들의 정당성을 정당화 할 수 있어야한다.)보다 정교한 모델에서는 도메인 전문 지식을 사용하여 특정 잠재 매개 변수를 조정할 수있다. 예를 들어이 답변 에서 참조 된 간 예제를 참조하십시오 .$\bf\beta$

일부 잦은 모델은 특정 이전의 베이지안 모델과 관련이있을 수 있지만,이 경우에 해당하는지 확실하지 않습니다.