농도 매개 변수에 대한 초 우선 분포를 갖는 다항식 디 리틀 렛 모델

10

가능한 한 일반적인 문제를 설명하려고 노력할 것입니다. 모수 확률 벡터 세타를 사용하여 관측치를 범주 분포 로 모델링하고 있습니다.

그런 다음 매개 변수 벡터 theta는 매개 변수를 사용 하여 Dirichlet 사전 분포를 따르는 것으로 가정합니다 . $\alpha_1,\alpha_2,\ldots,\alpha_k$

그런 다음 매개 변수 대해 hyperprior 분포를 부과 할 수 있습니까? categorical 및 dirichlet 분포와 같은 다변량 분포 여야합니까? 알파는 항상 양이므로 감마 하이퍼 프리 어가 작동해야합니다. $\alpha_1,\alpha_2,\ldots,\alpha_k$

과도하게 파라 모 타이즈 된 모델에 적합하다고 생각했지만 알파가 고정되어서는 안되고 감마 분포에서 나온다고 생각하는 것이 합리적입니다.

실제로 그러한 접근법을 시도하는 방법에 대한 통찰력을 제공하십시오.

— 다이 나엘
소스

그렇습니다. 가능하며 완료되었습니다. 일반적으로이를 베이지안 계층 모델이라고합니다. 바람직하게는,이 선행은 가능한 의존성을 설명해야한다.

@ Procrastinator 감사합니다. 이런 종류의 모델을 다루는 좋은 베이지안 계층 모델에 대한 참조가 있습니까? 감사.

— Dnaiel

@ Procrastinator : 베이지안 계층 모델에 관한 논문 / 보고서 또는 이상적으로 실습용 문서를 구해야합니까?

— Zhubarb

12

나는 이것이 "매개 변수화"모델이라고 전혀 생각하지 않는다. Dirichlet 매개 변수보다 우선 순위를두면 특정 결과에 대해 덜 헌신적이라고 주장합니다. 특히, 당신은 아마 대칭 디리클레 분포에 대해 알고 (즉, ) 설정 동안, 스파 스 다항 분포에 더 이전의 가능성을 제공 다항 부드럽게 더 이전의 가능성을 제공합니다 분포. $\alpha_1 = \alpha_2 = ... \alpha_K$ $\alpha<1$ $\alpha>1$

희소 또는 조밀 한 다항 분포에 대한 강한 기대치가없는 경우, Dirichlet 분포보다 하이퍼 프리 어를 배치하면 모델간에 선택할 수있는 유연성이 추가됩니다.

나는 원래이 논문 에서 이것을하는 아이디어를 얻었다 . 그들이 사용하는 hyperprior는 당신이 제안한 것과 약간 다릅니다. 그들은 디리 클릿에서 확률 벡터를 샘플링 한 다음 지수 (또는 감마)의 드로우로 스케일링합니다. 따라서 모델은

\begin{array}{rcl} β & \sim & D i r i c h l e t (1) \\ λ & \sim & E x p o n e n t i a l (\cdot) \\ θ & \sim & D i r i c h l e t (β λ) \end{array}

$\begin{eqnarray} \beta &\sim &Dirichlet(1)\\ \lambda& \sim &Exponential(\cdot)\\ \theta& \sim &Dirichlet(\beta\lambda) \end{eqnarray}$

여분의 Dirichlet은 단순히 대칭을 피하는 것입니다.

나는 사람들이 다항식 방출 분포를 가진 숨겨진 마르코프 모델의 맥락에서 Dirichlet에 앞서 Gamma 하이퍼를 사용하는 것을 보았지만 참조를 찾을 수없는 것 같습니다. 또한 주제 모델에 사용되는 유사한 하이퍼가 발생했습니다.

— 제라드
소스

좋은 답변 감사합니다! 하나의 짧은 후속 Q가 있는데,이 모델이 각 세타에 대해 다른 가변성을 허용합니까? 매개 변수 람다는 모든 세타에서 공유되기 때문에이 질문이 있습니다. 따라서 모두 동일한 배율 매개 변수를 공유하므로과 분산의 경우 모델이 그러한 유연성을 제공하는지 궁금합니다. 귀하의 직관 / 지식은 대단히 감사합니다! 감사!

— Dnaiel

D i r i c h l e t (0.2, 0.2, 0.2, 0.2)

$Dirichlet(0.2, 0.2, 0.2, 0.2)$

θ

$\theta$

θ

$\theta$

β

$\beta$

4

이 hyperprior 문제에 대한 해결책을 보여주기 위해 PyMC3에서 계층 적 감마-디 리치-다항식 모델을 구현했습니다. Dirichlet의 이전 감마는 Ted Dunning의 블로그 게시물에 따라 지정되고 샘플링됩니다 .

내가 구현 한 모델은이 요지 에서 찾을 수 있지만 아래에 설명되어 있습니다.

영화 등급에 대한 베이지안 계층 (풀링) 모델입니다. 각 영화의 등급은 0에서 5까지입니다. 각 영화는 여러 번 평가됩니다. 각 영화에 대한 등급이 매끄럽게 분포되어 있기를 원합니다.

우리는 데이터로부터 영화 등급에 대한 최상위 사전 배포 (이전)를 배우려고합니다. 그런 다음 각 영화는이 최상위 레벨로 매끄럽게 진행되는 고유 한 우선 순위를 갖습니다. 이것에 대해 생각하는 또 다른 방법은 각 영화의 평가에 대한 우선 순위가 그룹 수준 또는 풀링 된 배포로 축소된다는 것입니다.

영화에 비정형 등급 분포가있는 경우이 방법을 사용하면 등급이 예상과 일치하는 수준으로 줄어 듭니다. 또한, 이전에 배운 내용은 등급이 적은 동영상을 부트 스트랩하여 등급이 많은 동영상과 의미를 비교하는 데 유용 할 수 있습니다.

모델은 다음과 같습니다.

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

어디:

$K$ $K = 6$
$M$
$N_m$ $m$
$\alpha = 1 / K$
$\beta$
$c$
$\gamma_k$ $k$
$\theta_m$ $K$
$z_{mn}$ $n$ $m$

— 브래드 B
소스

1

이것은 직접 베이지안 접합체 사전 모델링입니다. Beta-Binomial 모델의 자연스러운 확장입니다. 이것에 대한 좋은 자료는 책 에서 얻을 수 있습니다 . 그리고 Posterior도 Dirichlet이므로 Dirichlet에서 시뮬레이션하면 필요한 요약이 제공됩니다.

— 수 비야
소스

1

감사. 나는 그런 책에 대해 잘 알고 있습니다. 나는 그것을 조사하려고했지만 다항식 계층 모델을 직접 제공하지는 않지만 적용 할 수있는 좋은 아이디어가 많이 있습니다.

— Dnaiel

1

dirichlet-multinomial은 켤레 모델이지만 op는 Dirichlet의 매개 변수에 대해 (하이퍼)에 대해 문의했습니다. Dirichlet 분포에 대한 표준 결합은 존재하지 않지만 지수 군의 구성원이므로 실제로 존재 해야합니다 .

— jerad December