다항식 분포에서 Dirichlet 분포가 이전의 이유는 무엇입니까?

36

LDA 주제 모델 알고리즘에서이 가정을 보았습니다. 그러나 왜 Dirichlet 배포를 선택했는지 모르겠습니다. 다항식을 통한 균일 분포를 쌍으로 사용할 수 있는지 모르겠습니다.

bayesian dirichlet-distribution conjugate-prior

— 콜린 빈
소스

5

균일 분포는 디 리클 렛 분포의 특별한 경우입니다.

— Stumpy Joe Pete

60

디리클레 분포 A는 종래 공액 다항 분포. 이는 다항식 매개 변수의 사전 분포가 Dirichlet 인 경우 사후 분배도 Dirichlet 분포 (이전의 것과 다른 매개 변수 포함)임을 의미합니다. 이것의 장점은 (a) 사후 분포가 계산하기 쉽고 (b) 데이터를 수집 한 후 우리의 신념이 얼마나 많이 변화했는지 정량화 할 수 있다는 것입니다.

이러한 기준이 실제 사전 신념과 관련이 없기 때문에 특정 사전을 선택해야하는 좋은 이유인지 확실하게 논의 할 수 있습니다. 그럼에도 불구하고, 켤레 사전은 종종 위에서 언급 한 이유로 사용하기에 유연하고 편리하기 때문에 널리 사용됩니다. .

다항 분포의 특수한 경우, 를 다항식 모수 (즉, 다른 범주에 대한 확률 로 구성된 벡터로합니다. 경우 데이터를 수집하기 이전에, 그 후, 소정의 관찰 다른 카테고리, $(p_1,\ldots,p_k)$

(p_{1}, \dots, p_{k}) \sim Dirichlet (α_{1}, \dots, α_{k})

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

(p_{1}, \dots, p_{k}) | (x_{1}, \dots, x_{k}) \sim Dirichlet (α_{1} + x_{1}, \dots, α_{k} + x_{k}) .

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

균일 분포는 실제로 해당하는 Dirichlet 분포의 특수한 경우입니다 . 따라서 가장 유익한 Jeffreys 는 입니다. Dirichlet 클래스에 이러한 "정보가없는"자연적인 사전이 포함되어 있다는 사실은이를 사용하는 또 다른 이유입니다. $\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— MånsT
소스

따라서 우리는 이러한 이점을 위해 Dirichlet 배포를 선택합니다.

— ColinBinWang

1

+1 : 가능성이 반드시 Dirichlet이라고 명시 적으로 말하고 싶기 때문에 사후 분포를 계산하기 쉽습니다.

— Neil G

18

Måns T 의 답변과 모순되는 것이 아니라 , 베이지안 모델링에서 "이전"과 같은 것은 없다는 것을 간단히 지적합니다! Dirichlet 분포는 (a) 활용, (b) 컴퓨팅 및 (c) 비모수 통계와의 연결 (Dirichlet 프로세스의 개별화 된 버전이므로) 때문에 편리한 선택입니다.

그러나 (i) 다항식의 가중치를 적용하기 전에는 주관적인 Bayes 수준에서 합법적 인 답변이며 (ii) 사전 정보를 사용할 수있는 경우 Dirichlet 분포로 단순화 할 이유가 없습니다. 또한 Dirichlet 분포의 혼합물 및 컨볼 루션을 이전과 같이 사용할 수 있습니다.

— 시안
소스