따라서 (감독되지 않은) 텍스트 모델링에서 Latent Dirichlet Allocation (LDA)은 베이지안 버전의 확률 적 잠재 성 의미 분석 (PLSA)입니다. 기본적으로 LDA = PLSA + Dirichlet는 매개 변수보다 우선합니다. LDA는 이제 참조 알고리즘이며 다양한 패키지로 구현되는 반면 PLSA는 더 이상 사용해서는 안됩니다.
그러나 (감독 된) 텍스트 분류에서 다항식 Naive Bayes 분류기에 대해 동일한 작업을 수행하고 매개 변수보다 먼저 Dirichlet을 넣을 수 있습니다. 그러나 나는 누군가가 그렇게하는 것을 본 적이 없다고 생각하며, 다항식 Naive Bayes의 "포인트 추정"버전은 대부분의 패키지에 구현 된 버전 인 것 같습니다. 그 이유가 있습니까?
답변:
다음 은 MNB (Multinomial Naive Bayes) 분류기의 '체계적'단점 중 일부를 다루는 유용한 문서입니다. 아이디어는 약간의 조정을 통해 MNB의 성능을 향상시킬 수 있다는 것입니다. 그리고 그들은 (균일 한) Dirichlet 이전의 사용을 언급합니다.
전반적으로 MNB에 관심이 있고 아직이 문서를 읽지 않았다면 그렇게하는 것이 좋습니다.
나는 또한 같은 사람 / 사람들에 의해 MSc 논문 을 발견 했지만 아직 직접 읽지 않았습니다. 당신은 그것을 확인할 수 있습니다.
필자는 대부분의 NB 구현이 Laplace correction 을 사용하여 조건부 확률을 추정 할 수 있다고 생각합니다 .Laplace correction 은 Bayesian NB 분류기에 MAP 솔루션을 제공합니다 (이전에 특정 Dirichlet이 있음). @Zhubarb (+1)가 지적했듯이 NB 분류기의 베이지안 처리는 이미 도출되어 구현되었습니다 (Rennie의 논문 / 논문은 읽을 가치가 있습니다). 그러나 NB의 독립 가정은 거의 항상 잘못된 것입니다.이 경우 모델을 (완전 베이지안 처리를 통해) 해당 가정에 더 크게 의존하게 만드는 것은 좋지 않을 수 있습니다.