알파 및 베타 하이퍼 파라미터는 Latent Dirichlet 할당에 어떤 영향을 줍니까?

LDA에는 두 개의 하이퍼 파라미터가 있으며이를 조정하면 유도 된 주제가 변경됩니다.

알파 및 베타 하이퍼 파라미터는 LDA에 어떤 영향을 미칩니 까?

하나 또는 다른 하이퍼 파라미터가 증가 또는 감소하면 주제는 어떻게 변경됩니까?

왜 매개 변수뿐만 아니라 하이퍼 파라미터입니까?

Dirichlet 분포는 다변량 분포입니다. 우리는 ~ 1 형식의 크기 K의 벡터로 Dirichlet의 매개 변수를 나타낼 수 있습니다 . 여기서a는모수의 크기K의벡터이고∑xi=1입니다.$\frac{1}{B(a)} \cdot \prod\limits_{i} x_i^{a_{i-1}}$$a$$K$$\sum x_i = 1$

이제 LDA는 다음과 같은 구성을 사용합니다.

• 문서에는 여러 주제가있을 수 있습니다 (이 다중성으로 인해 Dirichlet 배포가 필요함). 이 관계를 모델링하는 Dirichlet 분포가 있습니다.
• 문서 외부에서 고려할 때 단어는 여러 주제에 속할 수도 있습니다. 여기에 이것을 모델링하기 위해 또 다른 Dirichlet이 필요합니다

앞의 두 개는 데이터에서 실제로 볼 수없는 분포이므로 잠복 또는 숨김이라고합니다.

$x$$\theta$

$$p(\theta|x) = \frac{p(x|\theta)p(\theta|\alpha)}{p(x|\alpha)} \iff \text{posterior probability} = \frac{\text{likelihood}\times \text{prior probability}}{\text{marginal likelihood}}$$ $\alpha$

이전의 매개 변수를 하이퍼 파라미터라고 합니다. 따라서 LDA에서 주제 분포, 문서 및 단어에 대한 대응 사전도 있으며, 이는 일반적으로 알파와 베타로 표시되며 이전 분포의 매개 변수를 하이퍼 파라미터라고합니다.

$\alpha_k$$x$

$\alpha_k$

$\alpha_k$

$\alpha_k$

또한 이전 매개 변수의 값은 매개 변수의 값이 1에 가까워서 분포의 부드러운 pdf를 생성한다는 점에 유의하십시오. 1에 가까운 값이 이러한 지식 부족을 인코딩하는 것보다 그러한 종류의 지식을 가지고 있지 않으면 절대 값에서 1에서 멀리 떨어진 값이 사용됩니다. 왜 분포 1 자체의 공식에서 Dirichlet 분포에서 1이 그런 역할을하는지 쉽게 알 수 있습니다.

$\alpha_k$$\alpha_k$

도움이 되었기를 바랍니다.

대칭 Dirichlet 분포를 가정하면 (간단 함을 위해) 낮은 알파 값은 각 문서를 소수의 주요 주제로만 구성하는 데 더 많은 비중을 둡니다 (높은 값은 상대적으로 지배적 인 주제를 많이 반환 함). 마찬가지로 베타 값이 낮 으면 각 주제를 소수의 지배적 인 단어로만 구성하는 것이 더 중요합니다.