잠재 된 디 리클 렛 할당을 사용한 주제 예측

나는 문서 모음에서 LDA를 사용했으며 몇 가지 주제를 발견했습니다. 내 코드의 출력은 확률을 포함하는 두 개의 행렬입니다. 하나의 의사 주제 확률과 다른 단어 주제 확률. 그러나 실제로 이러한 결과를 사용하여 새 문서의 주제를 예측하는 방법을 모르겠습니다. Gibbs 샘플링을 사용하고 있습니다. 아무도 방법을 알고 있습니까? 감사

'접기'를 시도합니다. 이것은 하나의 새 문서를 가져 와서 코퍼스에 추가 한 다음 새 문서의 단어에 대해서만 Gibbs 샘플링을 실행 하여 이전 문서의 주제 할당을 동일하게 유지하는 것을 말합니다 . 이것은 일반적으로 빠르게 수렴되며 (아마도 5-10-20 회 반복) 오래된 코퍼스를 샘플링 할 필요가 없으므로 빠르게 실행됩니다. 마지막으로 새 문서의 모든 단어에 주제를 할당하게됩니다. 그러면 해당 문서에서 주제를 배포 할 수 있습니다.

Gibbs 샘플러에는 아마도 다음 코드와 비슷한 것이 있습니다.

// This will initialize the matrices of counts, N_tw (topic-word matrix) and N_dt (document-topic matrix)
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Assign current token to a random topic, updating the count matrices
    end
end

// This will do the Gibbs sampling
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Compute probability of current token being assigned to each topic
       Sample a topic from this distribution
       Assign the token to the new topic, updating the count matrices
    end
end

기존 행렬로 시작하여 새 문서의 토큰을 추가하고 새 토큰에 대해서만 샘플링을 수행한다는 점을 제외하면 접기는 동일합니다. 즉 :

Start with the N_tw and N_dt matrices from the previous step

// This will update the count matrices for folding-in
for token = 1 to N_Tokens_In_New_Document
   Assign current token to a random topic, updating the count matrices
end

// This will do the folding-in by Gibbs sampling
for token = 1 to N_Tokens_In_New_Document
   Compute probability of current token being assigned to each topic
   Sample a topic from this distribution
   Assign the token to the new topic, updating the count matrices
end

$p^i_w$$w$$i$$j$$w_j$