주제 모델의 주제 안정성

일련의 개방형 에세이의 내용에 대한 정보를 추출하려는 프로젝트를 진행 중입니다. 이 특정 프로젝트에서 148 명이 더 큰 실험의 일환으로 가상의 학생 조직에 대한 에세이를 썼습니다. 내 분야 (사회 심리학)에서 이러한 데이터를 분석하는 일반적인 방법은 수필로 수필을 코딩하는 것이지만 수작업으로 코딩하는 것은 노동 집약적이며 너무 주관적이기 때문에 정량적으로 수행하고 싶습니다. 미각.

무료 응답 데이터를 정량적으로 분석하는 방법에 대한 조사 중에 주제 모델링 (또는 Latent Dirichlet Allocation 또는 LDA) 이라는 접근 방식을 발견했습니다 . 주제 모델링은 데이터 (용어-문서 매트릭스)를 단어 단위로 표현하고 동시 발생 단어에 대한 정보를 사용하여 데이터의 잠재적 주제를 추출합니다. 이 접근법은 내 응용 프로그램에 완벽하게 보입니다.

불행히도 데이터에 주제 모델링을 적용했을 때 두 가지 문제가 발견되었습니다.

1. 주제 모델링에 의해 밝혀진 주제는 때때로 해석하기 어렵다
2. 다른 임의의 시드를 사용하여 주제 모델을 다시 실행하면 주제가 크게 바뀌는 것처럼 보입니다.

문제 2는 특히 저와 관련이 있습니다. 따라서 두 가지 관련 질문이 있습니다.

1. 해석 및 안정성을 위해 모델 맞춤 절차를 최적화하기 위해 LDA 절차에서 수행 할 수있는 작업이 있습니까? 개인적으로, 나는 가장 당혹 스럽거나 가장 적합한 모델을 찾는 것에 관심이 없습니다. 저는 주로이 절차를 사용하여이 연구에 참여한 사람들이 자신의 에세이에서 쓴 것을 이해하고 특성화하는 데 도움을주고 싶습니다. 그러나 나는 확실히 내 결과가 임의의 씨앗의 인공물이되기를 원하지 않습니다!
2. 위의 질문과 관련하여 LDA를 수행하는 데 필요한 데이터 양에 대한 표준이 있습니까? 필자가 본 방법을 사용한 대부분의 논문은 큰 코 도라 (예 : 지난 20 년 동안의 모든 과학 논문의 보관소)를 분석하지만 실험 데이터를 사용하고 있기 때문에 문서 모음이 훨씬 작습니다.

손을 더럽 히고 싶은 사람을 위해 에세이 데이터를 여기 에 게시했으며 아래에서 사용하는 R 코드를 붙여 넣었습니다.

require(tm)
require(topicmodels)

# Create a corpus from the essay 
c <- Corpus(DataframeSource(essays))
inspect(c)

# Remove punctuation and put the words in lower case
c <- tm_map(c, removePunctuation)
c <- tm_map(c, tolower)

# Create a DocumentTermMatrix.  The stopwords are the LIWC function word categories
# I have a copy of the LIWC dictionary, but if you want to do a similar analysis,
# use the default stop words in tm
dtm <- DocumentTermMatrix(c, control = list(stopwords = 
  c(dict$funct, dict$pronoun, dict$ppron, dict$i, dict$we, dict$you, dict$shehe, 
    dict$they, dict$inpers, dict$article, dict$aux)))

# Term frequency inverse-document frequency to select the desired words
term_tfidf <- tapply(dtm$v/rowSums(as.matrix(dtm))[dtm$i], dtm$j, mean) * log2(nDocs(dtm)/colSums(as.matrix(dtm)))
summary(term_tfidf)

dtm <- dtm[, term_tfidf >= 0.04]

lda <- LDA(dtm, k = 5, seed = 532)
perplexity(lda)
(terms <- terms(lda, 10))
(topics <- topics(lda))

편집하다:

nstartFlounderer가 제안한대로 의견을 수정하려고했습니다 . 불행히도 아래에 표시된 것처럼 nstart1000으로 설정하더라도 임의의 시드에서 임의의 시드에 이르기까지 주제가 크게 다릅니다. 다시 강조하기 위해, 아래 두 모델의 추정에서 변경하고있는 유일한 것은 모델 추정을 시작하는 데 사용되는 랜덤 시드 (random seed)이지만,이 두 실행에서 주제가 전혀 일치하지 않는 것 같습니다.

lda <- LDA(dtm, k = 5, seed = 535, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1         Topic 2      Topic 3      Topic 4       Topic 5      
 [1,] "international" "ethnicity"  "free"       "credit"      "kind"       
 [2,] "communicate"   "true"       "team"       "mandatory"   "bridge"     
 [3,] "gain"          "asians"     "cooperate"  "music"       "close"      
 [4,] "use"           "hand"       "order"      "seen"        "deal"       
 [5,] "big"           "hold"       "play"       "barrier"     "designed"   
 [6,] "communication" "effective"  "big"        "stereotypes" "effort"     
 [7,] "america"       "emphasis"   "beginning"  "asians"      "implemented"
 [8,] "chinese"       "halls"      "china"      "fantastic"   "websites"   
 [9,] "ethnicity"     "minorities" "difference" "focusing"    "planned"    
[10,] "networks"      "population" "easier"     "force"       "body"

lda <- LDA(dtm, k = 5, seed = 536, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1       Topic 2         Topic 3        Topic 4       Topic 5    
 [1,] "kind"        "international" "issue"        "willing"     "play"     
 [2,] "easier"      "ethnicity"     "close"        "use"         "trying"   
 [3,] "gain"        "communication" "currently"    "hand"        "unity"    
 [4,] "websites"    "communicate"   "implemented"  "networks"    "decision" 
 [5,] "credit"      "bridge"        "particularly" "stereotypes" "gap"      
 [6,] "effort"      "america"       "credit"       "communicate" "normally" 
 [7,] "barriers"    "connection"    "fulfill"      "came"        "asians"   
 [8,] "effects"     "kind"          "grew"         "asians"      "created"  
 [9,] "established" "order"         "perspectives" "big"         "effective"
[10,] "strangers"   "skills"        "big"          "budget"      "prejudice"

내 호기심을 위해이 데이터 세트에 대해 작업 한 클러스터링 알고리즘을 적용했습니다.

나는 한 일시적으로 넣어-까지 결과 여기 (에세이 데이터 세트를 선택).

문제가 시작점이나 알고리즘이 아니라 데이터 인 것 같습니다. 숨겨진 주제 / 개념 / 테마 / 클러스터 (전화하고 싶은 것이 무엇이든)가있는 한``합리적으로 ''(제한적으로 제한된 경험에서) 147 개의 인스턴스로도 좋은 클러스터를 얻을 수 있습니다.

데이터에 주제가 잘 구분되지 않은 경우 어떤 알고리즘을 사용하든 좋은 답변을 얻지 못할 수 있습니다.

1. 소위 "주제 모델"에서 "주제"의 개념은 오해의 소지가 있습니다. 이 모델은 의미 적으로 일관된 "주제"를 전혀 알지 못하거나 알도록 설계되지 않았습니다. "주제"는 단지 토큰 (단어)을 통한 배포입니다. 다시 말해, 모형은 단지 고차의 동시 발생을 포착합니다. 이러한 구조가 무언가를 의미하는지 여부는 모델의 목적이 아닙니다.

2. "LDA"모델은 두 가지 부분 (본질적으로 모든 그래픽 모델)을 갖는다 : a) 모델 정의 및 b) 모델 파라미터를 추론 / 부동산하기위한 추론 알고리즘의 구현. 언급 한 것은 "LDA"모델의 문제 일 수도 있고 아닐 수도 있지만 사용한 특정 구현 (R 패키지)의 일부 버그 / 오류 / 구성 오류 일 수 있습니다.

3. "LDA"의 거의 모든 구현에는 약간의 무작위 화가 필요합니다. 또한 추론 알고리즘 (예 : MCMC 또는 변형 추론)의 특성에 따라 로컬 최소 솔루션 또는 여러 솔루션을 배포 할 수 있습니다. 요컨대, 당신이 관찰 한 것은 어떻게 든 예상됩니다.

실용적인 제안 :

1. 다른 R 패키지를 사용해보십시오. 예를 들어이 패키지 는 David Blei의 전 대학원생이 수행합니다. 또는, 심지어 같은 다른 환경을하려고 이것 . 이 모든 안정적인 패키지에서 비슷한 결과를 얻는다면 최소한 문제를 조금 줄일 수 있습니다.

2. 중지 단어를 제거하지 않고 비트를 연주하십시오. 이론적 근거는 이러한 중지 단어가 작은 말뭉치 (예 : 100 개 정도의 기사)에서 의미 적 의미를 연결하는 데 중요한 역할을한다는 것입니다. 또한 필터링하지 마십시오.

3. 여러 주제와 같이 하이퍼 파라미터로 비트를 연주 해보십시오.

주제 일관성에 관한 논문 :

1. http://www.aclweb.org/anthology-new/D/D12/D12-1087.pdf

2. http://people.cs.umass.edu/~wallach/publications/mimno11optimizing.pdf