«language-models» 태그된 질문

내가 본 것에서, (2 차) Kneser-Ney 평활화 공식은 어떤 식 으로든 또는 다른 식으로 주어집니다. P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} 정규화 인자 λ(wn−1)λ(wn−1)\lambda(w_{n-1}) 로 주어 λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} 단어 w_n …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

단어 포함을 생성하는 한 가지 방법은 다음과 같습니다 ( mirror ). 예를 들어 "나는 비행을 즐긴다. 나는 NLP를 좋아한다. 나는 딥 러닝을 좋아한다." 그것에서 단어 동시성 매트릭스를 빌드하십시오. XXX 에서 SVD를 수행 하고 U 의 첫 번째 kkk 열을 유지하십시오 . U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} 2 단계와 3 단계 사이에 포인트 상호 정보 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

이 문장을 이해하는 데 문제가 있습니다. 제안 된 첫 번째 아키텍처는 피드 포워드 NNLM과 유사합니다. 여기서 비선형 히든 레이어가 제거되고 프로젝션 레이어는 프로젝션 매트릭스뿐만 아니라 모든 단어에 대해 공유됩니다. 따라서 모든 단어가 같은 위치에 투영됩니다 (그들의 벡터는 평균화됩니다). 프로젝션 레이어와 프로젝션 매트릭스는 무엇입니까? 모든 단어가 같은 위치에 투사된다는 것은 무슨 …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

텍스트 마이닝을위한 기능 구성에 대한 전통적인 접근 방식은 단어 별 접근 방식이며, tf-idf를 사용하여 주어진 텍스트 문서를 특성화하는 기능 벡터를 설정하여 향상시킬 수 있습니다. 현재 피처 벡터를 구축하기 위해 Bi-gram 언어 모델 또는 (N-gram)을 사용하려고하는데 어떻게 해야할지 모르겠습니다. 단어 대신 백 그램 단위로 빈도 수를 계산하고 tf-idf 가중치 구성표를 사용하여 …

10 machine-learning  data-mining  text-mining  natural-language  language-models