«language-models» 태그된 질문

3
Kneser-Ney 평활화에서 보이지 않는 단어는 어떻게 처리됩니까?
내가 본 것에서, (2 차) Kneser-Ney 평활화 공식은 어떤 식 으로든 또는 다른 식으로 주어집니다. P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} 정규화 인자 λ(wn−1)λ(wn−1)\lambda(w_{n-1}) 로 주어 λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} 단어 w_n …

1
SVD 이전에 단어 동시 발생 행렬에 포인트 상호 정보를 적용하는 장단점은 무엇입니까?
단어 포함을 생성하는 한 가지 방법은 다음과 같습니다 ( mirror ). 예를 들어 "나는 비행을 즐긴다. 나는 NLP를 좋아한다. 나는 딥 러닝을 좋아한다." 그것에서 단어 동시성 매트릭스를 빌드하십시오. XXX 에서 SVD를 수행 하고 U 의 첫 번째 kkk 열을 유지하십시오 . U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} 2 단계와 3 단계 사이에 포인트 상호 정보 …

2
연속 단어 모음에 대한 질문
이 문장을 이해하는 데 문제가 있습니다. 제안 된 첫 번째 아키텍처는 피드 포워드 NNLM과 유사합니다. 여기서 비선형 히든 레이어가 제거되고 프로젝션 레이어는 프로젝션 매트릭스뿐만 아니라 모든 단어에 대해 공유됩니다. 따라서 모든 단어가 같은 위치에 투영됩니다 (그들의 벡터는 평균화됩니다). 프로젝션 레이어와 프로젝션 매트릭스는 무엇입니까? 모든 단어가 같은 위치에 투사된다는 것은 무슨 …

3
bigram (N-gram) 모델을 사용하여 텍스트 문서의 피처 벡터 작성
텍스트 마이닝을위한 기능 구성에 대한 전통적인 접근 방식은 단어 별 접근 방식이며, tf-idf를 사용하여 주어진 텍스트 문서를 특성화하는 기능 벡터를 설정하여 향상시킬 수 있습니다. 현재 피처 벡터를 구축하기 위해 Bi-gram 언어 모델 또는 (N-gram)을 사용하려고하는데 어떻게 해야할지 모르겠습니다. 단어 대신 백 그램 단위로 빈도 수를 계산하고 tf-idf 가중치 구성표를 사용하여 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.