«natural-language» 태그된 질문

재발 성 신경망과 재귀 신경망이 있습니다. 둘 다 일반적으로 동일한 약어로 표시됩니다 : RNN. Wikipedia 에 따르면 Recurrent NN은 실제로 Recursive NN이지만 설명을 이해하지 못합니다. 또한, 자연어 처리에 어떤 것이 더 나은지 (예를 들어) 알지 못하는 것 같습니다. 사실 Socher는 자신의 튜토리얼 에서 NLP에 재귀 NN을 사용하지만 재귀 신경 네트워크의 …

48 machine-learning  neural-networks  deep-learning  natural-language 

신경망을 배우고 싶습니다. 저는 전산 언어 학자입니다. 통계 머신 러닝 접근법을 알고 있으며 파이썬으로 코딩 할 수 있습니다. 나는 개념부터 시작하여 계산 언어학 관점에서 유용 할 수있는 인기있는 모델을 알고 있습니다. 참고 용으로 웹을 탐색하고 몇 권의 책과 자료를 찾았습니다. Ripley, Brian D. (1996) 케임브리지 패턴 인식 및 신경망 비숍, …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

단어 유사성을 계산하기 위해 Latent Dirichlet Allocation 과 word2vec의 유사점이 무엇인지 이해하려고합니다 . 내가 이해하는 바와 같이, LDA는 단어를 잠재 주제 의 확률 벡터로 매핑하는 반면, word2vec는 실제 숫자 벡터로 매핑합니다 (점별 상호 정보의 특이 값 분해와 관련이 있습니다 . O. Levy, Y. Goldberg, "Neural Word Embedding" "암시 적 행렬 …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

지도 학습에 사용하기에 적합한 단어를 포함하여 문서를 기능 벡터에 매핑하려면 어떻게해야합니까? 워드 삽입은 각각의 워드를 맵핑 벡터에 여기서, 일부하지 너무나 많은 수 (예를 들어, 500)이다. 널리 사용되는 단어 포함 은 word2vec 및 Glove 입니다.v ∈ R d d승wwv ∈ R디v∈Rdv \in \mathbb{R}^d디dd 문서를 분류하기 위해지도 학습을 적용하고 싶습니다. 현재 bag-of-words …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

word2vec로 단어 벡터를 학습 한 후 일부 다운 스트림 응용 프로그램에 사용하기 전에 정규화하는 것이 더 낫습니까? 즉, 정규화의 장단점은 무엇입니까?

36 natural-language  word2vec  word-embeddings 

HMM (Hidden Markov Models)은 생성 모델이며 CRF는 차별적 모델이라는 것을 알고 있습니다. 또한 CRF (Conditional Random Fields)가 어떻게 설계되고 사용되는지 이해합니다. 내가 이해하지 못하는 것은 HMM과 어떻게 다른가? HMM의 경우 이전 노드, 현재 노드 및 전이 확률에 대한 다음 상태 만 모델링 할 수 있지만 CRF의 경우이 작업을 수행하고 임의의 …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

캐럿을 사용하여 데이터 세트에 대해 교차 유효성 검사 임의 포리스트를 실행하고 있습니다. Y 변수는 요인입니다. 내 데이터 세트에 NaN, Inf 또는 NA가 없습니다. 그러나 임의의 포리스트를 실행하면 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

동일한 의미, 이는 벡터 u 와 벡터 세트 V 사이의 유사성 순위에 대해 동일한 결과를 생성 할 것 입니다. 거리 측정 (유클리드 거리, 코사인 유사성) 및 정규화 기술 (없음, l1, l2)을 매개 변수로 사용하는 벡터 공간 모델이 있습니다. 내 이해에서, 설정 [코사인, 없음]의 결과는 [유클리드, l2]와 동일하거나 적어도 실제로는 유사해야하지만, …

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

LDA와 같은 인기있는 주제 모델은 일반적으로 같은 주제 (클러스터)로 함께 발생하는 단어를 묶습니다. 이러한 주제 모델과 PMI와 같은 다른 간단한 동시 발생 기반 클러스터링 방식의 주요 차이점은 무엇입니까? (PMI는 Pointwise Mutual Information의 약자이며 주어진 단어와 함께 발생하는 단어를 식별하는 데 사용됩니다.)

26 machine-learning  text-mining  natural-language  topic-models 

Le and Mikolov 의 ICML 2014 논문 " 문장 및 문서의 분산 표현 "의 결과에 깊은 인상을 받았습니다 . "문단 벡터"라고 부르는 기술은 word2vec 모델의 확장을 기반으로 임의로 긴 단락 / 문서의 감독되지 않은 표현을 학습합니다. 이 문서는이 기술을 사용하여 감정 분석에 대한 최신 성능을보고합니다. 나는 전통적인 단어 분류 표현의 …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

왜 단어 2vec에서 건너 뛰기 그램이 CBOW보다 드문 단어에 더 좋은지 궁금합니다. https://code.google.com/p/word2vec/ 에서 소유권 주장을 읽었습니다 .

19 natural-language  word2vec  word-embeddings 

현재로서는이 질문이 Q & A 형식에 적합하지 않습니다. 답변, 사실, 참고 자료 또는 전문 지식을 통해 답변이 뒷받침 될 것으로 예상되지만이 질문은 토론, 논쟁, 여론 조사 또는 광범위한 토론을 요구할 것입니다. 이 질문을 개선하고 다시 열 수 있다고 생각 되면 도움말 센터 를 방문하여 안내를 받으십시오 . 휴일 칠년 전에 …

18 machine-learning  text-mining  natural-language 

내가 본 것에서, (2 차) Kneser-Ney 평활화 공식은 어떤 식 으로든 또는 다른 식으로 주어집니다. P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} 정규화 인자 λ(wn−1)λ(wn−1)\lambda(w_{n-1}) 로 주어 λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} 단어 w_n …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

이 질문 에서 영감을 받아 , 매우 짧은 텍스트의 큰 컬렉션을 위해 주제 모델에 대한 작업이 수행되었는지 궁금합니다. 내 직감은 트위터가 그러한 모델에 대한 자연스러운 영감이어야한다는 것입니다. 그러나 일부 제한된 실험에서 표준 토픽 모델 (LDA 등)이 이런 종류의 데이터에서 성능이 좋지 않은 것으로 보입니다. 이 분야에서 수행 된 작업에 대해 …

14 references  text-mining  topic-models  natural-language 

자연어 처리를 할 때, 코퍼스를 취하고 n의 순서로 다음 단어가 발생할 확률을 평가할 수 있습니다. n은 일반적으로 2 또는 3 (bigrams 및 trigrams)으로 선택됩니다. 해당 수준에서 특정 모음을 한 번 분류하는 데 걸리는 시간을 고려할 때 n 번째 체인에 대한 데이터 추적이 비생산적인 것으로 알려진 시점이 있습니까? 또는 (데이터 구조) …

13 text-mining  natural-language