«word-embeddings» 태그된 질문

많은 신경망 라이브러리에는 Keras 또는 Lasagne 와 같은 '임베딩 레이어'가 있습니다. 설명서를 읽었음에도 그 기능을 이해하고 있는지 잘 모르겠습니다. 예를 들어, Keras 문서에서 다음과 같이 말합니다. 양의 정수 (인덱스)를 고정 크기의 밀도 벡터로 변환합니다 (예 : [[4], [20]]-> [[0.25, 0.1], [0.6, -0.2]] 지식이 풍부한 사람이 자신이하는 일과 사용시기를 설명 할 …

92 machine-learning  neural-networks  python  word-embeddings 

Keras 라이브러리에서 'Embedding'레이어의 작동을 이해해야합니다. 파이썬에서 다음 코드를 실행합니다. import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) 다음과 같은 출력을 제공합니다 input_array = [[4 1 3 3 3]] output_array = …

70 text-mining  word-embeddings  keras 

지도 학습에 사용하기에 적합한 단어를 포함하여 문서를 기능 벡터에 매핑하려면 어떻게해야합니까? 워드 삽입은 각각의 워드를 맵핑 벡터에 여기서, 일부하지 너무나 많은 수 (예를 들어, 500)이다. 널리 사용되는 단어 포함 은 word2vec 및 Glove 입니다.v ∈ R d d승wwv ∈ R디v∈Rdv \in \mathbb{R}^d디dd 문서를 분류하기 위해지도 학습을 적용하고 싶습니다. 현재 bag-of-words …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

word2vec로 단어 벡터를 학습 한 후 일부 다운 스트림 응용 프로그램에 사용하기 전에 정규화하는 것이 더 낫습니까? 즉, 정규화의 장단점은 무엇입니까?

36 natural-language  word2vec  word-embeddings 

캐럿을 사용하여 데이터 세트에 대해 교차 유효성 검사 임의 포리스트를 실행하고 있습니다. Y 변수는 요인입니다. 내 데이터 세트에 NaN, Inf 또는 NA가 없습니다. 그러나 임의의 포리스트를 실행하면 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Le and Mikolov 의 ICML 2014 논문 " 문장 및 문서의 분산 표현 "의 결과에 깊은 인상을 받았습니다 . "문단 벡터"라고 부르는 기술은 word2vec 모델의 확장을 기반으로 임의로 긴 단락 / 문서의 감독되지 않은 표현을 학습합니다. 이 문서는이 기술을 사용하여 감정 분석에 대한 최신 성능을보고합니다. 나는 전통적인 단어 분류 표현의 …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

나는 word2vec의 맥락에서 부정적인 샘플링의 개념을 이해하려고 노력했습니다. [음수] 샘플링에 대한 아이디어를 소화 할 수 없습니다. 예를 들어 Mikolov의 논문 에서 음수 샘플링 기대치는 다음과 같이 공식화됩니다. logσ(⟨w,c⟩)+k⋅EcN∼PD[logσ(−⟨w,cN⟩)].log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim PD}[\log\sigma(−\langle w,c_N\rangle)]. 나는 왼쪽 용어 이해 ,하지만 난 부정적인 단어 컨텍스트 쌍을 샘플링의 개념을 …

19 machine-learning  word2vec  word-embeddings 

왜 단어 2vec에서 건너 뛰기 그램이 CBOW보다 드문 단어에 더 좋은지 궁금합니다. https://code.google.com/p/word2vec/ 에서 소유권 주장을 읽었습니다 .

19 natural-language  word2vec  word-embeddings 

Keras 임베딩 레이어에서 임베드 레이어는 어떻게 훈련됩니까? (tensorflow 백엔드를 사용하는 것, 즉 word2vec, 장갑 또는 빠른 텍스트와 유사 함) 사전 훈련 된 임베딩을 사용하지 않는다고 가정하십시오.

14 deep-learning  keras  word-embeddings 

왜 단어 2vec의 CBOW 및 스킵 그램 모델에서 자주 사용하지 않는 단어에 대해 계층 적 softmax가 더 나은 단어인지, 음수 샘플링이 더 나은지 궁금합니다. https://code.google.com/p/word2vec/에 대한 소유권 주장을 읽었습니다 .

12 natural-language  word2vec  word-embeddings  softmax 

Word2Vec 알고리즘의 스킵 그램 모델을 이해하는 데 문제가 있습니다. 연속 단어 단위로 신경망에서 문맥 단어가 어떻게 "맞을"수 있는지 쉽게 알 수 있습니다. 기본적으로 각각의 one-hot 인코딩 표현에 입력 행렬 W를 곱한 후 평균을 계산하기 때문입니다. 그러나 skip-gram의 경우 one-hot encoding과 입력 행렬을 곱하여 입력 단어 벡터 만 얻은 다음 컨텍스트 …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

약 6 천만 개의 문구를 벡터 공간 에 삽입하려고 시도하고 그 사이 의 코사인 유사성 을 계산 하려고합니다. 나는 유니 그램 CountVectorizer과 bigram을 생성하는 맞춤형 내장 토큰 화 기능과 함께 sklearn을 사용 하고 있습니다. 의미있는 표현을 얻으려면 행 수에서 선형으로 엄청난 수의 열을 허용해야합니다. 이로 인해 엄청나게 희소 행렬이 발생하여 …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

나는 단어 임베딩에 매우 익숙하다. 학습 후 문서가 어떻게 보이는지 시각화하고 싶습니다. 나는 t-SNE가 그것을위한 접근법이라는 것을 읽었다. 포함 크기로 250 크기의 100K 문서가 있습니다. 사용 가능한 여러 패키지도 있습니다. 그러나 t-SNE의 경우 반복 횟수 나 알파 값 또는 퍼펙 스 빌리티 값을 더 잘 알고 있어야합니다. 이러한 하이퍼 파라미터입니까 …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

단어 포함을 생성하는 한 가지 방법은 다음과 같습니다 ( mirror ). 예를 들어 "나는 비행을 즐긴다. 나는 NLP를 좋아한다. 나는 딥 러닝을 좋아한다." 그것에서 단어 동시성 매트릭스를 빌드하십시오. XXX 에서 SVD를 수행 하고 U 의 첫 번째 kkk 열을 유지하십시오 . U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} 2 단계와 3 단계 사이에 포인트 상호 정보 …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

이 문장을 이해하는 데 문제가 있습니다. 제안 된 첫 번째 아키텍처는 피드 포워드 NNLM과 유사합니다. 여기서 비선형 히든 레이어가 제거되고 프로젝션 레이어는 프로젝션 매트릭스뿐만 아니라 모든 단어에 대해 공유됩니다. 따라서 모든 단어가 같은 위치에 투영됩니다 (그들의 벡터는 평균화됩니다). 프로젝션 레이어와 프로젝션 매트릭스는 무엇입니까? 모든 단어가 같은 위치에 투사된다는 것은 무슨 …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models