«nlp» 태그된 질문

최근에 Word2Vec , Sentence2Vec 및 Doc2Vec 이라는 용어를 발견 했으며 벡터 의미론을 처음 접했 을 때 혼란 스러웠습니다. 누군가이 방법의 차이점을 간단한 단어로 자세히 설명해 주시겠습니까? 각 방법에 가장 적합한 작업은 무엇입니까?

18 machine-learning  data-mining  clustering  nlp  unsupervised-learning 

나는 S1과 S2의 두 문장을 가지고 있는데, 둘 다 단어 수가 (일반적으로) 15 미만입니다. 구현하기 쉬운 가장 실질적으로 유용하고 성공적인 (머신 러닝) 알고리즘은 무엇입니까 (아키텍처가 Google Inception 등과 같이 복잡하지 않으면 신경망은 괜찮습니다). 너무 많은 시간을 투자하지 않고 잘 작동하는 알고리즘을 찾고 있습니다. 성공적이고 사용하기 쉬운 알고리즘이 있습니까? 이는 클러스터링 …

18 nlp  clustering  word2vec  similarity 

주제 모델링을 수행하기 전에 중지 단어를 제거하려고합니다. 나는 어떤 부정 단어들도 (아무것도 아닌 등) 보통 중지 단어로 간주됩니다. 예를 들어, NLTK, spacy 및 sklearn은 중지 단어 목록에 "not"을 포함합니다. 그러나 아래 문장에서 "not"을 제거하면 의미가 상실되어 주제 모델링이나 감정 분석에 정확하지 않습니다. 1). StackOverflow is helpful => StackOverflow helpful 2). …

18 nlp  topic-model  sentiment-analysis 

200 치수 ( doc2vec)를 가진 거의 백만 개의 벡터에서 차원 축소를하고 싶습니다 . 모듈 TSNE에서 구현을 사용 sklearn.manifold하고 있으며 주요 문제는 시간 복잡성입니다. 로도 method = barnes_hut계산 속도는 여전히 느립니다. 언젠가는 심지어 메모리가 부족합니다. 130G RAM의 48 코어 프로세서에서 실행 중입니다. 병렬로 실행하거나 많은 리소스를 사용하여 프로세스 속도를 높이는 방법이 …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

corr()원본 df 에서 df를 만듭니다 . corr()DF는 70 X 70에서 나와는 히트 맵을 시각화하는 것은 불가능합니다 ... sns.heatmap(df). 를 표시하려고 corr = df.corr()하면 테이블이 화면에 맞지 않으며 모든 상관 관계를 볼 수 있습니다. df크기에 관계없이 전체를 인쇄 하거나 히트 맵의 크기를 제어하는 ​​방법입니까?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

NLP에는 Gazetteer주석을 만드는 데 매우 유용한 개념 이 있습니다. 내가 이해하는 한도에서는: 가제트는 도시, 조직, 요일 등과 같은 엔티티의 이름을 포함하는 일련의 목록으로 구성됩니다.이 목록은 예를 들어 명명 된 엔티티 인식 작업과 같은 텍스트에서 이러한 이름의 발생을 찾는 데 사용됩니다. 따라서 본질적으로 조회입니다. 이런 종류의 속임수가 아닌가? Gazetteer명명 된 엔터티를 …

16 nlp  named-entity-recognition 

현재 문서에 대한 대부분의 정보를 담고있는 텍스트 일부 추출에 대한 기사 나 토론이 있습니까? 예를 들어, 같은 도메인의 많은 문서 모음이 있습니다. 단일 문서에 대한 주요 정보를 담고있는 텍스트 부분이 있습니다. 해당 부분 중 일부를 추출하여 텍스트 요약으로 사용하고 싶습니다. 이와 같은 것을 달성하는 방법에 대한 유용한 문서가 있습니까? 이 …

16 nlp  text-mining 

Recurrent Neural Networks로 텍스트 생성에 대해 읽는 동안 실제로 단어를 말하지 않고 문자별로 단어 를 생성 하고 문자별로 문자 를 생성하기 위해 일부 예가 구현되었음을 알았습니다 . 그래서, 텍스트를 예측 RNN 모델 사이의 차이가 무엇 단어 당 기준 및 텍스트 예측 사람 당 문자 근거는? 단어 기반 RNN이 더 큰 …

15 machine-learning  neural-network  nlp  rnn 

두 단어 또는 문장의 유사성을 식별하는 데 도움이되는 Python 라이브러리를 찾고 있습니다. 오디오를 텍스트로 변환하여 영어 사전 또는 비 사전 단어를 생성합니다 (개인 또는 회사 이름 일 수 있음). 그런 다음 알려진 단어와 비교해야합니다. 예: 1) 텍스트 대 오디오 결과 : America Expansion에 전화 해 주셔서 감사합니다 . American Express …

15 nlp  nltk 

다음과 같은 문제를 해결하려고합니다. 데이터 세트로 문장 세트가 있고 새로운 문장을 입력하고 새로운 문장이 데이터 세트에서 가장 유사한 문장을 찾고 싶습니다. 예를 들면 다음과 같습니다. 새로운 문장 : " I opened a new mailbox" 데이터 세트에 기반한 예측 : Sentence | Similarity A dog ate poop 0% A mailbox is …

15 python  nlp  scikit-learn  similarity  text 

Word2vector 모델을 사용하고 훈련시키기 위해 Python에서 Gensim Library를 사용하고 있습니다. 최근에 (GoogleNewDataset 사전 훈련 모델)과 같은 사전 훈련 된 word2vec 모델을 사용하여 모델 가중치를 초기화하려고했습니다. 나는 몇 주에 어려움을 겪고있다. 이제 gesim에는 사전 훈련 된 모델 가중치로 모델의 가중치를 초기화하는 데 도움이되는 기능이 있음을 검색했습니다. 아래에 언급되어 있습니다. reset_from(other_model) Borrow …

14 python  nlp  word-embeddings  word2vec  gensim 

다른 유형의 구문 분석 트리 구조를 탐색하고 있습니다. 널리 알려진 두 가지 구문 분석 트리 구조는 a) 구성 요소 기반 구문 분석 트리 및 b) 종속성 기반 구문 분석 트리 구조입니다. Stanford NLP 패키지를 사용하여 두 가지 유형의 구문 분석 트리 구조를 모두 사용할 수 있습니다. 그러나 분류 작업에 이러한 …

13 machine-learning  nlp  feature-selection  feature-extraction 

2D 또는 3D 구현의 경우 이미지 처리를위한 딥 러닝에서 컨볼 루션 레이어의 역할과 메커니즘에 대해 잘 이해하고 있습니다. 이미지에서 2D 패턴 (3D의 경우 3 개 채널)을 "간단하게"포착하려고합니다. 그러나 최근에 나는 자연 언어 처리의 맥락에서 1D 컨볼 루션 레이어에 부딪 혔습니다. 내 이해에는 2D 컨볼 루션이 1D (벡터) 형태로는 드러날 수없는 …

13 deep-learning  nlp  convolution 

"자연 언어를 SQL 쿼리로 변환"시스템을 개발하고 있습니다. 비슷한 질문에 대한 답변을 읽었지만 원하는 정보를 얻을 수 없었습니다. 아래는 알고리즘에서 Arun Solanki의 Garima Singh에 의해 자연어를 관계형 데이터베이스에 대한 SQL 쿼리로 변환하기 위해 얻은 시스템의 순서도입니다. 음성 태그 지정 단계의 일부까지 이해했습니다. 그러나 나머지 단계에 어떻게 접근합니까? 가능한 모든 SQL 쿼리를 …

13 machine-learning  nlp  sql  natural-language-process 

Keras 패키지에 대한 지식을 넓히고 있으며 사용 가능한 모델 중 일부를 툴링하고 있습니다. 해결하려는 NLP 이진 분류 문제가 있으며 다른 모델을 적용하고 있습니다. 일부 결과로 작업하고 LSTM에 대해 점점 더 많은 것을 읽은 후에는이 접근법이 내가 시도한 다른 것 (여러 데이터 세트에서)보다 훨씬 우수한 것처럼 보입니다. "왜 LSTM을 사용 하지 …

12 neural-network  nlp  lstm  recurrent-neural-net