데이터 과학

저는 머신 러닝과 생물 정보학을 한동안 연구 해 왔으며, 오늘 저는 데이터 마이닝의 주요 일반 문제에 대해 동료와 대화를 나누었습니다. 기계 학습 전문가 인 제 동료는 머신 러닝의 가장 중요한 실질적인 측면은 머신 러닝 모델을 훈련시키기에 충분한 데이터를 수집했는지 여부를 이해하는 방법이라고 말했습니다 . 이 말은 내가이면에서 그토록 큰 중요성을 …

11 machine-learning  data-mining  dataset  data-cleaning  data 

현재 빅 데이터에 관한 논문을 작성 중이며 데이터 분석에 R을 많이 활용하고 있습니다. 게임상의 이유로 PC에 GTX1070이 있습니다. 따라서 강사가 수행하는 작업의 일부 처리 속도를 높이기 위해 사용할 수 있다면 정말 멋지다고 생각했지만 실제로는 쉽지 않습니다. gpuR, CUDA, Rtools 및 몇 가지 다른 비트와 밥을 설치했으며 예를 들어 게놈 표현식 …

11 r  gpu  parallel 

입력 데이터: > 티셔츠의 특징 (컬러, 로고 등)XXX > 이윤Y와이Y 위의 및 Y 에서 임의의 포리스트를 학습했으며 테스트 데이터에서 합리적인 정확도를 달성했습니다. 그래서 나는 가지고있다엑스엑스X와이와이Y .피( Y| 엑스)피(와이|엑스)P(Y|X) 이제 즉 이 많은 이익 마진이 기대 되는 X 기능 의 확률 분포 를 찾고 싶습니다 .피( X| 와이)피(엑스|와이)P(X|Y)엑스엑스X 임의의 숲 (또는 …

11 machine-learning  random-forest  generative-models 

이 두 컨볼 루션 작업은 현재 딥 러닝에서 매우 일반적입니다. 이 논문에서 확장 된 컨볼 루션 레이어에 대해 읽었습니다. WAVENET : 원시 오디오를위한 일반적인 모델 그리고 De-convolution은이 논문에있다 : 시맨틱 세그먼테이션을위한 완전 컨볼 루션 네트워크 둘 다 이미지를 업 샘플링하는 것처럼 보이지만 차이점은 무엇입니까?

11 machine-learning  deep-learning  convnet  computer-vision  convolution 

간단한 챗봇을 만들고 있습니다. 사용자 응답에서 정보를 얻고 싶습니다. 시나리오 예 : Bot : Hi, what is your name? User: My name is Edwin. 문장에서 Edwin이라는 이름을 추출하고 싶습니다. 그러나 사용자는 다음과 같은 다른 방식으로 응답 할 수 있습니다. User: Edwin is my name. User: I am Edwin. User: Edwin. …

11 python  nlp 

현재 큰 CSV 파일 (60 백만 행 이상 70GB 이상)에서 모델을 훈련하려고합니다. 그렇게하기 위해 tf.contrib.learn.read_batch_examples를 사용하고 있습니다. 이 함수가 실제로 데이터를 읽는 방법을 이해하는 데 어려움을 겪고 있습니다. 예를 들어 배치 크기가 50.000 인 경우 파일의 처음 50.000 줄을 읽습니까? 전체 파일을 반복하려면 (1 epoch) estimator.fit 메소드에 num_rows / batch_size …

11 python  tensorflow 

나는 tensorflow를 사용하여 간단한 신경망을 만들고 있는데, 내가 수집 한 데이터로 협력하지는 않습니다. 오류 메시지 : TypeError : Fetch 인수 2861.6152 중 2861.6152에 유효하지 않은 type이 (가) 문자열 또는 Tensor 여야합니다. float32를 텐서 또는 작업으로 변환 할 수 없습니다. 오류는 내 코드에서 다음 줄을 나타냅니다. _, cost = tf_session.run([optimizer, cost], …

11 machine-learning  python  neural-network  tensorflow 

"심층 순위와 함께 세분화 된 이미지 유사성 학습" 이라는 논문 의 네트워크 아키텍처 를 가지고 있으며 3 개의 병렬 네트워크의 출력이 선형 포함 레이어를 사용하여 어떻게 병합되는지 파악할 수 없습니다. 논문에서이 레이어에 제공된 유일한 정보는 마지막으로 세 부분에서 임베딩을 정규화하고 선형 임베딩 레이어와 결합합니다. 임베드의 차원은 4096입니다. 저자가이 계층에 대해 …

11 neural-network  deep-network 

다음과 같이 Keras (Tensorflow 백엔드)에서 사용자 지정 메트릭 기능 (F1-Score)을 정의하려고했습니다. def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 지금까지는 훌륭했지만 모델 컴파일에 적용하려고 할 …

11 tensorflow  keras  evaluation 

이것은 우리가 항상 기본 분포를 가정하지 않는 때문에 정의는 매우 적용되지 않습니다. 그렇다면 모델이란 무엇입니까? 하이퍼 파라미터가 지정된 GBM을 모델로 간주 할 수 있습니까? 모델이 규칙 모음입니까?

11 machine-learning 

하기 matplotlib의 라이브러리는 특히 Jupyter 노트북 내부에 매우 능력이 있지만, 상호 교환 성이 부족하다. plot.ly 와 같은 좋은 오프라인 플로팅 도구를 원합니다 .

11 python  visualization  pca  jupyter 

CNN (Convolutional Neural Network)을 사용하여 문서를 분류하려고합니다. 짧은 텍스트 / 문장에 대한 CNN은 많은 논문에서 연구되었습니다. 그러나 긴 텍스트 나 문서에 CNN을 사용한 논문은없는 것 같습니다. 내 문제는 문서의 기능이 너무 많다는 것입니다. 내 데이터 세트에서 각 문서에는 1000 개 이상의 토큰 / 단어가 있습니다. 각 예제를 CNN에 제공하기 위해 …

11 classification  neural-network  text-mining  convnet  word2vec 

아마존의 Alexa , Nuance 's Mix 및 Facebook의 Wit.ai는 모두 비슷한 시스템을 사용하여 텍스트 명령을 의도로 변환하는 방법, 즉 컴퓨터가 이해할 수있는 방법을 지정합니다. 나는 이것의 "공식적인"이름이 무엇인지 잘 모르겠지만 "의도 인식"이라고 부릅니다. 기본적으로 "조명을 50 % 밝기로 설정하십시오"에서로 전환하는 방법은입니다 lights.setBrightness(0.50). 그들이 지정하는 방법은 개발자가 의도와 연관되고 선택적으로 "엔터티"(기본적으로 …

11 machine-learning  nlp 

향후 예측을 위해 단어 목록에서 어떤 종류의 기능을 추출하려고 시도합니까? 기존 단어입니까 아니면 문자 혼란입니까? 내가 찾은 작업에 대한 설명 이 있습니다. 주어진 단어가 영어인지 대답 할 수있는 프로그램을 작성해야합니다. 사전에서 단어를 찾아보기 만하면 되기는 쉽지만 중요한 제한이 있습니다. 프로그램이 64KiB를 넘지 않아야합니다. 따라서 문제를 해결하기 위해 로지스틱 회귀를 사용할 …

11 machine-learning  nlp  text-mining  algorithms 

나는 word2vec gensim 모델을 작업하고 있었고 정말 흥미 롭습니다. 모델을 확인할 때 알 수없는 / 보이지 않는 단어가 훈련 된 모델에서 유사한 용어를 얻을 수있는 방법을 찾는 데 흥미가 있습니다. 이게 가능해? word2vec를 조정할 수 있습니까? 또는 훈련 말뭉치에는 내가 비슷한 것을 찾고 싶은 모든 단어가 있어야합니다.

11 nlp  deep-learning  word-embeddings  unsupervised-learning