«parallel» 태그된 질문

DataFrame.isin팬더 의 기능을 많이 사용하는 모델링 및 스코어링 프로그램을 사용하여 수천 명의 특정 페이지 각각에 대해 개별 사용자의 페이스 북 "유사한"레코드 목록을 검색합니다. 이는 모델링 또는 스코어링 조각보다 프로그램에서 가장 시간이 많이 걸리는 부분입니다. 단순히 하나의 코어에서만 실행되고 나머지는 수십 개에서 동시에 실행되기 때문입니다. 수동으로 데이터 프레임을 청크로 분할하고 작업을 …

25 performance  python  pandas  parallel 

병렬 컴퓨팅과 분산 컴퓨팅의 차이점은 무엇입니까? 확장 성과 효율성에 관해서는 머신 클러스터에서 계산을 처리하는 솔루션을 보는 것이 매우 일반적이며 병렬 처리 또는 분산 처리라고도합니다. 어떤 식 으로든 동시에 실행되는 것이 있기 때문에 계산은 항상 병렬 인 것처럼 보입니다. 그러나 분산 계산은 단순히 하나 이상의 기계를 사용하는 것과 관련이 있습니까, 아니면이 …

15 definitions  parallel  distributed 

종종 "중간 데이터"프로젝트라고 할 수있는 작업을 수행하면서 4 개에서 32 개 코어에 이르는 단일 시스템에서 코드 (대부분 Python에서 모델링 및 예측 용)를 병렬화 할 수있었습니다. 이제는 EC2에서 클러스터로 확장하는 것을보고 있는데 (아마도 StarCluster / IPython을 사용하지만 다른 제안에도 열려 있음) 클러스터의 인스턴스와 인스턴스의 코어간에 작업을 분산시키는 방법에 의문이 생겼습니다. 각 …

12 parallel  clusters  aws 

현재 빅 데이터에 관한 논문을 작성 중이며 데이터 분석에 R을 많이 활용하고 있습니다. 게임상의 이유로 PC에 GTX1070이 있습니다. 따라서 강사가 수행하는 작업의 일부 처리 속도를 높이기 위해 사용할 수 있다면 정말 멋지다고 생각했지만 실제로는 쉽지 않습니다. gpuR, CUDA, Rtools 및 몇 가지 다른 비트와 밥을 설치했으며 예를 들어 게놈 표현식 …

11 r  gpu  parallel 

Keras의 LSTM (Theano 배경 사용)을 사용하여 Seq2Seq 모델 을 작업 중이며 몇 MB의 데이터조차도 훈련에 몇 시간이 필요하기 때문에 프로세스를 병렬화하고 싶습니다. GPU가 CPU보다 병렬 처리에서 훨씬 더 낫다는 것은 분명합니다. 현재는 CPU 만 사용할 수 있습니다. 16 개의 CPU에 액세스 할 수 있습니다 (코어 당 2 개의 스레드 X …

11 tensorflow  keras  theano  parallel