«shared-memory» 태그된 질문

메모리에 numpy 배열이 크고이 func거대한 배열을 입력으로 받는 함수 가 있다고 가정 합니다 (다른 매개 변수와 함께). func다른 매개 변수를 사용하여 병렬로 실행할 수 있습니다. 예를 들면 : def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

내 프로젝트 중 하나에 약간의 문제가 있습니다. 나는 공유 메모리를 사용하는 잘 문서화 된 예를 찾으려고 노력 fork()했지만 성공하지 못했습니다. : 기본적으로 시나리오는 사용자가 프로그램을 시작할 때, 나는 공유 메모리에 두 개의 값을 저장할 필요가있다 CURRENT_PATH A는 문자 * 와 FILE_NAME 또한 문자 *를 . 명령 인수에 따라 새 프로세스가 …

117 c  linux  fork  shared-memory 

매우 큰 그룹 DataFrame(혼합 데이터 유형)에 함수를 적용해야하는 경우가 많으며 여러 코어를 활용하고 싶습니다. 그룹에서 반복자를 만들고 다중 처리 모듈을 사용할 수 있지만 모든 그룹과 함수의 결과를 프로세스 간의 메시징을 위해 선택해야하므로 효율적이지 않습니다. 산세를 피하거나 DataFrame완전히 복사하는 것을 피할 수있는 방법이 있습니까? 다중 처리 모듈의 공유 메모리 기능이 numpy배열 …

89 python  pandas  multiprocessing  shared-memory 

60GB SciPy Array (Matrix)가 있는데 5 multiprocessing Process개 이상의 개체 간에 공유해야 합니다. numpy-sharedmem을 보았고 SciPy 목록 에서이 토론 을 읽었습니다 . 두 가지 접근 방식이있는 것 같습니다. numpy-sharedmema를 사용하고 multiprocessing.RawArray()NumPy를 dtypes에 매핑 ctype합니다. 이제 numpy-sharedmem갈 길인 것 같지만 아직 좋은 참조 예를 보지 못했습니다. 배열 (실제로는 행렬)이 읽기 전용이기 …

88 python  numpy  multiprocessing  shared-memory