«multiprocessing» 태그된 질문

Python 다중 처리 라이브러리에 여러 인수를 지원하는 pool.map의 변형이 있습니까? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

534 python  multiprocessing 

Pool.apply , Pool.apply_async 및 유스 케이스에 대한 명확한 예를 보지 못했습니다. Pool.map에 못했습니다 . 나는 주로 사용하고 있습니다 Pool.map; 다른 사람들의 장점은 무엇입니까?

290 python  multithreading  concurrency  multiprocessing 

더 간단한 예제로 오류를 재현 할 수 없어서 죄송합니다. 코드가 너무 복잡하여 게시 할 수 없습니다. 일반 파이썬 대신 IPython 쉘에서 프로그램을 실행하면 문제가 해결됩니다. 이 문제에 대한 이전 메모를 찾아 보았습니다. 풀을 사용하여 클래스 함수 내에 정의 된 함수를 호출했기 때문에 모두 발생했습니다. 그러나 이것은 나에게 해당되지 않습니다. Exception …

243 python  multiprocessing  pickle  python-multiprocessing 

현재 Python 2.6 multiprocessing모듈을 사용하여 여러 프로세스를 생성하는 프레임 워크에 중앙 모듈이 있습니다. 를 사용하기 때문에 multiprocessing모듈 수준의 다중 처리 인식 로그가 LOG = multiprocessing.get_logger()있습니다. 당 워드 프로세서 ,이 로거는 제대로 해석 것들에하지 않도록 프로세스 공유 잠금을 가지고 sys.stderr동시에 그것을 쓰기 여러 프로세스를함으로써 (또는 무엇이든 핸들). 내가 가진 문제는 프레임 …

239 python  logging  multiprocessing 

작업을 동시에 나누기 위해 multiprocessing의 Pool.map()기능 을 사용하려고합니다 . 다음 코드를 사용하면 정상적으로 작동합니다. import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() 그러나 더 객체 지향적 인 접근 방식으로 사용하면 작동하지 않습니다. 오류 메시지는 다음과 같습니다. PicklingError: Can't pickle …

218 python  multithreading  multiprocessing  pickle  pool 

파이썬의 사용 방법을 배우려고 노력하고있어 multiprocessing패키지를,하지만 난 사이의 차이를 이해하지 않습니다 map_async와 imap. 나는 눈치 그 모두 map_async와 imap비동기 적으로 실행됩니다. 그렇다면 언제 다른 것을 사용해야합니까? 그리고 내가 반환 한 결과를 어떻게 검색해야 map_async합니까? 이런 식으로 사용해야합니까? def test(): result = pool.map_async() pool.close() pool.join() return result.get() result=test() for i in …

184 python  multiprocessing  python-multiprocessing 

내가 다음과 같은 것을 실행할 때 : from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) 잘 작동합니다. 그러나 이것을 클래스의 함수로 두는 것 : class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() 다음과 같은 …

179 python  multiprocessing  pickle 

파이썬의 멀티 프로세싱 패키지 에서 큐와 파이프의 근본적인 차이점은 무엇입니까 ? 어떤 시나리오에서 다른 시나리오를 선택해야합니까? 언제 사용하는 것이 유리 Pipe()합니까? 언제 사용하는 것이 유리 Queue()합니까?

151 python  performance  queue  multiprocessing  pipe 

Python 3.2는 Concurrent Futures를 도입 했으며, 이는 이전 스레딩 및 멀티 프로세싱 모듈 의 고급 조합으로 보입니다 . 구형 멀티 프로세싱 모듈에 비해 CPU 바운드 작업에이 기능을 사용할 경우의 장단점은 무엇입니까? 이 기사 는 작업하기가 훨씬 쉽다는 것을 제안합니다.

148 python  python-3.x  multiprocessing 

특정 작업을 병렬로 실행하고 코드 속도를 높이기 위해 Python에서 threading및 multiprocessing모듈 을 사용하는 방법을 배우고 있습니다. 나는 threading.Thread()물체와 물체 의 차이점을 이해하기가 어렵습니다 (아마도 그것에 대한 이론적 배경이 없기 때문에) multiprocessing.Process(). 또한 작업 대기열을 인스턴스화하는 방법과 작업 대기열 중 4 개만 병렬로 실행하는 방법과 다른 작업은 실행되기 전에 리소스가 해제 …

145 python  multithreading  parallel-processing  process  multiprocessing 

파이썬의 다중 처리 풀로 KeyboardInterrupt 이벤트를 어떻게 처리 할 수 ​​있습니까? 다음은 간단한 예입니다. from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** …

136 python  multiprocessing  pool  keyboardinterrupt 

이것이 OS 문제로 간주되는지 확실하지 않지만 누군가 파이썬 끝에서 통찰력이있는 경우 여기에 물어볼 것이라고 생각했습니다. 을 for사용하여 CPU가 많은 루프 를 병렬화하려고 joblib했지만 각 작업자 프로세스가 다른 코어에 할당되는 대신 모든 코어가 동일한 코어에 할당되고 성능이 향상되지 않는 것으로 나타났습니다. 다음은 아주 간단한 예입니다. from joblib import Parallel,delayed import numpy …

127 python  linux  numpy  multiprocessing  blas 

메모리에 numpy 배열이 크고이 func거대한 배열을 입력으로 받는 함수 가 있다고 가정 합니다 (다른 매개 변수와 함께). func다른 매개 변수를 사용하여 병렬로 실행할 수 있습니다. 예를 들면 : def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Windows 시스템에서 Threading 및 Multiprocessing을 사용하는 첫 번째 공식 파이썬 프로그램을 시도하고 있습니다. 그래도 파이썬이 다음 메시지를 표시하면서 프로세스를 시작할 수 없습니다. 문제는 메인 모듈 에서 내 스레드를 시작하지 않는다는 것입니다 . 스레드는 클래스 내의 별도 모듈에서 처리됩니다. 편집 : 그건 그렇고이 코드는 우분투에서 잘 실행됩니다. 창문에는별로 RuntimeError: Attempt to …

123 python  windows  multiprocessing 

결합 가능한 대기열에서 작동하는 여러 프로세스를 생성 Q하고 D결과를 저장하기 위해 결국 전역 사전 을 조작 할 수있는 프로그램입니다 . (따라서 각 하위 프로세스는 D결과를 저장하고 다른 하위 프로세스가 생성하는 결과를 확인하는 데 사용할 수 있습니다 ) 하위 프로세스에서 사전 D를 인쇄하면 그 (예 : D)에서 수정 된 내용을 볼 …

113 python  multiprocessing