«multiprocessing» 태그된 질문

다중 처리 모듈과 함께 사용하기 위해 공유 메모리에서 numpy 배열을 사용하고 싶습니다. 어려운 점은 ctypes 배열이 아니라 numpy 배열처럼 사용하는 것입니다. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the array N = int(10) unshared_arr = scipy.rand(N) arr = Array('d', …

111 python  numpy  multiprocessing  shared 

( PMOTW 기사에서 ) Python Multiprocessing 에 대해 배우고이join() 메서드가 정확히 무엇을하고 있는지에 대한 설명을 좋아할 것 입니다. 2008 년의 이전 튜토리얼 에서는 p.join()아래 코드 의 호출 없이 "하위 프로세스가 유휴 상태로 유지되고 종료되지 않으므로 수동으로 죽여야하는 좀비가됩니다"라고 설명합니다. from multiprocessing import Process def say_hello(name='world'): print "Hello, %s" % name …

110 python  multiprocessing 

다중 처리를 통해 생성 된 자식 프로세스 는 프로그램에서 이전에 생성 된 객체를 공유합니까? 다음 설정이 있습니다. do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) 큰 개체를 메모리에로드 한 다음 해당 큰 개체를 …

107 python  multiprocessing 

Python 3.4에는 다중 처리 / 스레딩을위한 몇 가지 다른 라이브러리가 있음을 발견했습니다. 다중 처리 대 스레드 대 asyncio . 하지만 어떤 것을 사용해야하는지 또는 "권장"인지 모르겠습니다. 같은 일을합니까, 아니면 다른가요? 그렇다면 어떤 용도로 사용됩니까? 내 컴퓨터에서 멀티 코어를 사용하는 프로그램을 작성하고 싶습니다. 하지만 어떤 라이브러리를 배워야할지 모르겠습니다.

107 python  multithreading  python-3.x  multiprocessing  python-asyncio 

내 코드를보다 "pythonic"하고 빠르게 만들기 위해 "multiprocessing"과 맵 함수를 사용하여 a) 함수 및 b) 반복 범위를 보냅니다. 이식 된 솔루션 (즉, tqdm.tqdm (range (0, 30)) 범위에서 직접 tqdm 호출)은 다중 처리 (아래 코드에서 공식화 됨)에서 작동하지 않습니다. 진행률 표시 줄은 0 ~ 100 % (python이 코드를 읽을 때?)로 표시되지만지도 기능의 …

103 python  multiprocessing  progress-bar  tqdm 

데모닉이 아닌 파이썬 풀을 만들 수 있습니까? 풀이 내부에 다른 풀이있는 함수를 호출 할 수 있기를 원합니다. 데몬 프로세스는 프로세스를 만들 수 없기 때문에 이것을 원합니다. 특히 다음과 같은 오류가 발생합니다. AssertionError: daemonic processes are not allowed to have children 예를 들어, function_a를 실행하는 풀이있는 실행 function_b중인 풀이있는 시나리오를 고려하십시오 …

101 python  multiprocessing  pool 

imap_unordered()호출 을 통해 다중 처리 풀 작업 집합을 성공적으로 수행하는 스크립트가 있습니다 . p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion 그러나 내 num_tasks약은 약 250,000이므로 join()10 초 정도 주 스레드를 잠그고 주 프로세스가 잠기지 않았 음을 보여주기 위해 명령 줄에 …

96 python  multiprocessing 

multiprocessing모듈에 대한 문서는로 시작하는 프로세스에 큐를 전달하는 방법을 보여줍니다 multiprocessing.Process. 하지만 시작된 비동기 작업자 프로세스와 큐를 공유하려면 어떻게해야 apply_async합니까? 동적 조인이나 다른 것이 필요하지 않습니다. 작업자가 결과를 다시 기지에 (반복적으로)보고하는 방법 일뿐입니다. import multiprocessing def worker(name, que): que.put("%d is done" % name) if __name__ == '__main__': pool = multiprocessing.Pool(processes=3) q …

95 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

다중 처리 대기열이 파이썬에서 작동하는 방식과 구현 방법을 이해하는 데 많은 문제가 있습니다. 공유 파일에서 데이터에 액세스하는 두 개의 파이썬 모듈이 있다고 가정 해 보겠습니다.이 두 모듈을 작성자와 판독기라고합시다. 내 계획은 독자와 작성자 모두 요청을 두 개의 개별 다중 처리 대기열에 넣은 다음 세 번째 프로세스가 이러한 요청을 루프에서 팝하여 …

95 python  multithreading  multiprocessing 

http://docs.python.org/dev/library/multiprocessing.html 에서 설명서를 읽으려고했지만 여전히 다중 처리 대기열, 풀 및 잠금으로 어려움을 겪고 있습니다. 그리고 지금은 아래 예제를 만들 수있었습니다. Queue와 Pool의 경우 개념을 제대로 이해했는지 잘 모르겠습니다. 틀 렸으면 바로 수정 해주세요. 내가 달성하려는 것은 한 번에 2 개의 요청을 처리하는 것입니다 (이 예에서는 데이터 목록에 8 개 있음). …

91 python  python-2.7  multiprocessing 

매우 큰 그룹 DataFrame(혼합 데이터 유형)에 함수를 적용해야하는 경우가 많으며 여러 코어를 활용하고 싶습니다. 그룹에서 반복자를 만들고 다중 처리 모듈을 사용할 수 있지만 모든 그룹과 함수의 결과를 프로세스 간의 메시징을 위해 선택해야하므로 효율적이지 않습니다. 산세를 피하거나 DataFrame완전히 복사하는 것을 피할 수있는 방법이 있습니까? 다중 처리 모듈의 공유 메모리 기능이 numpy배열 …

89 python  pandas  multiprocessing  shared-memory 

60GB SciPy Array (Matrix)가 있는데 5 multiprocessing Process개 이상의 개체 간에 공유해야 합니다. numpy-sharedmem을 보았고 SciPy 목록 에서이 토론 을 읽었습니다 . 두 가지 접근 방식이있는 것 같습니다. numpy-sharedmema를 사용하고 multiprocessing.RawArray()NumPy를 dtypes에 매핑 ctype합니다. 이제 numpy-sharedmem갈 길인 것 같지만 아직 좋은 참조 예를 보지 못했습니다. 배열 (실제로는 행렬)이 읽기 전용이기 …

88 python  numpy  multiprocessing  shared-memory 

Python 3.2.2의 여러 코어에서 실행할 수 있도록 일부 csv 읽기 코드를 다시 작성하려고했습니다. Pool작업 예제에서 수정 한 다중 처리 개체 를 사용하려고 했습니다 (이미 프로젝트의 다른 부분에서 저를 위해 일했습니다). 해독 및 문제 해결이 어렵다는 오류 메시지가 표시되었습니다. 오류: Traceback (most recent call last): File "parser5_nodots_parallel.py", line 256, in <module> …

87 python  python-3.x  multiprocessing  pool 

배경: Postgres 데이터베이스와 함께 Django를 사용하는 프로젝트를 진행 중입니다. 내 웹 검색 중 일부가 언급했기 때문에 중요한 경우 mod_wsgi를 사용하고 있습니다. 웹 양식 제출에서 Django 뷰는 상당한 시간 (사용자가 기다리는 것보다 더 많은 시간)이 걸리는 작업을 시작하므로 백그라운드에서 시스템 호출을 통해 작업을 시작합니다. 현재 실행중인 작업은 데이터베이스를 읽고 쓸 수 …

85 django  multiprocessing 

chunksize방법에 대한 최적의 주장을 결정하는 요인은 무엇입니까 multiprocessing.Pool.map()? 이 .map()메서드는 기본 청크 크기에 대해 임의의 휴리스틱을 사용하는 것 같습니다 (아래 설명 됨). 그 선택에 동기를 부여하는 것은 무엇이며 특정 상황 / 설정에 기반한보다 사려 깊은 접근 방식이 있습니까? 예-내가 다음과 같이 말하십시오. ~ 1,500 만 개의 요소가 있는 iterable에 전달합니다 …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing