«parallel-processing» 태그된 질문

현재 스크립트가 있습니다. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done xargs를 사용하여 병렬로 실행하고 싶습니다. 나는 시도했다 script.sh | xargs -P8 그러나 위의 작업은 한 번에 한 번만 실행됩니다. -n8도 운이 없습니다. 스크립트 for 루프에서 실행할 행 끝에 &를 추가하면 스크립트를 한 번에 99 …

85 bash  parallel-processing  xargs 

chunksize방법에 대한 최적의 주장을 결정하는 요인은 무엇입니까 multiprocessing.Pool.map()? 이 .map()메서드는 기본 청크 크기에 대해 임의의 휴리스틱을 사용하는 것 같습니다 (아래 설명 됨). 그 선택에 동기를 부여하는 것은 무엇이며 특정 상황 / 설정에 기반한보다 사려 깊은 접근 방식이 있습니까? 예-내가 다음과 같이 말하십시오. ~ 1,500 만 개의 요소가 있는 iterable에 전달합니다 …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing 

네트워크를 통해 원격 사이트에 연결하고 일반 목록을 반환하는 여러 기능을 실행하려고합니다. 하지만 동시에 실행하고 싶습니다. 예를 들면 : public static List<SearchResult> Search(string title) { //Initialize a new temp list to hold all search results List<SearchResult> results = new List<SearchResult>(); //Loop all providers simultaneously Parallel.ForEach(Providers, currentProvider => { List<SearchResult> tmpResults = …

80 c#  list  locking  parallel-processing 

Scala의 선물용 스레드 풀은 얼마나 큽니까? 내 Scala 애플리케이션은 수백만 개의 future {}s를 생성하며 스레드 풀을 구성하여 최적화 할 수있는 방법이 있는지 궁금합니다. 감사합니다.

80 multithreading  scala  parallel-processing  threadpool  future 

node.js의 이벤트 중심 프로그래밍 모델은 프로그램 흐름을 조정하는 데 다소 까다로워집니다. 간단한 순차 실행은 중첩 된 콜백으로 바뀌며, 이는 충분히 쉽습니다 (기록하기에는 약간 복잡함). 그러나 병렬 실행은 어떻습니까? 병렬로 실행할 수있는 세 개의 작업 A, B, C가 있고 작업이 완료되면 그 결과를 작업 D로 보내려고합니다. 포크 / 조인 모델을 사용하면 …

79 javascript  concurrency  node.js  parallel-processing  fork-join 

I 착각하지 않다, 내가 수 std::transform수행 장소에서 입출력 반복자 같은 범위를 사용하여. std::vector객체 가 있다고 가정 vec하면 쓸 것입니다. std::transform(vec.cbegin(),vec.cend(),vec.begin(),unary_op) 적절한 단항 연산 사용 unary_op. C ++ 17 표준을 사용하여 std::execution::par첫 번째 인수로 in 을 붙여서 변환을 병렬로 실행하고 싶습니다 . 이렇게하면의 cppreference 기사에서std::transform 함수가 과부하 (1)에서 (2)로 이동합니다 . …

11 c++  parallel-processing  stl  c++17 

나는 매우 큰 Pandas DataFrame을 다루고 있습니다. 내 데이터 세트는 다음 df설정 과 유사합니다 . import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( …

9 python  pandas  apache-spark  parallel-processing  dask 

내가 여러 번 겪어 본 패턴은 테스트를 매핑하고 일부 또는 모든 요소가 통과했는지 확인하여 값 목록을 확인 해야하는 패턴입니다. 전형적인 솔루션은 편리한 내장 기능을 사용하는 것입니다 all및 any. 문제는 이것들이 연속적으로 평가된다는 것입니다. 많은 경우에는 것 정도 되면 프로세스가 완료되고 병렬로 평가 빠른 어떤 스레드가 "거짓"를 찾아 all나에 대한 "true"로 …

9 haskell  testing  concurrency  parallel-processing  any