«parallelism» 태그된 질문

독점적으로 만 액세스 할 수 있는 두 개의 리소스 (이름 0과) 가 있다고 가정 1합니다. xargs무료 상호 배제 서비스로 사용하기 위해 실행 되는 "병렬 프로세서"의 "인덱스"를 복구 할 수있는 방법이 있습니까? 예를 들어, 다음 병렬 계산을 고려하십시오. $ echo {1..8} | xargs -d " " -P 2 -I {} echo …

14 xargs  parallelism 

stdin에서 파일 목록을 처리하는 작업이 있습니다. 프로그램의 시작 시간은 상당하며 각 파일에 걸리는 시간은 매우 다양합니다. 나는 많은 수의 프로세스를 생성하고 바쁘지 않은 프로세스를 파견하고 싶다. 내가 원하는 것을 거의 수행하는 몇 가지 명령 줄 도구가 있습니다. 거의 두 가지 작업 옵션으로 좁혔습니다. find . -type f | split -n …

13 xargs  split  parallelism 

형식이 다른 세 종류의 데이터가 있습니다. 각 데이터 유형마다 단일 통합 형식으로 변환하는 Python 스크립트가 있습니다. 이 Python 스크립트는 느리고 CPU에 바인딩되어 있으므로 (멀티 코어 머신의 단일 코어에) 각 데이터 유형마다 하나씩 3 개의 인스턴스를 실행하고 출력을 결합하여 전달하려고합니다 sort. 기본적으로 다음과 같습니다. { ./handle_1.py; ./handle_2.py; ./handle_3.py } | sort …

10 text-processing  pipe  split  parallelism 

동시 프로그램에 대한 성능 테스트를 실행해야하며 하나의 CPU 코어 에서만 실행해야합니다 . (협업 스레드를 원하지 않습니다-항상 컨텍스트 전환을 원합니다). 그래서 두 가지 질문이 있습니다. 가장 좋은 해결책-내 프로그램에 대해서만 하나의 CPU 코어에만 서명하고 예약하는 방법 (OS 가이 CPU 코어를 사용하지 않도록). 나는 그것이 불가능하다고 생각하지만 어쩌면 내가 틀렸다 ... 하나의 …

9 linux  cpu  parallelism 

xargs약 3 천만 개의 작은 파일을 처리하기 위해 파이썬 스크립트를 호출하는 데 사용 하고 있습니다. xargs프로세스를 병렬화하는 데 사용 하고 싶습니다 . 내가 사용하는 명령은 다음과 같습니다 find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt 기본적으로 Convert.py작은 json 파일 (4kb) 을 읽고 …

9 xargs  parallelism 

다음 형식의 bash 스크립트를 작성했습니다. #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." while루프에서 읽을 $inFile라인에 어떤 활동을 수행하고있는 결과를 덤프 $outFile. (가)으로 $inFile3500 선 길이, 스크립트는 …

9 shell-script  multithreading  parallelism 

for다음 코드 의 루프 를 병렬화하고 싶습니다 . 이것을하는 방법? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" …

9 bash  shell-script  parallelism