«gnu-parallel» 태그된 질문

GNU Parallel을 사용하여 다음 스크립트, 특히 세 개의 FOR 루프 인스턴스 각각을 병렬화하려고 시도했지만 그럴 수 없었습니다. FOR 루프에 포함 된 4 개의 명령은 직렬로 실행되며 각 루프는 약 10 분이 걸립니다. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in $kar"deformed.nii.gz" -ref normtemp.nii.gz -omat …

109 shell-script  gnu-parallel 

.sh스크립트를 사용하여 일련의 작업을 실행하는 것의 차이점 또는 장점 (있는 경우)에 대해 혼란 스럽습니다.GNU parallel 예를 들어 Ole Tange 의 답변 : parallel ./pngout -s0 {} R{} ::: *.png 그들을 통해 루핑하는 것이 아니라 그들을 배경으로 &만든다. 예를 들어 frostschutz 의 답변 : #copied from the link for illustration for …

39 shell-script  background-process  xargs  gnu-parallel 

rsync스크립트를 사용하여 한 호스트의 데이터를 다른 호스트의 데이터와 동기화했습니다. 데이터에는 거의 1.2TB에 기여하는 수많은 소형 파일이 있습니다. 해당 파일을 동기화하기 위해 rsync다음과 같은 명령을 사용 하고 있습니다. rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ proj.lst의 내용은 다음과 같습니다. + proj1 + proj1/* + proj1/*/* + proj1/*/*/*.tar + proj1/*/*/*.pdf + …

18 linux  rhel  rsync  gnu-parallel 

입력 파일 (각 입력 줄이 많은 파일)로 가득 찬 디렉토리가 제공되는 쉘 스크립팅 문제가 있으며 각 출력을 고유 파일 (일명 file_1.input 필요)로 리디렉션하여 개별적으로 처리해야합니다. file_1.output에서 캡처되는 등). 사전 병렬 처리에서는 디렉토리의 각 파일을 반복하고 명령을 수행하면서 프로세서를 압도하지 않는 일종의 타이머 / 계산 기술을 수행합니다 (각 프로세스에 일정한 런타임이 …

18 scripting  parallelism  gnu-parallel 

일부 시뮬레이션 데이터를 사후 처리하는 더 큰 스크립트에서 다음 줄을 가졌습니다. parallel bnzip2 -- *.bz2 내가 parallel올바르게 이해 하고 (아니면 그렇지 않을 수도 있음), 나열된 확장자를 가진 모든 파일에 대해 프로그램의 n 코어 스레드를 실행해야합니다. 내가 명령의 철자를 잘못 알 수 있습니다 bunzip2. 여기에 경고 또는 오류 메시지가 표시되지만 자동으로 …

15 gnu-parallel  moreutils-parallel 

그래서 나는 while 루프를 가지고 있습니다 : cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done 그러나 시간이 오래 걸릴 수 있습니다. 이 while 루프에 GNU Parallel을 어떻게 사용합니까?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % 나는 두 번째 줄이 똑같이 행동 할 것으로 기대합니다.

9 bash  shell  quoting  gnu-parallel 

postgresql 데이터베이스에 꽤 거대한 파일을로드하고 있습니다. 이를 위해 먼저 split파일에서 더 작은 파일 (각각 30Gb)을 얻기 위해 사용한 다음 GNU Paralleland을 사용하여 더 작은 파일을 데이터베이스에로드합니다 psql copy. 문제는 파일을 분할하는 데 약 7 시간이 걸리고 코어 당 파일을로드하기 시작한다는 것입니다. 필요한 것은 split파일 작성이 완료 될 때마다 파일 이름을 …

9 files  split  gnu-parallel