다음 시나리오를 고려하십시오. 두 개의 프로그램 A와 B가 있습니다. 프로그램 A는 stdout 문자열로 출력하는 반면 프로그램 B는 stdin에서 라인을 처리합니다. 이 두 프로그램을 사용하는 방법은 물론입니다.

foo @ bar : ~ $ A | 비

이제 나는 이것이 하나의 핵심만을 먹는다는 것을 알았습니다. 따라서 궁금합니다.

프로그램 A와 B가 동일한 계산 리소스를 공유하고 있습니까? 그렇다면 A와 B를 동시에 실행할 수있는 방법이 있습니까?

내가 알았던 또 다른 것은 A가 B보다 훨씬 빠르게 실행된다는 것입니다. 따라서 더 많은 B 프로그램을 실행할 수 있고 A가 병렬로 출력하는 라인을 처리 할 수 ​​있는지 궁금합니다.

즉, A는 해당 행을 출력하고,이 행을 먼저 읽고 (누가 먼저 읽든지) 프로그램을 처리하고 stdout에서 출력하는 N 개의 프로그램 B가 있습니다.

마지막 질문은 다음과 같습니다.

경쟁 조건 및 잠재적으로 발생할 수있는 다른 불일치를 처리하지 않고 여러 B 프로세스 중 출력을 A로 파이프하는 방법이 있습니까?

문제 split --filter는 출력이 섞일 수 있기 때문에 프로세스 1에서 절반을, 프로세스 2에서 절반을 얻는다는 것입니다.

GNU Parallel은 믹스 업이 없음을 보증합니다.

따라서 당신이하고 싶다고 가정하십시오.

 A | B | C

그러나 B는 매우 느리기 때문에 병렬화하고 싶습니다. 그럼 당신은 할 수 있습니다 :

A | parallel --pipe B | C

GNU Parallel은 기본적으로 \ n과 1MB의 블록 크기로 나뉩니다. --recend 및 --block을 사용하여 조정할 수 있습니다.

GNU Parallel에 대한 자세한 내용은 http://www.gnu.org/s/parallel/을 참조하십시오.

다음을 사용하여 10 초만에 GNU Parallel을 설치할 수 있습니다.

wget -O - pi.dk/3 | sh 

http://www.youtube.com/playlist?list=PL284C9FF2488BC6D1 의 소개 동영상을 보십시오.

쓰면 A | B두 프로세스가 이미 병렬로 실행됩니다. 하나의 코어 만 사용하는 것으로 보이면 CPU 선호도 설정 중 하나 (아마 선호도가 다른 프로세스를 생성하는 도구가 있음)이거나 하나의 프로세스로 전체 코어를 보유하기에 충분하지 않기 때문일 수 있습니다. 컴퓨팅을 퍼 뜨리지 않는 것이 좋습니다.

하나와 여러 B의를 실행하려면, 당신은 같은 도구가 필요 split와 --filter옵션 :

A | split [OPTIONS] --filter="B"

그러나 B 작업이 모두 같은 속도로 실행되지 않기 때문에 출력에서 ​​줄 순서를 엉망으로 만들 수 있습니다. 이것이 문제인 경우, i 번째 출력을 중간 파일로 경로 재지 정하고를 사용하여 마지막에 함께 연결해야합니다 cat. 따라서 상당한 디스크 공간이 필요할 수 있습니다.

다른 옵션이 존재 (B의의 전체 "라운드"가 완료 A는, a의 동등한를 실행할 때까지 대기는 예를 들어 단일 라인 버퍼 출력 B의 각 인스턴스를 제한 할 수 감소 에 split의 지도 및 cat임시 출력 함께) 다양한 수준의 효율성. 예를 들어 방금 설명한 'round'옵션 은 B 의 가장 느린 인스턴스 가 완료 될 때까지 대기 하므로 B에 사용 가능한 버퍼링에 크게 의존합니다. [m]buffer작업이 무엇인지에 따라 도움이 될 수도 있고 아닐 수도 있습니다.

예

처음 1000 개의 숫자를 생성하고 행을 병렬로 계산하십시오.

seq 1 1000 | split -n r/10 -u --filter="wc -l"
100
100
100
100
100
100
100
100
100
100

행을 "표시"하면 각 첫 번째 행이 프로세스 # 1로, 각 다섯 번째 행이 프로세스 # 5 등으로 전송되는 것을 볼 수 있습니다. 또한 split두 번째 프로세스를 생성하는 데 걸리는 시간 에 첫 번째 프로세스는 이미 할당량에 좋은 방법입니다.

seq 1 1000 | split -n r/10 -u --filter="sed -e 's/^/$RANDOM - /g'" | head -n 10
19190 - 1
19190 - 11
19190 - 21
19190 - 31
19190 - 41
19190 - 51
19190 - 61
19190 - 71
19190 - 81

경우 2 코어 머신상에서 실행 seq, split상기 wc프로세스 코어를 공유하고; 그러나 자세히 살펴보면 시스템은 처음 두 프로세스를 CPU0에두고 작업자 프로세스간에 CPU1을 나눕니다.

%Cpu0  : 47.2 us, 13.7 sy,  0.0 ni, 38.1 id,  1.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  : 15.8 us, 82.9 sy,  0.0 ni,  1.0 id,  0.0 wa,  0.3 hi,  0.0 si,  0.0 st
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM     TIME+ COMMAND
 5314 lserni    20   0  4516  568  476 R 23.9  0.0   0:03.30 seq
 5315 lserni    20   0  4580  720  608 R 52.5  0.0   0:07.32 split
 5317 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5318 lserni    20   0  4520  572  484 S 14.0  0.0   0:01.88 wc
 5319 lserni    20   0  4520  576  484 S 13.6  0.0   0:01.88 wc
 5320 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.85 wc
 5321 lserni    20   0  4520  572  484 S 13.3  0.0   0:01.84 wc
 5322 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5323 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5324 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.87 wc

특히 split상당한 양의 CPU를 사용하고 있습니다. 이는 A의 요구에 비례하여 감소합니다. 즉, A가보다 무거운 프로세스 seq인 경우 상대적 오버 헤드 split가 줄어 듭니다. 그러나 A가 매우 가벼운 프로세스이고 B가 매우 빠르면 (A와 함께 유지하기 위해 2-3B를 넘지 않아도 됨) 병렬 처리 split(또는 일반적으로 파이프) 는 그만한 가치가 없을 수 있습니다.