병렬 프로세스를 실행하고 둘 다 완료되었을 때 출력을 결합하는 방법

약 5 또는 6 개의 다른 프로그램을 통해 일부 데이터를 파이프 한 다음 최종 결과를 탭으로 구분 된 파일로 만드는 bash 쉘 스크립트가 있습니다.

그런 다음 별도의 유사한 데이터 세트에 대해 동일한 작업을 다시 수행하고 두 번째 파일로 출력합니다.

그런 다음 두 파일 모두 비교 분석을 위해 다른 프로그램에 입력됩니다. 예를 들어

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

내 질문은 : 어떻게 step1과 step2를 동시에 (예를 들어 &를 사용하여) 실행할 수 있지만 둘 다 완료되면 step3 (AnalysisProg) 만 시작할 수 있습니까?

고마워

ps AnalysisProg는 스트림 또는 fifo에서 작동하지 않습니다.

사용하십시오 wait. 예를 들면 다음과 같습니다.

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

의지:

• 백그라운드 작업으로 Data1 및 Data2 파이프를 실행하십시오.
• 둘 다 끝날 때까지 기다리세요
• AnalysisProg를 실행하십시오.

예를 들어이 질문을 참조하십시오 .

cxw의 대답은 의심 할 여지없이 2 개의 파일 만 있으면 선호되는 솔루션입니다. 2 개의 파일이 단지 예이고 실제로 10000 개의 파일이있는 경우 '&'솔루션이 작동하지 않아 서버에 과부하가 발생합니다. 이를 위해서는 GNU Parallel과 같은 도구가 필요합니다.

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

GNU Parallel에 대해 더 배우려면 :

• 빠른 소개를 위해 소개 동영상을 시청하십시오. https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• 튜토리얼을 진행하십시오 (man parallel_tutorial). 당신은 커맨드 라인이 당신을 사랑합니다.

이를 수행하는 한 가지 방법은 다음과 같습니다.

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

이런 식으로 두 파이프 라인을 모두 배경으로하지만 출력을 여기 문서에서 평가하여 AnalysisProg로 전달하기 전에 stdin에 출력을 결합하기 전에 실행을 완료 할 때까지 기다리십시오. wait이것을 사용할 수 있다면 while ps루프 보다 낫지 만 쉘에 따라 현재 쉘의 자식이 아닌wait 프로세스에서 대기하도록 지시하면 객체를 거부 할 수 있습니다 .

또한 위의 방법은 출력을 수집하므로 두 프로세스 모두 한 번에 작성됩니다. 대신에 그것들을 별도로 원하거나 다른 것에 추가하려면 다음을 수행하십시오.

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

이전에 이러한 개념을 시연했습니다. 아마도 최고의 데모가 여기 에 있습니다 .

이것을 사용해보십시오.

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done