병렬 처리로 더 나은 유닉스 찾기?

유닉스 find(1)유틸리티는 특정 사양과 일치하는 많은 파일에 대해 작업을 수행 할 수있는 매우 유용합니다.

find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} \;

위의 내용은 특정 디렉토리의 모든 XML 파일에 대해 스크립트 나 도구를 실행할 수 있습니다.

스크립트 / 프로그램에 많은 CPU 시간이 걸리고 8 개의 프로세서가 있다고 가정 해 봅시다. 한 번에 최대 8 개의 파일을 처리하는 것이 좋습니다.

GNU make는 -j플래그를 사용하여 병렬 작업 처리를 허용 하지만 find그러한 기능은 가지고 있지 않습니다. 이것에 접근하는 다른 일반적인 작업 스케줄링 방법이 있습니까?

xargs와 -P옵션 (프로세스의 수). 4-CPU 시스템의 디렉토리에있는 모든 로그 파일을 압축하고 싶다고 가정 해보십시오.

find . -name '*.log' -mtime +3 -print0 | xargs -0 -P 4 bzip2

-n <number>프로세스 당 최대 작업 단위 수를 말할 수도 있습니다 . 2500 파일을 가지고 있다고 말했습니다.

find . -name '*.log' -mtime +3 -print0 | xargs -0 -n 500 -P 4 bzip2

이렇게하면 4 개의 bzip2프로세스 가 시작 되고 각 프로세스는 500 개의 파일로 시작되고 첫 번째 프로세스가 완료되면 마지막 500 개의 파일에 대해 시작됩니다.

왜 이전 답변이 xargs 및을 사용하는지 make잘 모르는 경우 두 개의 병렬 엔진이 있습니다!

GNU 병렬 도 도움이 될 수 있습니다.

find /dump -type f -name '*.xml' | parallel -j8 java -jar ProcessFile.jar {}

-j8인수 가 없으면 parallel기본값은 컴퓨터의 코어 수입니다. :-)

"수정"을 필요 find-의 메이크업의 사용 make자체가 병렬 처리가 없습니다.

프로세스가 로그 파일 또는 다른 출력 파일을 작성한 후 다음과 같이 Makefile을 사용하십시오.

.SUFFIXES:  .xml .out

.xml.out:
        java -jar ProcessFile.jar $< 1> $@

따라서 다음과 같이 호출됩니다.

find /dump -type f -name '*.xml' | sed -e 's/\.xml$/.out/' | xargs make -j8

더 나은 방법은 Java 프로세스를 성공적으로 완료 한 후에 만 ​​출력 파일이 작성 make되도록하는 경우 다음에 처리되지 않은 파일 만 처리하도록 종속성 처리를 활용할 수 있습니다 .

찾기에는 "+"기호를 사용하여 직접 사용할 수있는 병렬 옵션이 있습니다. xargs가 필요하지 않습니다. grep과 결합하면 트리를 빠르게 추출하여 일치하는 항목을 찾을 수 있습니다. 예를 들어 문자열 'foo'를 포함하는 소스 디렉토리의 모든 파일을 찾고 있다면 호출 할 수 있습니다
find sources -type f -exec grep -H foo {} +