30 만 줄이 넘는 FILE_A와 3 천만 줄이 넘는 FILE_B가 있습니다. FILE_A에서 FILE_A의 각 줄을 grep하고 grep의 결과를 새 파일에 쓰는 Bash 스크립트를 만들었습니다 .
이 전체 프로세스는 5 시간 이상이 걸립니다.
스크립트 성능을 개선하려면 어떻게해야합니까?
grep -F -m 1
grep 명령으로 사용 하고 있습니다. FILE_A는 다음과 같습니다.
123456789
123455321
FILE_B는 다음과 같습니다.
123456789,123456789,730025400149993,
123455321,123455321,730025400126097,
Bash를 사용 while
하면 FILE_A에서 다음 줄을 선택하고 FILE_B에서 greps 하는 루프가 있습니다. FILE_B에서 패턴을 찾으면 result.txt 파일에 씁니다.
while read -r line; do
grep -F -m1 $line 30MFile
done < 300KFile