역그 리핑

정말 큰 텍스트 파일 (약 10.000.000 줄)이 있다고 가정 해 봅시다. 나는 grep결국 그것을하고 파일에 결과를 저장해야합니다. 작업을 수행하는 가장 효율적인 방법은 무엇입니까?

tac / grep 솔루션

tac file | grep whatever

또는 좀 더 효과적입니다.

grep whatever < <(tac file)

500MB 파일 시간 :

real    0m1.225s
user    0m1.164s
sys     0m0.516s

sed / grep 솔루션 :

sed '1!G;h;$!d' | grep whatever

500MB 파일 시간 : 10 분 이상 후에 중단되었습니다.

awk / grep 솔루션 :

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

500MB 파일 시간 :

real    0m5.626s
user    0m4.964s
sys     0m1.420s

펄 / 그렙 솔루션 :

perl -e 'print reverse <>' file | grep whatever

500MB 파일 시간 :

real    0m3.551s
user    0m3.104s
sys     0m1.036s

이 솔루션이 도움이 될 수 있습니다.

tac file_name | grep -e expression

첫 번째 일치를 찾으면 바로 종료됩니다.

 tac hugeproduction.log | grep -m1 WhatImLookingFor

다음은 처음 두 경기 전후에 5 줄을 제공합니다.

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

-igrep을 느리게 할 필요가 없으면 사용하지 마십시오 (대소 문자 구분).

찾고있는 정확한 문자열을 알고 있다면 fgrep(고정 문자열) 을 고려하십시오.

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

파일이 정말 큰 경우, 내가 사용, 메모리에 맞지 않을 수 Perl와 파일 :: ReadBackwards의 모듈 CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

그때:

$ ./reverse-grep.pl pattern file