7.6GB gzip 파일에서 레코드 수를 계산하려고합니다. zcat명령을 사용하여 접근 방식을 거의 찾지 못했습니다 .

$ zcat T.csv.gz | wc -l
423668947

작동하지만 시간이 너무 오래 걸립니다 (수를 계산하는 데 10 분 이상 소요). 나는 같은 몇 가지 접근법을 더 시도했다.

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

이 세 명령 모두 매우 빠르게 실행되지만 28173811의 잘못된 수를 제공합니다.

최소 시간 내에 레코드 수를 어떻게 수행 할 수 있습니까?

sed, perl그리고 awk당신이 언급 명령이 올바르지 수 있지만, 그들은 모두 읽기 압축 점에서 데이터와 카운트 개행 문자를. 이러한 개행 문자는 압축되지 않은 데이터의 개행 문자와 관련이 없습니다.

압축되지 않은 데이터의 줄 수를 계산하기 위해 압축 해제하는 방법은 없습니다. 귀하의 접근 방식 zcat은 올바른 접근 방식이며 데이터가 너무 크기 때문에 압축 해제하는 데 시간 이 걸립니다.

gzip압축 및 압축 해제 를 처리하는 대부분의 유틸리티 는 동일한 공유 라이브러리 루틴을 사용합니다. 속도를 높이는 유일한 방법 zlib은 기본 루틴보다 빠른 루틴 의 구현을 찾고 zcat이를 사용하도록 재구성 하는 것입니다.

unpigz를 사용하십시오.

Kusalananda의 대답이 올바른지, 당신은 할 전체 파일의 내용을 검색 할 수 있음을 압축 해제해야합니다. /bin/gunzip단일 코어에서 최대한 빨리 수행합니다. Pigz 는 gzip여러 코어를 사용할 수 있는 병렬 구현입니다 .

슬프게도, 보통은 gzip 파일의 압축 해제 자체가 병렬하지만 할 수없는 pigz제안을의 개선 된 버전을 수행 gunzip, unpigz등, 읽기, 쓰기 및 별도의 스레드에서 체크섬 등 관련 작업을 수행하는. 일부 빠른 벤치 마크에서는 코어 i5 시스템 unpigz보다 거의 두 배 빠릅니다 gunzip.

pigz선호하는 패키지 관리자로 설치 하고 unpigz대신 gunzip또는 unpigz -c대신에 사용하십시오 zcat. 따라서 귀하의 명령은 다음과 같습니다.

$ unpigz -c T.csv.gz | wc -l

이 모든 것은 병목이 디스크가 아니라 CPU라고 가정합니다.

모든 파이프 라인의 문제점은 본질적으로 작업을 두 배로 늘리는 것입니다. 압축 해제 속도에 관계없이 데이터는 여전히 다른 프로세스로 셔틀되어야합니다.

Perl에는 PerlIO :: gzip 이있어 gzipped 스트림을 직접 읽을 수 있습니다. 따라서 압축 해제 속도가 다음 속도와 일치하지 않더라도 이점을 제공 할 수 있습니다 unpigz.

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

16GB RAM이 있는 오래된 2010 MacBook Pro와 이미 캐시에 파일이있는 8GB RAM 이 있는 오래된 ThinkPad T400에서 13MB gzip 압축 파일 (1.4GB로 압축 해제)로 시도했습니다 . Mac에서 Perl 스크립트는 파이프 라인 (5 초 대 22 초)을 사용하는 것보다 훨씬 빠르지 만 ArchLinux에서는 unpigz를 잃었습니다.

$ 시간 -p ./gzlc.pl spy.gz 
1154737
진짜 4.49
사용자 4.47
시스 0.01

대

$ time -p unpigz -c spy.gz | 화장실 -l
1154737
진짜 3.68
사용자 4.10
시스템 1.46

과

$ time -p zcat spy.gz | 화장실 -l
1154737
진짜 6.41
사용자 6.08
시스템 0.86

분명히, unpigz -c file.gz | wc -l속도 측면에서 사용하는 것이 승자입니다. 그리고이 간단한 명령 줄은 프로그램을 작성하는 것보다 짧습니다.

Kusalananda의 대답은 대부분 맞습니다. 줄을 세려면 줄 바꾸기를 검색해야합니다. 그러나 파일을 완전히 압축 해제하지 않고도 개행을 검색하는 것이 이론적으로 가능합니다.

gzip은 DEFLATE 압축을 사용합니다. DEFLATE는 LZ77과 Huffman 인코딩의 조합입니다. 줄 바꿈에 대한 허프만 심볼 노드 만 파악하고 나머지는 무시하는 방법이있을 수 있습니다. L277을 사용하여 인코딩 된 줄 바꿈을 찾고 바이트 수를 유지하고 다른 모든 것을 무시하는 방법은 거의 확실합니다.

따라서 IMHO는 이론적으로 unpigz 또는 zgrep보다 효율적인 솔루션을 제시 할 수 있습니다. 그것은 누군가가 이미 그것을하지 않았다면 확실히 실용적이지 않다는 말입니다.

사용하여 수행 할 수 있습니다 zgrep와 -c플래그 및 $매개 변수입니다.

이 경우 -c 명령은 일치하는 줄 수를 출력하도록 지시하고 regex $는 줄 끝과 일치하므로 모든 줄이나 파일과 일치합니다.

zgrep -c $ T.csv.gz 

@ StéphaneChazelas의 의견에 따르면 - zgrep스크립트 일뿐 zcat이며 grep원래 제안과 비슷한 성능을 제공해야합니다.zcat | wc -l

보시다시피 대부분의 답변은 컨텍스트 스위치 수와 프로세스 간 IO의 수를 최적화하려고 시도합니다. 그 이유는 여기에서 쉽게 최적화 할 수있는 유일한 것입니다.

이제 문제는 리소스 요구가 압축 해제의 리소스 요구와 거의 무시할 수 있다는 것입니다. 그렇기 때문에 최적화로 인해 더 빠른 결과를 얻지 못할 수 있습니다.

실제로 가속화 될 수있는 경우 압축 해제 된 데이터 스트림의 실제 생성을 생략하는 수정 된 압축 해제 (예 : 압축 해제) 알고리즘이됩니다. 오히려 만의 개행의 수가 산출 압축 해제 된 스트림 로부터 압축 된 하나. 어려울 것이므로 gzip 알고리즘 ( LZW 와 Huffman 압축 알고리즘 의 일부 조합)에 대한 깊은 지식이 필요합니다 . 알고리즘으로 인해 라이트닝으로 압축 해제 시간을 크게 최적화 할 수 없으며 개행 수만 알면됩니다. 가능할지라도 본질적으로 새로운 gzip 압축 해제 라이브러리가 개발되어 있어야합니다 (알기 전까지는 존재하지 않음).

귀하의 질문에 대한 현실적인 대답은 아닙니다.

어쩌면 병렬화 된 gzip 압축 풀기가있을 수도 있습니다. 압축 해제를 위해 여러 개의 CPU 코어를 사용할 수 있습니다. 존재하지 않으면 비교적 쉽게 개발할 수 있습니다.

들어 XZ 병렬 압축기 (pxz)에 존재한다.