gzip을 사용하여 매우 큰 파일 (~ 30GB)을 압축 할 수 있습니까?

17

gzip을 사용하여 매우 큰 파일 (~ 30GB)을 압축 할 수 있습니까? 그렇다면 어떤 명령, 스위치 및 옵션을 사용해야합니까?

아니면 매우 큰 파일을 압축 / 압축하는 데 사용할 수있는 다른 프로그램 (우선 Ubuntu 배포판에서 일반적으로 사용 가능한 프로그램)이 있습니까? 이것에 대한 경험이 있습니까?

— 앤드류
소스

대부분의 하드 코어 컴프레서는 xz 또는 병렬 버전 인 pxz입니다. pxz -9ve - <in >out.xz그리고 당신은 당신의 PC에서 닭을 구울 것이지만 결과는 gzip 결과의 약 60 %가 될 것입니다. 이를 위해서는 약 7GB가 필요합니다.

— peterh-복원 모니카

22

AFAIK gzip최소 크기는 30GB가 아닙니다. 물론 디스크에 압축 파일을 저장할 공간이 필요합니다. 압축하는 동안 두 버전이 모두 동시에 존재합니다.

bzip2 파일을 압축합니다 (큰 파일 :-)는 더 나아지지만 (때로는 많이) 느립니다.

— 오노
소스

4

bzip2는 특히 소스 코드를 압축하는 데 유용합니다. gzip을 일반 용도로 사용하는 것도 좋은 경쟁사입니다. 다른 운영 체제에서 gzip의 가용성은 bzip2보다 낫습니다

— jippie

bzip2는 무손실 압축입니까? 감사.

— Andrew

3

@Andrew 예, gzip / bzip2 / etc는 모두 무손실입니다.

— Renan

1

그리고 pbzip둘 이상의 CPU 코어를 사용하는 것도 있습니다. 그러나 여전히보다 느립니다 gzip.

— Nils

1

@ Nils : 우분투에는 오직pbzip2

— rubo77

8

좋은 컴파일 속도가 필요하면 lzma를 사용해보십시오. bzip2보다 빠르고 효율적이며 gzip보다 빠를 수도 있습니다 (확실히 모르겠습니다)

http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/

— fromnaboo
소스

4

lzma현재는 더 이상 사용되지 않습니다 xz. 동일한 알고리즘으로 다소 다른 (개선 된) 파일 형식이 래핑됩니다. LZMA는 gzip보다 느리지 만 최대 속도에서는 JSON 데이터와 같이 중복성이 높은 항목에 대해서는 여전히 압축률이 높습니다. ( xz -0)

— Peter Cordes

3

한도에 도달하면 다시 정렬하십시오. 대신에:

gzip file

하다:

gzip < file > file.gz

잘 작동합니다.

— 여호수아
소스

2

gzip 형식은 입력 크기 모듈로 2 ^ 32를 나타내므로이 --list옵션은 압축되지 않은 파일 4GB 이상에 대한 압축되지 않은 크기 및 압축 비율을 잘못보고합니다.

따라서 bzip2(v1.0.2 이상) 또는을 사용하십시오 xz.

— 설형 문자
소스

정확히 gzip 이어야만하는 경우 파일은 각각 최대 4Gb의 작은 부분으로 나누어야합니다.

— 설형 문자

이를 위해 사용 가능한 파일 스플리터가 있습니다.

— Vérace

글쎄, 그것은 분할 될 필요 가 없습니다 , 단지보고 된 크기가 잘못 될뿐입니다.

— 법률 29

2

최저 압축으로 설정된 XZ 는 속도와 압축 에서 gzip을 능가 할 수 있습니다 .

— 피터 섀넌
소스