Zip이 동일한 콘텐츠를 가진 여러 파일보다 작은 단일 파일을 압축 할 수있는 이유는 무엇입니까?

10,000 개의 XML 파일이 있다고 가정합니다. 이제 친구에게 보내려고한다고 가정하십시오. 보내기 전에 압축하고 싶습니다.

방법 1 : 압축하지 마십시오

결과 :

Resulting Size: 62 MB
Percent of initial size: 100%

방법 2 : 모든 파일을 압축하여 10,000 xml 파일을 보냅니다.

명령:

for x in $(ls -1) ;  do   echo $x ; zip "$x.zip" $x ; done

결과 :

Resulting Size: 13 MB
Percent of initial size: 20%

방법 3 : 10,000 개의 xml 파일을 포함하는 단일 zip 만들기

명령:

zip all.zip $(ls -1)

결과 :

Resulting Size: 12 MB
Percent of initial size: 19%

방법 4 : 파일을 단일 파일로 연결하고 압축

명령:

cat *.xml > oneFile.txt ; zip oneFile.zip oneFile.txt

결과 :

Resulting Size: 2 MB
Percent of initial size: 3%

질문 :

• 단일 파일을 압축 할 때 왜 이렇게 뛰어난 결과를 얻습니까?
• 방법 2보다 방법 3을 사용하여 훨씬 더 나은 결과를 얻을 것으로 기대했지만 그렇지 않았습니다. 왜?
• 이 동작은 특정 zip입니까? 사용하려고 gzip하면 다른 결과가 나옵니까?

추가 정보:

$ zip --version
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.
Currently maintained by E. Gordon.  Please send bug reports to
the authors using the web page at www.info-zip.org; see README for details.

Latest sources and executables are at ftp://ftp.info-zip.org/pub/infozip,
as of above date; see http://www.info-zip.org/ for other sites.

Compiled with gcc 4.4.4 20100525 (Red Hat 4.4.4-5) for Unix (Linux ELF) on Nov 11 2010.

Zip special compilation options:
    USE_EF_UT_TIME       (store Universal Time)
    SYMLINK_SUPPORT      (symbolic links supported)
    LARGE_FILE_SUPPORT   (can read and write large files on file system)
    ZIP64_SUPPORT        (use Zip64 to store large files in archives)
    UNICODE_SUPPORT      (store and read UTF-8 Unicode paths)
    STORE_UNIX_UIDs_GIDs (store UID/GID sizes/values using new extra field)
    UIDGID_NOT_16BIT     (old Unix 16-bit UID/GID extra field not used)
    [encryption, version 2.91 of 05 Jan 2007] (modified for Zip 3)

편집 : 메타 데이터

한 가지 대답은 차이점이 Zip에 저장된 시스템 메타 데이터라는 것입니다. 나는 이것이 사실 일 수 있다고 생각하지 않는다. 테스트하기 위해 다음을 수행했습니다.

for x in $(seq 10000) ; do touch $x ; done
zip allZip $(ls -1)

결과 zip은 1.4MB입니다. 이것은 아직 설명되지 않은 공간이 ~ 10MB라는 것을 의미합니다.

Zip은 압축시 각 파일의 내용을 개별적으로 처리합니다. 각 파일에는 자체 압축 스트림이 있습니다. 반복되는 섹션을 식별하기 위해 압축 알고리즘 (일반적으로 DEFLATE ) 내에 지원이 있습니다. 그러나 Zip에서 파일 간 중복성을 찾기위한 지원은 없습니다.

콘텐츠가 여러 파일에있을 때 여분의 공간이 너무 많은 이유는 파일에 동일한 압축 스트림을 여러 번 넣는 것입니다.

ZIP 압축은 압축 할 데이터의 반복적 인 패턴을 기반으로하며, 더 많은 패턴을 찾아서 사용할 수 있으므로 파일이 길수록 압축 성능이 향상됩니다.

단순화 된 파일 하나를 압축하면 (짧은) 코드를 (더 긴) 패턴으로 매핑하는 사전이 각 결과 zip 파일에 포함되어야합니다. 하나의 긴 파일을 압축하면 사전이 '재사용'되며 모든 컨텐츠에서 훨씬 더 효과적입니다.

파일이 약간 유사하더라도 (텍스트가 항상 그러 하듯이) '사전'을 재사용하는 것이 매우 효율적이며 결과적으로 전체 우편 번호가 훨씬 작아집니다.

Zip에서 각 파일은 별도로 압축됩니다. 반대로 '고체 압축', 즉 파일이 함께 압축됩니다. 7-zip 및 Rar는 기본적으로 견고한 압축을 사용합니다. Gzip 및 Bzip2는 여러 파일을 압축 할 수 없으므로 Tar이 먼저 사용되므로 솔리드 압축과 동일한 효과가 있습니다.

xml 파일은 구조가 비슷하고 파일이 함께 압축 된 경우 비슷한 내용 일 수 있으므로 압축률이 높아집니다.

예를 들어 파일에 문자열이 포함되어 있고 "<content><element name="압축기가 이미 다른 파일에서 해당 문자열을 발견 한 경우, 압축기가 '고체 압축'을 사용하지 않으면 해당 문자열이 첫 번째 일치 항목 인 '고체 압축'으로 대체됩니다. 파일은 더 큰 리터럴로 기록됩니다.

Zip은 파일의 내용을 저장할뿐만 아니라 소유 한 사용자 아이디, 권한, 생성 및 수정 시간 등과 같은 파일 메타 데이터도 저장합니다. 하나의 파일이 있으면 하나의 메타 데이터 세트가 있습니다. 10,000 개의 파일이있는 경우 10,000 개의 메타 데이터 세트가 있습니다.

OP에서 누락 된 옵션은 압축을 해제 한 상태에서 모든 파일을 압축 한 다음 압축을 최대로 설정하여 결과 zip을 압축하는 것입니다. 이것은 압축이 파일 경계에 걸쳐 중복성을 악용 할 수있게하여 * nix .tar.Z, .tar.gz, .tar.bz 등 압축 아카이브의 동작을 대략적으로 모방합니다. 패스). 이를 통해 개별 XML 파일을 나중에 추출 할 수 있지만 압축을 최대화합니다. 단점은 추출 프로세스에 일반 단계의 .zip에 필요한 것보다 더 많은 디스크 공간을 일시적으로 사용하여 추가 단계가 필요하다는 것입니다.

tar 제품군을 Windows로 확장하기 위해 7-Zip과 같은 무료 도구가 널리 사용되므로 Linux, OS X 및 BSD가 모두 .tar.gz 또는 .tar.bz 등을 사용하지 않을 이유가 없습니다. 그것들을 조작하는 기본 도구.

zip 압축 형식은 각 파일을 개별적으로 저장하고 압축합니다. 파일 내에서만 반복을 이용하지 않으며 파일 내에서만 사용합니다.

파일을 연결하면 zip이 모든 파일에서 반복을 활용할 수 있으므로 압축률이 크게 향상됩니다.

예를 들어, 각 XML 파일에 특정 헤더가 있다고 가정하십시오. 해당 헤더는 각 파일에서 한 번만 발생하지만 다른 많은 파일에서도 거의 동일하게 반복됩니다. 방법 2와 3에서는 zip을 압축 할 수 없지만 방법 4에서는 압축 할 수 없습니다.

Mike Scott이 언급 한 메타 데이터 옆에는 압축 알고리즘에도 오버 헤드가 있습니다.

여러 개의 작은 파일을 압축 할 때 압축 블록 하나만 채우면 압축 할 수 있기 때문에 운이 좋을 것입니다. 단일 모 놀리 식 블록을 압축 할 때 시스템은 개별 파일의 '경계'(더 나은 단어가 없음)를 무시하고 데이터를 알고리즘으로 계속 스트리밍 할 수 있습니다.

또한 ASCII는 압축률이 높은 것으로 알려져 있습니다. plus xml은 종종 메타 데이터를 XML 콘텐츠처럼 쉽게 압축 할 수없는 많은 양의 데이터 덩어리로 만드는 매우 반복적입니다.

마지막으로, 메모리가 제대로 작동하면 zip은 사전 인코딩과 같은 것을 사용하는데, 이는 특히 ASCII 파일과 XML의 반복성으로 인해 더욱 효과적입니다.

데이터 압축 설명 : http://mattmahoney.net/dc/dce.html

이 XML을 고려하십시오.

<root>
  <element id="1" />
  <element id="2" /> 
  <other id="3" />
  ...
</root>

XML은 매우 반복적 인 구조를 가지고 있으며 Zip은 이러한 반복을 활용하여 패턴 이 더 많이 발생 하는 사전을 빌드 한 다음 압축 할 때 더 적은 비트를 사용하여 더 많은 반복 패턴 을 저장하고 더 많은 비트를 사용하여 덜 반복 된 패턴 을 저장 합니다.

이 때 연결하여 해당 파일을 소스 파일 (ZIP의 소스는) 큰하지만, 훨씬 더 포함 반복 패턴을 하는 XML의 지루한 구조 드 분포되어 있기 때문에 상각 하는 저장 ZIP 할 수있는 기회 제공, 큰 전체 파일 패턴을 적은 비트를 사용합니다.

이제 다른 XML을 단일 파일로 결합하면 해당 파일의 태그 이름이 완전히 다른 경우에도 압축 알고리즘은 파일 단위가 아닌 모든 파일 에서 최상의 패턴 분포를 찾습니다.

궁극적으로 압축 알고리즘은 최상의 반복 패턴 분포를 발견했습니다.

7-Zip 답변 외에도 좋은 방법은 아니지만 어떤 이유로 7-Zip을 사용하지 않으려는 경우 테스트 할 가치가있는 또 다른 접근법이 있습니다.

zip 파일을 압축하십시오. 일반적으로 압축 파일은 압축 할 수 없지만 압축 파일이 많은 경우 압축기는이 중복성을 찾아 압축 할 수 있습니다. 중복없이 많은 수의 파일을 처리 할 때 약간의 이득을 보았습니다. 당신이 정말로 크기에 관심이 있다면 당신의 zip에 많은 파일이 있는지 시도해 볼 가치가 있습니다.