여러 다이제스트를 동시에 계산합니까 (md5, sha256)?

디스크 I / O 및 사용 가능한 RAM이 병목 현상 (CPU 시간에 제한이 없음)이라고 가정하면 한 번에 여러 메시지 요약을 계산할 수있는 도구가 있습니까?

특히 대용량 파일 (기가 바이트 단위)의 MD-5 및 SHA-256 다이제스트를 계산하는 것이 좋습니다. 나는 시도 openssl dgst -sha256 -md5했지만 하나의 알고리즘을 사용하여 해시 만 계산합니다.

예상되는 동작에 대한 의사 코드 :

for each block:
    for each algorithm:
        hash_state[algorithm].update(block)
for each algorithm:
    print algorithm, hash_state[algorithm].final_hash()

에서 pee( " tee standard input to pipes")을 (를) 확인하십시오 moreutils. 이것은 기본적으로 Marco의 tee명령 과 동일 하지만 입력하기가 조금 더 간단합니다.

$ echo foo | pee md5sum sha256sum
d3b07384d113edec49eaa6238ad5ff00  -
b5bb9d8014a0f9b1d61e21e796d78dccdf1352f23cd32812f4850b878ae4944c  -

$ pee md5sum sha256sum <foo.iso
f109ffd6612e36e0fc1597eda65e9cf0  -
469a38cb785f8d47a0f85f968feff0be1d6f9398e353496ff7aa9055725bc63e  -

for루프를 사용 하여 개별 파일을 반복 한 다음 tee 프로세스 대체 (Bash 및 Zsh에서 작동)와 결합하여 다른 체크섬으로 파이프 할 수 있습니다.

예:

for file in *.mkv; do
  tee < "$file" >(sha256sum) | md5sum
done

두 번 이상의 여름철을 사용할 수도 있습니다.

for file in *.mkv; do
  tee < "$file" >(sha256sum) >(sha384sum) | md5sum
done

이것은 checksummers가 표준 입력으로 전달되기 때문에 파일 이름을 알지 못하는 단점이 있습니다. 허용되지 않으면 파일 이름을 수동으로 내 보내야합니다. 완전한 예 :

for file in *.mkv; do
  echo "$file"
  tee < "$file" >(sha256sum) >(sha384sum) | md5sum
  echo
done > hashfilelist

openssl 유틸리티가 여러 다이제스트 명령을 허용하지 않는 것이 유감입니다. 여러 파일에서 동일한 명령을 수행하는 것이 더 일반적인 사용 패턴이라고 생각합니다. FWIW, 내 시스템 (Mepis 11)의 openssl 유틸리티 버전에는 다른 sha 변형이 아닌 sha 및 sha1에 대한 명령 만 있습니다. 그러나 md5sum뿐만 아니라 sha256sum이라는 프로그램이 있습니다.

다음은 원하는 것을 수행하는 간단한 Python 프로그램 인 dual_hash.py입니다. 64k의 블록 크기가 내 컴퓨터 (2G RAM을 갖춘 Intel Pentium 4 2.00GHz), YMMV에 최적 인 것으로 보입니다. 작은 파일의 경우 속도는 md5sum 및 sha256sum을 연속으로 실행하는 속도와 거의 같습니다. 그러나 큰 파일의 경우 훨씬 빠릅니다. 예를 들어 1967063040 바이트 파일 (mp3 파일로 가득 찬 SD 카드의 디스크 이미지)에서 md5sum + sha256sum은 약 1m44.9s, dual_hash.py는 1m0.312s입니다.

dual_hash.py

#! /usr/bin/env python

''' Calculate MD5 and SHA-256 digests of a file simultaneously

    Written by PM 2Ring 2014.10.23
'''

import sys
import hashlib

def digests(fname, blocksize):
    md5 = hashlib.md5()
    sha = hashlib.sha256()
    with open(fname, 'rb') as f:
        while True:
            block = f.read(blocksize)
            if not block:
                break
            md5.update(block)
            sha.update(block)

    print("md5: %s" % md5.hexdigest())
    print("sha256: %s" % sha.hexdigest())

def main(*argv):
    blocksize = 1<<16 # 64kB
    if len(argv) < 2:
        print("No filename given!\n")
        print("Calculate md5 and sha-256 message digests of a file.")
        print("Usage:\npython %s filename [blocksize]\n" % sys.argv[0])
        print("Default blocksize=%d" % blocksize)
        return 1

    fname = argv[1]

    if len(argv) > 2:
        blocksize = int(sys.argv[2])

    print("Calculating MD5 and SHA-256 digests of %r using a blocksize of %d" % (fname, blocksize))
    digests(fname, blocksize)

if __name__ == '__main__':
    sys.exit(main(*sys.argv))

이 프로그램의 C / C ++ 버전은 조금 더 빠른 것 생각하지만,별로, 대부분의 작업이 hashlib 모듈에 의해 수행되고 있기 때문에 되어 C (또는 C ++)로 작성. 위에서 언급했듯이 큰 파일의 병목 현상은 IO 속도입니다.

항상 GNU parallel 과 같은 것을 사용할 수 있습니다 .

echo "/path/to/file" | parallel 'md5sum {} & sha256sum {}'

또는 백그라운드에서 둘 중 하나를 실행하십시오.

md5sum /path/to/file & sha256sum /path/to/file

또는 출력을 다른 파일에 저장하고 백그라운드에서 여러 작업을 실행하십시오.

for file in *; do
    md5sum "$file" > "$file".md5 &
    sha256sum "$file" > "$file".sha &
done

즉 많은으로 시작됩니다 md5sum그리고 sha256sum당신이 파일을 가지고있는 경우 그들은 모두 해당 파일 이름에 자신의 출력을 저장 병렬로 실행됩니다. 그러나 파일이 많은 경우주의해야합니다.

다중 스레드 파이썬 스크립트가 실행 시간을 줄일 수 있는지 호기심 중,이 만들어 digest.py사용하는 스크립트 threading.Thread, threading.Queue그리고 hashlib여러 파일의 해시를 계산합니다.

멀티 스레드 파이썬 구현은 실제로 peecoreutils를 사용 하는 것보다 약간 빠릅니다 . 반면에 Java는 meh입니다. 이 커밋 메시지 에서 결과를 사용할 수 있습니다 .

비교를 위해 2.3GiB 파일의 경우 ( n = 10의 경우 최소 / 평균 / 최대 / sd 초) :

• 오줌 sha256sum md5sum <파일 : 16.5 / 16.9 /17.4/.305
• python3 digest.py -sha256 -md5 <파일 : 13.7 / 15.0 /18.7/1.77
• python2 digest.py -sha256 -md5 <파일 : 13.7 / 15.9 /18.7/1.64
• jacksum -a sha256 + md5 -F '#CHECKSUM {i} #FILENAME': 32.7 / 37.1 /50/6.91

해시 출력은 coreutils에서 생성 된 출력과 호환됩니다. 길이는 해싱 알고리즘에 따라 다르므로이 도구는 인쇄하지 않습니다. 사용법 (비교를 위해 pee추가됨) :

$ ./digest.py -sha256 -md5 digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  digest.py
b575edf6387888a68c93bf89291f611c  digest.py
$ ./digest.py -sha256 -md5 <digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  -
b575edf6387888a68c93bf89291f611c  -
$ pee sha256sum md5sum <digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  -
b575edf6387888a68c93bf89291f611c  -

Jacksum은 파일의 타임 스탬프뿐만 아니라 체크섬, CRC 및 해시 (메시지 요약)를 계산하고 확인하기위한 무료 플랫폼 독립적 유틸리티입니다. ( 잭섬 매뉴얼 페이지 에서 발췌 )

그것은 큰 파일 인식이며, 최대 8 엑사 바이트 (= 8,000,000,000 기가 바이트)까지 파일 크기를 처리 할 수 ​​있으며, 운영 체제는 각각 파일 시스템이 큰 파일 인식이라고 가정합니다. ( http://www.jonelo.de/java/jacksum/ 에서 발췌 )

사용 예 :

jacksum -a md5+sha256 -F "#ALGONAME{i} (#FILENAME) = #CHECKSUM{i}" jacksum-testfile

샘플 출력 :

md5 (jacksum-testfile) = d41d8cd98f00b204e9800998ecf8427e
sha256 (jacksum-testfile) = e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855

우분투에서 명령 apt-get install jacksum을 실행 하여 가져옵니다.

또는 소스 코드는

• http://www.jonelo.de/java/jacksum/#Download
• http://sourceforge.net/projects/jacksum/