MD5 해시를 계산하는 것이 SHA 제품군 함수보다 CPU 집약적입니까?

"표준"랩탑 x86 하드웨어에서 MD5 해시를 계산하는 것이 SHA-1 또는 SHA-2보다 CPU 집약적입니까? 특정 칩에 국한되지 않는 일반 정보에 관심이 있습니다.

업데이트 : 제 경우에는 파일의 해시를 계산하는 데 관심이 있습니다. 파일 크기가 중요하다면 300K라고 가정 해 보겠습니다.

예, MD5는 CPU 집약적이지 않습니다. Intel x86 (Core2 Quad Q6600, 2.4GHz, 코어 1 개 사용)에서 32 비트 모드로 표시됩니다.

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

그리고 이것은 64 비트 모드에서 :

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

"긴"메시지에 대한 수치는 초당 메가 바이트로 표시됩니다 (8KB보다 긴 메시지에 대해 표시됨). 이것은 C (및 Java)의 해시 함수 구현 라이브러리 인 sphlib 입니다. 모든 구현은 동일한 작성자 (나)가 제작했으며 최적화에 비슷한 노력을 기울였습니다. 따라서 속도 차이는 실제로 기능에 내재 된 것으로 간주 될 수 있습니다.

비교의 관점에서, 최근 하드 디스크는 약 100MB / s로 실행되고 USB를 통한 모든 것은 60MB / s 미만으로 실행된다는 점을 고려하십시오. 여기에서는 SHA-256이 "느리게"보이지만 대부분의 경우 충분히 빠릅니다.

참고 것으로 는 OpenSSL 의 32 비트 구현이 포함 SHA-512 내 코드보다 상당히 빠르다 (그러나 빠른 64 비트 SHA-512)에는 OpenSSL 구현 어셈블리에 있으며 SSE2 레지스터를 사용하기 때문에, 어떤 이는이 없습니다 평범한 C로 수행해야합니다. SHA-512는 SSE2 구현의 혜택을받는 4 가지 기능 중 유일한 기능입니다.

편집 : 에 이 페이지 ( 아카이브 ), 하나는 많은 해시 함수의 속도에 대한 보고서를 찾을 수 있습니다 (이하 "Telechargez maintenant"링크를 클릭). 보고서는 프랑스어로되어 있지만 대부분 표와 숫자로 가득 차 있으며 숫자는 국제적입니다. 구현 된 해시 함수에는 SHA-3 후보 (SHABAL 제외)가 포함되어 있지 않지만 작업 중입니다.

2012 MacBook Air (Intel Core i5-3427U, 2x 1.8GHz, 2.8GHz Turbo)에서 SHA-1은 MD5보다 약간 빠릅니다 (64 비트 모드에서 OpenSSL 사용).

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

업데이트 : 10 개월 후 OS X 10.9에서 SHA-1은 동일한 컴퓨터에서 느려졌습니다.

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

두 번째 업데이트 : OS X 10.10에서 SHA-1 속도가 10.8 수준으로 돌아 왔습니다.

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

세 번째 업데이트 : LibreSSL이 포함 된 OS X 10.14는 훨씬 더 빠릅니다 (여전히 동일한 시스템에 있음). SHA-1은 여전히 ​​맨 위에 있습니다.

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

진짜 대답은 : 그것은 의존한다

고려해야 할 몇 가지 요소가 있습니다. 가장 분명한 것은 이러한 알고리즘을 실행하는 CPU와 알고리즘 구현입니다.

예를 들어 나와 내 친구는 모두 정확히 동일한 openssl 버전을 실행하고 다른 Intel Core i7 CPU로 약간 다른 결과를 얻습니다.

Intel (R) Core (TM) i7-2600 CPU @ 3.40GHz로 작업 한 테스트

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

Intel (R) Core (TM) i7 CPU 920 @ 2.67GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

우리 둘 다 ArchLinux 공식 패키지에서 2014 년 10 월 15 일 OpenSSL 1.0.1j의 동일한 바이너리를 실행하고 있습니다.

이에 대한 내 의견은 sha1의 추가 보안으로 인해 CPU 디자이너가 sha1의 속도를 향상시킬 가능성이 더 높고 더 많은 프로그래머가 md5sum보다 알고리즘의 최적화를 위해 작업 할 것이라는 것입니다.

md5는 sha1보다 이점이없는 것 같아 언젠가는 더 이상 사용되지 않을 것이라고 생각합니다. 또한 실제 파일에서 일부 사례를 테스트했으며 결과는 두 경우 모두 동일했습니다 (디스크 I / O에 의해 제한 될 수 있음).

큰 4.6GB 파일의 md5sum은 동일한 파일의 sha1sum과 정확히 같은 시간이 걸렸으며 많은 작은 파일 (동일한 디렉토리에있는 488 개)도 마찬가지입니다. 나는 테스트를 열두 번 실행했고 그들은 일관되게 같은 결과를 얻었습니다.

-

이것을 더 조사하는 것은 매우 흥미로울 것입니다. 새로운 프로세서에서 sha1이 md5보다 빨라지는 이유에 대한 확실한 답변을 제공 할 수있는 전문가가 있다고 생각합니다.

MD5는 또한 SSE2 사용의 이점을 얻고 BarsWF를 확인한 다음 그렇지 않다고 알려주십시오. 필요한 것은 어셈블러에 대한 약간의 지식과 자신 만의 MD5 SSE2 루틴을 만들 수 있습니다. 그러나 많은 양의 처리량의 경우 사용 된 SIMD 명령어와 호환되도록 입력 데이터를 재배 열하는 데 소요되는 시간과 달리 해싱 중 속도의 균형이 있습니다.

sha1sum은 md5sum보다 Power9에서 상당히 빠릅니다.

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s