Рассчитывает ли хэш MD5 менее интенсивный процессор, чем SHA-1 или SHA-2 на "стандартном" ноутбуке x86? Меня интересует общая информация, не относящаяся к определенному чипу.
UPDATE: В моем случае, я заинтересован в вычислении хеша файла. Если размер файла имеет значение, допустим его 300K.
Да, MD5 несколько менее интенсивен. На моем Intel x86 (Core2 Quad Q6600, 2,4 ГГц, используя одно ядро), я получаю это в 32-битном режиме:
MD5 411
SHA-1 218
SHA-256 118
SHA-512 46
и это в 64-битном режиме:
MD5 407
SHA-1 312
SHA-256 148
SHA-512 189
Цифры в мегабайтах в секунду для "длинного" сообщения (это то, что вы получаете для сообщений длиной более 8 кБ). Это с sphlib, библиотека реализаций хеш-функций в C (и Java). Все реализации принадлежат одному автору (мне) и были сделаны с сопоставимыми усилиями при оптимизации; таким образом, разности скоростей можно считать действительно неотъемлемой частью функций.
В качестве примера рассмотрим, что последний жесткий диск будет работать со скоростью около 100 МБ/с, а что-то по USB будет ниже 60 МБ/с. Несмотря на то, что SHA-256 выглядит "медленным" здесь, он достаточно быстр для большинства целей.
Обратите внимание, что OpenSSL включает 32-битную реализацию SHA-512, которая намного быстрее, чем мой код (но не так быстро, как 64-битный SHA-512), поскольку реализация OpenSSL находится в сборке и использует регистры SSE2, что невозможно сделать на простом C. SHA-512 является единственной функцией среди тех четырех, которые выигрывают от реализации SSE2.
Изменить: на на этой странице, можно найти отчет о скорости многих функций хэша (нажмите "Telechargez maintenant" ). Отчет находится на французском языке, но в основном он заполнен таблицами и цифрами, а номера являются международными. Реализованные хэш-функции не включают кандидатов SHA-3 (кроме SHABAL), но я над этим работаю.
В моем MacBook Air 2012 (Intel Core i5-3427U, 2x 1.8 ГГц, 2.8 ГГц Turbo), SHA-1 немного быстрее, чем MD5 (с использованием OpenSSL в 64-разрядном режиме):
$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k
sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k
Обновление: 10 месяцев спустя с OS X 10.9, SHA-1 стал медленнее на той же машине:
$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k
sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k
Второе обновление: В OS X 10.10 скорость SHA-1 возвращается к уровню 10.8:
$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k
sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k
Реальный ответ: Это зависит
Есть несколько факторов, которые следует учитывать, наиболее очевидными являются: процессор, на котором вы выполняете эти алгоритмы и на реализацию алгоритмов.
Например, я и мой друг запускают ту же самую версию openssl и получают несколько разные результаты с помощью различных процессоров Intel Core i7.
Мой тест на работе с процессором Intel (R) Core (TM) i7-2600 @3,40 ГГц
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k
sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k
И его с процессором Intel (R) Core (TM) i7 920 @2,67 ГГц
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k
sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k
Мы оба выполняем те же самые двоичные файлы OpenSSL 1.0.1j 15 октября 2014 года из официального пакета ArchLinux.
Мое мнение об этом заключается в том, что с добавленной безопасностью sha1 разработчики cpu с большей вероятностью улучшат скорость sha1, и больше программистов будут работать над оптимизацией алгоритма, чем md5sum.
Я предполагаю, что md5 больше не будет использоваться когда-нибудь, так как кажется, что он не имеет преимущества перед sha1. Я также тестировал некоторые случаи на реальных файлах, и результаты всегда были одинаковыми в обоих случаях (вероятно, ограничены дисковыми вводами/выводами).
md5sum большого файла объемом 4,6 ГБ занимает то же самое время, что и sha1sum того же файла, то же самое относится ко многим небольшим файлам (488 в том же каталоге). Я провел тесты десятки раз, и они последовательно получали одинаковые результаты.
-
Было бы очень интересно исследовать это дальше. Я думаю, есть несколько экспертов, которые могли бы дать твердый ответ на вопрос, почему sha1 становится быстрее, чем md5 на новых процессорах.
MD5 также выигрывает от использования SSE2, проверьте BarsWF, а затем скажите мне, что это не так. Все, что требуется, - это небольшое знание ассемблера, и вы можете создавать свои собственные MD5 SSE2 (ы). Однако при больших объемах пропускной способности есть компромисс скорости во время хэширования, а не время, затрачиваемое на переупорядочивание входных данных, совместимых с используемыми инструкциями SIMD.
sha1sum немного быстрее на Power9, чем md5sum
$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux
$ cat /proc/cpuinfo
processor : 0
cpu : POWER9, altivec supported
clock : 2166.000000MHz
revision : 2.2 (pvr 004e 1202)
$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar
$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563 linux-master.tar
real 0m1.685s
user 0m1.528s
sys 0m0.156s
$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4 linux-master.tar
real 0m2.942s
user 0m2.806s
sys 0m0.136s
$ time sum linux-master.tar
36928 810240
real 0m2.186s
user 0m1.917s
sys 0m0.268s