Отключить хеш-рандомизацию из программы python

Начиная с Python 3.3, алгоритм хеширования недетерминированно salted, чтобы избежать определенного вида атаки. Это хорошо для веб-серверов, но это боль при попытке отладки программы: каждый раз, когда я запускаю свой script, содержимое dict повторяется в другом порядке.

В некоторых более ранних версиях python был флаг -R для включения хеш-рандомизации, но теперь, когда это поведение по умолчанию, флаг не был заменен его противоположностью. Рандомизация может быть отключена установкой переменной окружения PYTHONHASHSEED:

PYTHONHASHSEED

Если эта переменная не задана или не задана случайной, случайное значение используется для семени хэшей объектов str, bytes и datetime.
Если значение PYTHONHASHSEED установлено на целочисленное значение, оно используется как фиксированное семя для генерации хеша() типов, охватываемых хэш-рандомизацией.

Ловушка заключается в том, что эта переменная должна быть установлена перед запуском процесса python. Я попытался установить его с помощью os.putenv() или в os.environ, но они, похоже, не влияют на метод хэширования. Это не слишком удивительно: я бы не ожидал, что python проверит среду перед каждым набором или поиском словаря! Итак, остается вопрос:

Есть ли способ для программы python отключить собственную хэш-рандомизацию?

Ответ 1

Я подозреваю, что это невозможно, к сожалению. Глядя на test_hash.py, класс HashRandomizationTests и его потомки были добавлены в фиксацию, которая ввела это поведение, Они проверяют поведение хэширования, изменяя среду и запуская новый процесс с явным набором PYTHONHASHSEED. Вы могли бы попытаться скопировать этот шаблон, возможно.

Я также заметил, что вы сказали: "Каждый раз, когда я запускаю свой script, содержимое dict повторяется в другом порядке". - Я предполагаю, что вы знаете collections.OrderedDict, правильно? Это обычный способ получить надежную итерацию хеширования.

Если вы хотите установить значение в среде оболочки, вы также можете просто обернуть свой вызов python в bash script, например.

#! /bin/bash
export PYTHONHASHSEED=0

# call your python program here

Это позволяет избежать необходимости манипулировать всей вашей средой, если вы в порядке с оберткой script.

Или просто просто передайте значение в командной строке:

$ PYTHONHASHSEED=0 python YOURSCRIPT.py

Ответ 2

Помимо порядка словаря, рандомизация хэшей также может нарушить существующий код, который напрямую использует hash(). Обходной путь, который решил проблему для меня в этом случае, должен был заменить

hash(mystring)

int(hashlib.sha512(mystring).hexdigest(), 16)

Для Python 3 для стандартных строк потребуется преобразование типа 'mystring.encode(' utf-8 '). (Я работал с байтовыми строками.)

Обратите внимание, что диапазон чисел и наличие отрицательных чисел различны. Последний код дает гораздо больший диапазон чисел, и коллизии хэшей крайне маловероятны.

Чтобы воспроизвести тот же 64-битный диапазон, что и в hash(), можно уменьшить количество шестнадцатеричных цифр до 16 (4 бита на цифру) и сдвинуть результат так, чтобы он начинался с наименьшего отрицательного 64-битного числа:

int(hashlib.sha256(mystring).hexdigest()[:16], 16)-2**63

В качестве альтернативы можно взять 8 байтов и использовать int.from_bytes:

int.from_bytes(hashlib.sha256(mystring).digest()[:8], byteorder='big', signed=True)