Когда вы выполняете соответствие FIPS в настройках политики безопасности Windows, вы утверждаете, что собираетесь использовать только сертифицированные FIPS алгоритмы шифрования и хэширования. MD5 не является одним из этих утвержденных алгоритмов хеширования, и поэтому возникает исключение.
Обходной путь прост: выберите другой алгоритм хэширования..NET Framework предоставляет множество других опций в System.Security.Cryptography namespace. Выберите одно из семейств алгоритмов SHA. Я не могу представить никаких причин, по которым вам придется использовать MD5, а не одну из альтернатив.