Вы можете проверить помощь в командной строке powershell, введя:
Get-Help about_Quoting_Rules
В нем объясняется, что обратные ссылки интерпретируются буквально в одиночных кавычках.
Поскольку содержимое строк с одной кавычкой интерпретируется буквально, вы не можете использовать символ обратного хода для принудительной интерпретации литерала в одной кавычки.