Я отслеживаю 404s на своих сайтах, что помогает мне обнаруживать неработающие ссылки и попытки взлома, но я недавно получал спам в журналах с этими строками в User Agent. Они, похоже, пытаются проверить родительские каталоги действительных ресурсов, но каталоги имеют особое значение для моих сайтов из-за перезаписи SEO.
Прежде чем решить, что с этим делать, я хотел бы знать, что делают эти UA и почему. Если бы это был "шум", я был бы рад полностью отказаться от этого соединения, иначе, если они сделают что-то полезное, я могу предоставить соответствующий ответ.
Я считаю, что некоторые из запросов от моих клиентов, поэтому я не могу делать ничего слишком разрушительного, насколько бы я хотел.