Я создаю две страницы на моем сайте, которые очень похожи, но служат для разных целей. Один из них - поблагодарить пользователей за комментарий, а другой - поощрять пользователей к подписке.
Мне не нужен дублированный контент, но я хочу, чтобы страницы были доступны. Могу ли я установить карту сайта, чтобы скрыть ее? Могу ли я сделать это в файле robots.txt?
Отказ выглядит следующим образом:
Запретить:/wp-admin
Как мне настроить конкретную страницу, например:
Disallow: /thank-you-for-commenting
в robots.txt
Взгляните на last.fm файл robots.txt для вдохновения.
Файлы robots.txt используют регулярные выражения для сопоставления страниц, поэтому, чтобы избежать таргетинга на большее количество страниц, чем вы планируете, вам может потребоваться добавить $в конец имени страницы:
Disallow: /thank-you-for-commenting$
Если вы этого не сделаете, вы также запретите страницу/thank-you-for-commenting-on-this-too
Это очень простая, любая страница, которую вы хотите запретить, просто укажите корневой URL этого файла или папки. Просто поместите это в свой файл robots.txt.
Disallow: /thank-you-for-commenting
Вы также можете добавить определенную страницу с расширением в файл robots.txt. В случае тестирования вы можете указать путь к тестовой странице, чтобы запретить сканирование роботов.
Примеры:
Disallow: /index_test.php
Disallow: /products/test_product.html
Disallow: /products/
Первый Disallow: /index_test.php запретит ботам сканировать тестовую страницу в корневой папке.
Второй Disallow: /products/test_product.html запретит test_product.html в папке "продукты".
Наконец, последний пример Disallow: /products/ запретит сканирование всей папки.