Я не хочу, чтобы поисковые системы индексировали мою страницу отпечатка. Как я могу это сделать?
Как запретить поисковым системам индексировать одну страницу моего сайта?
Ответ 1
Вам нужен простой robots.txt файл. В принципе, это текстовый файл, который сообщает поисковым системам не индексировать определенные страницы.
Вам не нужно включать его в заголовок страницы; до тех пор, пока он находится в корневом каталоге вашего сайта, он будет подхвачен сканерами.
Создайте его в корневой папке вашего сайта и поместите следующий текст в:
User-Agent: *
Disallow: /imprint-page.htm
Обратите внимание, что вы заменили бы imprint-page.html в примере фактическим именем страницы (или каталога), которую вы хотите сохранить от индексации.
Что это! Если вы хотите получить более продвинутый, вы можете проверить здесь, здесь или здесь для получения дополнительной информации. Кроме того, вы можете найти бесплатные инструменты онлайн, которые будут генерировать для вас robots.txt файл (например, здесь).
Ответ 2
Также вы можете добавить следующий метатег в HEAD этой страницы
<meta name="robots" content="noindex,nofollow" />
Ответ 3
Вы можете настроить файл robots.txt, чтобы попытаться указать поисковым системам игнорировать определенные каталоги.
В принципе:
User-agent: *
Disallow: /[directory or file here]
Ответ 4
В настоящее время лучший способ - использовать метатег роботов и установить для него значение noindex,follow:
<meta name="robots" content="noindex, follow">
Ответ 5
<meta name="robots" content="noindex, nofollow">
Просто включите эту строку в свой тег <html> <head>. Почему я говорю вам это, потому что если вы используете файл robots.txt, чтобы скрыть ваши URL-адреса, которые могут быть страницами входа или другими защищенными URL-адресами, которые вы не увидите кому-то другому или поисковым системам.
Я могу просто получить доступ к файлу robots.txt непосредственно с вашего сайта и узнать, какие у вас есть секретные URL. Тогда какова логика этого файла robots.txt?
Хороший способ - включить метатег сверху и сохранить себя в безопасности от кого-либо.
Ответ 6
Создайте файл robots.txt и установите там элементы управления.
Вот документы для google: http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
Ответ 7
Робот хочет отобразить URL веб-сайта, скажем http://www.example.com/welcome.html. Прежде чем он это сделает, он сначала проверяет http://www.example.com/robots.txt и находит: вы можете явно запретить:
User-agent: *
Disallow: /~joe/junk.html
пожалуйста, перейдите по ссылке ниже. robots.txt
Ответ 8
Об этом много раз говорили, но я хочу поделиться преимуществом.
Вместо запрета через robots.txt лучше разместить следующий метатег
<meta name="robots" content="noindex, follow">
Это потому, что, как было видно, Google иногда индексирует страницу, даже если она запрещена с помощью файла роботов, но метатеги обеспечивают лучший результат.