Метатег vs robots.txt

Ответ 1

Robots.txt IMHO.

Параметр Meta tag указывает ботам не индексировать отдельные файлы, тогда как Robots.txt можно использовать для ограничения доступа ко всем каталогам.

Конечно, используйте Meta-тег, если у вас есть нечетная страница в индексированных папках, которую вы хотите пропустить, но в целом я бы рекомендовал вам большую часть вашего неиндексированного контента в одной или нескольких папках и использовать robots.txt, чтобы пропустить лот.

Нет, нет никакой проблемы при использовании обоих - если есть конфликт, в общих чертах, deny будет отменять разрешение.

Ответ 2

Есть одно существенное отличие. Согласно Google, они по-прежнему будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Тем не менее, они не будут, если они увидят метатег:

Хотя Google не будет сканировать или индексировать контент, заблокированный robots.txt, мы все равно можем найти и проиндексировать запрещенный URL из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить отображение своего URL-адреса в результатах поиска Google с помощью других методов блокировки URL-адресов, таких как защита паролем файлов на вашем сервере или использование метатега noindex или заголовка ответа.

Ответ 3

Оба поддерживаются всеми искателями, которые уважают пожелания веб-мастеров. Не все делают, но против них не хватает ни техники.

Вы можете использовать правила robots.txt для общих вещей, например, запретить целые разделы вашего сайта. Если вы скажете Disallow: /family, то все ссылки, начинающиеся с /family, не будут проиндексированы искателем.

Метатег можно использовать для запрета отдельной страницы. Страницы, запрещенные метатегами, не влияют на подстраницы в иерархии страниц. Если у вас есть тег meta disallow на /work, это не мешает поиску искателя /work/my-publications, если есть ссылка на него на разрешенной странице.

Ответ 4

Существует очень большая разница между мета-роботом и robots.txt.

В файле robots.txt мы запрашиваем сканеры, страница которых вам нужно обходить, и какой из них вы должны исключить, но мы не просим искателя не индексировать эти исключенные страницы из обхода.

Но если мы используем тег meta robots, мы можем попросить искателей поисковой системы не индексировать эту страницу. Тег, который будет использоваться для этого:

< #meta name = "имя робота", content = "noindex" > (удалить #)

ИЛИ

< #meta name = "имя робота", content = "follow, noindex" > (удалить #)

Во втором метатеге я попросил робота следовать этому URL-адресу, но не индексировать его в поисковой системе.

Ответ 5

Вот мои знания о них. Я говорю об их рабочей области. Оба мы можем использовать для блокировки контента.

Разница между ними заключается в следующем:

• Meta Robot может блокировать одну страницу с помощью некоторого фрагмента кода в заголовке сайта. Используя метатег, мы сообщаем поисковику, для какой функции мы используем метатег.
• В файле Robots.txt вы можете заблокировать весь сайт.

Вот пример мета робота:

<meta name="robots" content="index, follow"> 
<meta name="robots" CONTENT="all">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, nofollow" />
<meta name="robots" content="noindex, nofollow" />

Вот пример файла Robots.txt:

Разрешение сканерам сканировать весь веб-сайт

user-agent: *
Allow:
Disallow:

Запретить сканерам сканировать весь сайт

user-agent: *
Allow:
Disallow:/

Ответ 6

Я бы использовал robots.txt по тегу meta. Robots.txt был дольше и, возможно, получил более широкую поддержку (но я не уверен на 100%).

Что касается второй части, я думаю, что большинство пауков возьмут все, что является самым ограничивающим параметром для страницы, - если есть несоответствие между robots.txt и метатегом.

Ответ 7

Robots.txt хорош для страниц, которые потребляют много вашего обходного бюджета, например, внутреннего поиска или фильтров с бесконечной комбинацией. Если вы разрешаете Google индексировать yoursite.com/search=lalalala, он будет тратить на вас расходы на обход бюджета.

Ответ 8

meta превосходит.

Чтобы исключить отдельные страницы из индексов поисковой системы, метатег noindex на самом деле превосходит robots.txt.

Ответ 9

Вы хотите использовать "noindex, follow" в метатеге роботов, а не robots.txt, потому что это позволит сок-ссылке пройти. Это лучше с точки зрения SEO.

Ответ 10

Лучше ли использовать метатеги * или файл robots.txt для информирования пауков/сканеров о включении или исключении страницы?

Ответ: оба важны для использования, они используются для разных целей. Файл роботов используется для включения или исключения страниц или корневых файлов из индекса паука. В то время как метатеги используются для анализа страницы сайта, которая определяет ее нишу и контент на странице.

Есть ли проблемы с использованием как метатегов, так и файла robots.txt?

Ответ: оба должны быть реализованы на сайтах, чтобы пауки/сканеры поисковых систем могли индексировать или деиндексировать URL сайта.

Подробнее о работе пауков в поисковых системах читайте здесь https://www.playbuzz.com/alexhuber10/how-search-and-spider-engines-work

Ответ 11

У вас может быть любой, но если на вашем веб-сайте много веб-страниц, тогда robots.txt легко и сократит временную сложность