Несколько файлов Sitemap: записи в файле robots.txt?

Я искал с помощью Google, но я не могу найти ответ на этот вопрос.

Файл robots.txt может содержать следующую строку:

Sitemap: http://www.mysite.com/sitemapindex.xml

но можно ли указать несколько файлов индекса sitemap в файле robots.txt и заставить поисковые системы распознать это и обследовать ВСЕ файлы Sitemap, на которые ссылаются в каждом файле индекса sitemap? Например, будет ли это работать:

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml

Ответ 1

Их можно написать, но поисковая система знает, что с ним делать. Я подозреваю, что многие поисковые системы будут либо "переваривать" все больше токенов, либо, альтернативно, взять последнюю карту сайта, которую они считают реальной.

Я предлагаю, чтобы вопрос был "если я хочу, чтобы ____ поисковая система индексировала мой сайт, смогу ли я определить несколько файлов Sitemap?"

Ответ 2

Да, возможно, несколько файлов sitemap-index:

У вас может быть более одного файла индекса Sitemap.

Выделите меня.

Да, вы можете перечислить несколько файлов sitemap в robots.txt, см. также на сайте sitemap.org:

Вы можете указать более одного файла файла Sitemap в файле robots.txt.
Sitemap: http://www.example.com/sitemap-host1.xml

Sitemap: http://www.example.com/sitemap-host2.xml

Выделите меня, это не может быть неверным, я бы сказал, так просто сказал, что это можно сделать.

Это также необходимо для кросс-подач, для которых btw. выбрано значение robots.txt.

Btw Google, Yahoo и Bing, все участники sitemaps.org:

Карта сайта 0.90 предлагается в соответствии с лицензией Creative Commons License Attribution-ShareAlike и имеет широкое распространение, включая поддержку от Google, Yahoo!, и Microsoft.

Таким образом, вы можете быть уверены, что ваши записи в файле Sitemap будут правильно прочитаны ботами поисковой системы.

Отправка их с помощью инструментов для веб-мастеров также не может повредить - как прокомментировал Джон Мюллер .

Ответ 3

Если ваша карта сайта превышает 10 МБ (несжатая) или содержит более 50 000 записей, Google требует, чтобы вы использовали несколько файлов Sitemap в комплекте с файлом индекса Sitemap.

Использование файлов индекса Sitemap (для группировки нескольких файлов Sitemap)

В вашем файле robots.txt указывается индекс файла Sitemap, который должен выглядеть следующим образом:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>