Как я могу найти файл sitemap.xml веб-сайтов?
например Переход к stackoverflow/sitemap.xml дает мне 404.
В stackoverflow/robots.txt написано следующее:
"это технически не верно, так как по какой-то богом забытой причине пути к карте сайта должны быть АБСОЛЮТНЫМИ, а не относительными. Карта сайта: /sitemap.xml "
Я не думаю, что есть стандарт относительно местоположения файла Sitemap. Это причина, по которой вы должны указывать произвольный URL-адрес вашей карты сайта при добавлении с помощью инструментов Google для веб-мастеров.
Нет стандарта, поэтому нет никакой гарантии. С учетом сказанного, его общий для карты сайта должен быть помечен как сам по себе, так и на корне, например:
example.com/sitemap.xml
Случай чувствителен на некоторых серверах, поэтому имейте это в виду. Если его нет, посмотрите в файл robots на корне:
example.com/robots.txt
Если вы не видите его в списке файлов роботов в Google и выполните поиск:
site:example.com filetype:xml
Это ограничит результаты XML файлами в вашем целевом домене. На этом этапе его пробная ошибка и основаны на специфике веб-сайта, с которым вы работаете. Если вы получили несколько страниц результатов поисковой фразы Google выше, попробуйте еще больше ограничить результаты:
filetype:xml site:example.com inurl:sitemap
или
filetype:xml site:example.com inurl:products
Если вы все еще не можете найти его, вы можете right-click > "View Source" и выполнить поиск (aka: "control find" или Ctrl + F) для .xml, чтобы увидеть, есть ли в нем ссылка.
Расположение карты сайта влияет на URL-адреса, которые могут включать, но в противном случае нет стандарта. Вот хорошая ссылка с большим количеством объяснений: http://www.sitemaps.org/protocol.html#location
Согласно документации существует не менее трех вариантов, которые могут использовать веб-дизайнеры, чтобы сообщить местоположение sitemap.xml поисковым системам:
Итак, если они не решили опубликовать местоположение sitemap в файле robots.txt, вы не можете знать, где они разместили файлы sitemap.xml.
Используйте операторы поиска Google, чтобы найти его для вас
поиск в Google с кодом ниже..
inurl: domain.com тип файла: xml
измените domain.com на домен, который вы хотите найти карту сайта. это должно перечислить все xml файлы, перечисленные для данного домена.. включая все файлы Sitemap :)