Вручную добавьте карту сайта, расположенную в s3, в инструменты Google для веб-мастеров

У меня есть приложение, работающее в Heroku. Я использую sitemap_generator для создания файла Sitemap и сохранения его в s3. Я добавил файл robots.txt, чтобы содержать местоположение моего сайта.

Мой вопрос.

Как я могу узнать, что карта сайта успешно найдена поисковой системой, например google?

Как я могу отслеживать карту сайта?

Если моя карта сайта находится на моем сервере приложений, я могу добавить файл Sitemap вручную в инструменты для веб-мастеров Google для мониторинга. Потому что, когда я нажимаю "Test/Add sitemap" в инструментах для веб-мастеров Google, по умолчанию этот же сервер.

Спасибо за вашу помощь.

Ответ 1

Я получил его для работы.

В Google есть что-то вроде перекрестного представления: http://googlewebmastercentral.blogspot.com/2007/10/dealing-with-sitemap-cross-submissions.html

Возможно, вы захотите посетить этот блог: http://stanicblog.blogspot.sg/2012/02/how-to-add-your-sitemap-file-located-in.html

Спасибо за вашу помощь, yacc.

Ответ 2

Позвольте мне ответить на ваши два первых вопроса, по одному (я не уверен, что вы подразумеваете под "как я могу контролировать свою карту сайта", поэтому я пропущу ее):

Вручную отправьте файл Sitemap в Google

Если вы не можете использовать форму Google для веб-мастеров, чтобы отправить свою карту сайта, используйте запрос HTTP-запроса, чтобы уведомить Google о вашей новой карте сайта.

Если ваша карта сайта находится в https://s3.amazonaws.com/sitemapbucket/sitemap.gz, первый URL-адрес кодирует URL вашей карты сайта (вы можете использовать этот онлайн-адрес URL-кодировщик/декодер для этого), затем используя curl или wget для отправки вашего закодированного URL в Google:

curl www.google.com/webmasters/tools/ping?sitemap=https%3A%2F%2Fs3.amazonaws.com%2Fsitemapbucket%2Fsitemap.gz

Если ваш запрос будет успешным, вы получите ответ 200 с таким сообщением:

... cut ...
<body><h2>Sitemap Notification Received</h2>
<br>
Your Sitemap has been successfully added to our list of Sitemaps to crawl. 
... cut ...

Проверка того, что Google знает о вашей новой карте сайта

Откройте Инструменты для веб-мастеров, перейдите к Конфигурация сайтa > Sitemaps, там вы увидите файлы Sitemap, которые вы отправили. Иногда может появиться новая карта сайта, поэтому часто проверяйте ее.