Google бот просматривает сайт AngularJS с помощью маршрутов режима HTML5

Ответ 1

Я постараюсь ответить на ваши вопросы, основываясь на нашем опыте за последний месяц разработки SPA с режимом HTML5.

Как я могу использовать Googlebot? _escaped_fragment_ = вместо прямых ссылок.

Это на самом деле довольно просто, но легко пропустить. Фактически, есть два разных способа заставить робота Googlebot попробовать escaped_fragment. Первый способ - запустить ваш сайт в режиме, отличном от html5. Это означает, что ваши URL-адреса будут иметь форму:

http://my.domain.com/base/#!some/path/on/website

Googlebot распознает #! и делает второй звонок на ваш сервер с измененным URL-адресом:

http://my.domain.com/base/?_escaped_fragment_=some/path/on/website

Что вы можете обрабатывать по своему усмотрению. Второй способ заставить Googlebot попробовать режим _escaped_fragment_ - включить следующий метатег на индексную страницу, которую вы передаете боту:

<meta name="fragment" content="!">

Это заставит googlebot проверять другую версию веб-страницы каждый раз, когда она увидит тег. Интересно, что вы можете использовать обе эти методы вместе, или вы можете делать то, что мы закончили, работая в режиме html5 с помощью метатега. Это означает, что ваши URL-адреса будут экранированы следующим образом:

http://my.domain.com/base/some/path/on/website?_escaped_fragment_=

Интересно, что бот ничего не поместит в конце фрагмента. Но в зависимости от того, какой веб-сервер вы используете, вы можете легко сопоставить это с шаблоном, соответствующим тексту "_caped_fragment_", на вашу альтернативную ботовую страницу. Для получения дополнительной информации об экранированном фрагменте перейдите здесь.

"Fetch as Googlebot" возвращает две разные версии моей страницы, источник с {{}} и визуализированная страница выглядят правильно. Что это значит?

Google Bots может фактически интерпретировать JavaScript в ограниченной степени с начала 2014 года. Для получения дополнительной информации прочитайте официальную запись в блоге на веб-мастерах Google здесь. Однако, как ясно видно в блоге, это связано с большим количеством оговорок. Например:

• Googlebot не гарантирует выполнение всех javascript-кода.
• Googlebot попытается найти ссылки в javascript для последующего использования и использовать их для поиска других страниц.
• Googlebot отобразит предварительный просмотр в инструментах веб-мастеров, выполнив как можно больше javascript (таким образом, отсутствие {{}} в рендеринговой версии).
• Googlebot не обязательно будет использовать предоставленную версию, чтобы создать метаинформацию о вашем сайте для своего индекса.

По состоянию на 18/12/2014, мы по-прежнему не уверены, что Googlebot может фактически извлечь любую информацию из SPA в режиме рендеринга для своего индекса за пределами поиска ссылок, чтобы следовать в javascript. По нашему опыту, Googlebot будет включать {{}} в свой индексный список, чтобы при использовании {{}} для заполнения метаинформации (описание, ключевые слова, название и т.д.) Ваш сайт выглядит так в Google Поиске результаты:

{{meta.siteTitle}}
http://my.domain.com/base/some/path/on/website
{{Meta.description}}

а не то, что вы ожидаете, что может выглядеть так:

Домен
http://my.domain.com/base/some/path/on/website
Это случайная страница в моем домене. Отличная страница примера, чтобы быть уверенным!

Ответ 2

GoogleBot для поисковой системы использует _escaped_fragment_, но мы не можем быть уверены в других сервисах

Google рекомендует использовать снимок HTML на веб-сайте AJAX, используя параметры hashbang (#!) и _escaped_fragment_.

Но так же часто для новой функции Google все сервисы Google не поддерживают ее от попрошайничества.

Теперь, по опыту, мы уверены, что GoogleBot для индексирования веб-страницы использует моментальный снимок HTML и _escaped_fragment_. Вы можете проверить свои журналы доступа к серверу, чтобы убедиться, что Google сделал это в своем приложении.

(В настоящее время и по опыту, ничего официального с Google) другие службы, такие как PageSpeed ​​Insight, парсер инструментов для веб-мастеров, инструменты тестирования Richsnippet и т.д.: hasbang (#!) не поддерживается. Вы должны использовать _escaped_fragment _.

Должны ли вы использовать обнаружение агента пользователя для обслуживания моментального снимка HTML?

Нет. Только не надо. По разным причинам:

• Вы просто не знаете, какие службы/боты в Интернете хотели бы проанализировать ваш контент, и вы не можете быть исчерпывающим (например, подумайте обо всех социальных сетях, существующих в Интернете, используя Bot, чтобы создать фрагмент вашего контента: вы не можете обрабатывать их один за другим)
• Это можно рассматривать как cloacking: обслуживание другой версии в зависимости от типа пользователя по одному URL-адресу, что в основном неверно для SEO.

Ответ 3

Google ищет #! в наших URL-адресах, а затем берет все после #! и добавляет его в параметр запроса _escaped_fragment _. Некоторые разработчики создают базовые html-страницы с реальными данными и обслуживают эти страницы со стороны сервера во время обхода. Итак, почему бы нам не сделать те же страницы с PhantomJS на стороне сервиса, которая имеет _escaped_fragment _. Для более подробной информации, пожалуйста, прочтите blog.

Ответ 4

Возможно, немного устарел, но для полноты:

В соответствии с инструкцией от 23 мая 2014 года бот Google теперь может "видеть ваш контент больше похожим на современные веб-браузеры".

В соответствии с их с 14 октября 2015 г. Google не рекомендовал схему обхода AJAX.

Поэтому использование API истории HTML5 (html5mode в angular) не должно быть проблемой для Google.