Как разрешить поисковым роботам правильно индексировать страницы с бесконечным прокруткой?

У меня есть веб-сайт, на котором я реализую бесконечную прокрутку: когда пользователь достигает конца страницы, выполняется вызов AJAX, а новый контент прикрепляется к нижней части страницы. Это, однако, означает, что все содержимое после первого "разрыва страницы" недостижимо поисковыми искателями. Например, у меня есть страница, в которой перечислены все элементы с тегом "инфографика". На самом деле существует несколько десятков таких предметов, но сканеры могут видеть только первые 10, потому что другие элементы загружаются в зависимости от положения содержимого относительно окна браузера. Поскольку обходчики не имеют окон браузера, новые элементы не загружаются вообще.

Каков правильный способ, чтобы позволить поисковым роботам получить доступ к полному содержимому веб-страниц с бесконечным прокруткой, а также позволить пользователям наслаждаться бесконечным прокруткой и отсутствием разбивки на страницы?

Ответ 1

Сделать страницу "Просмотр всех"

Создайте другую страницу со всем, что указано на ней, и со ссылками на элементы, которые содержатся на странице с бесконечным прокруткой. Затем поместите небольшое звено (возможно, на самом дне) бесконечной страницы прокрутки с именем all whatever. Другими словами, если ваша страница является листингом продуктов, ссылка должна сказать Show All Products или аналогичный. Если страница - это статьи в блоге, ссылка должна быть чем-то вроде All Articles. Да, людям может не понравиться длинная нагрузка, но для Google это не имеет значения, что он большой. Он будет загружать его и обычно следовать за ссылками в нем.

Кроме того, если ваша разбивка на страницы повторяется через десятки тысяч предметов, вы можете сломать свою "View All Page" в разделах, похожих на то, как работает блог-блог или работает каталог продуктов. Дело в том, что вы предоставляете альтернативные средства для людей без javascript и те, которые действительно хотят видеть все и в то же время также для Google и даже других поисковых систем для сканирования ваших ресурсов страниц.

Наконец, в качестве вторичной меры добавьте файл /sitemap.xml, который имеет индекс каждой статьи/продукта/инвентаря или что-то еще. См. http://www.sitemaps.org/

Вы можете посмотреть официальное видео Google для веб-мастеров под названием Pagination and SEO, о представлении всей концепции, разбиении на страницы, канонических URL и Google rel= next и rel= prev.

http://www.youtube.com/watch?v=njn8uXTWiGg

Ответ 2

По линии изящная деградация, вы не должны полагаться на JavaScript для чего-то столь же важного, как разбиение на страницы. Я бы, вероятно, сначала применил обычную систему разбиения на страницы (что могут индексировать поисковые системы), а затем использовать JS, чтобы скрыть ссылки на страницы и реализовать бесконечное решение прокрутки.

Ответ 3

Правильный способ - разрешить не-js-pagination. Обычно то, что делают большинство веб-сайтов, это вставить кнопку разбиения на страницы в нижней части фида. По мере того, как пользователь прокручивается вниз, автоматическое разбиение на страницы запускается из действия кнопки в нижней части фида, которое может быть скрыто, когда это происходит. Это означает, что элемент html из документа запускает автоматическое разбиение на страницы, это не чистый javascript. Если эта кнопка является, скажем, тегом привязки, который также предоставляет html, тогда веб-гуру будут иметь доступ к нему. И здесь вводится концепция изящного деградации, упомянутая @Victor Stanciu: всегда предоставляйте ответный ответ HTML на ваш стандартный ответ JS.

Ответ 4

Просто взгляните на это: https://developers.google.com/webmasters/ajax-crawling/?hl=de. Вот также хорошее объяснение: http://coding.smashingmagazine.com/2011/09/27/searchable-dynamic-content-with-ajax-crawling/

Ответ 5

также - чем больше контента у вас есть на данной странице, тем меньше сканеры будут взвешивать каждое слово, так что вы можете не получать хитов со слишком большим количеством контента на каждой странице.

Скорее всего, работа с нормальным разбиением на страницы и дружественные URL-адреса, как и exizt, также предлагается.

Ответ 6

Пока это звучит как хорошая идея, я вижу, что это негативно влияет на ваш пейджер. Объем информации, которую должен был пройти искатель, приведет к падению ранга ссылок в контенте, что делает исходную точку в письме искателем там бесполезным.

Многое из того, что вы хотите, должно быть сделано с вашей картой сайта и метатегами. Пока сканеры могут получать доступ к контенту через отдельные вызовы страниц, вы должны быть в порядке.