Почему поисковые роботы не запускают javascript?

Я работал с некоторыми продвинутыми приложениями javascript, используя множество аякс-запросов для рендеринга моей страницы. Чтобы сделать сканирование приложений (Google), я должен следовать https://developers.google.com/webmasters/ajax-crawling/?hl=fr. Это говорит нам о том, чтобы сделать что-то вроде: перепроектирование наших ссылок, создание снимков html,..., чтобы сделать сайт доступным для поиска.

Интересно, почему сканеры не запускают javascript для получения отображаемой страницы и индексации на нем. Есть ли причина этого? Или это недостающая особенность поисковых систем, которые могут появиться в будущем?

Ответ 1

Несмотря на то, что GoogleBot фактически обрабатывает сайты, написанные в js. Большая проблема с сайтами ajax заключается в том, что даже если GoogleBot может выполнять js и обрабатывать запросы ajax.

Невозможно, чтобы веб-искатель узнал, когда страница закончила загрузку. По этой причине веб-искатель может загружать страницу и индексировать страницу до того, как она начнет выполнять ajax-запросы. Скажем, script будет выполнен на странице прокрутки. Очень вероятно, что бот Google не будет запускать все возможные события.

Другая проблема заключается в навигации

Так как навигация может быть выполнена без перезагрузки страницы, один URL-адрес может отображать несколько "результатов просмотра". По этой причине google просит разработчиков сохранить копию страниц с использованием статических страниц для поддержки тех страниц, которые были бы недоступны в противном случае. Они будут проиндексированы.

Если ваш сайт может иметь каждую страницу, доступную через полный URL-адрес. Тогда у вас не должно быть проблем с индексированием вашего сайта.

Тем не менее, скрипты будут запущены. Но он не уверен, что искатель будет индексировать страницу после завершения обработки всех скриптов.

Здесь ссылка:

GoogleBot умнее: он был написан в 2010 году, и мы можем ожидать, что веб-браузеры стали намного умнее с тех пор.

Ответ 2

Чтение чистого HTML - это способ быстрее, чем ожидание/вызов функций javascript и т.д., а затем уведомление, как настроить страницу. Я думаю, что главная причина.

Другим может быть то, что вся обходная система автоматизирована - поэтому, опять же, чтение статической страницы намного проще и имеет гораздо больший смысл. Как и в javascript, содержимое страницы может меняться каждую секунду и т.д., Что делает искатель "запутанным"

Считается, что это еще не реализовано в поисковых системах, я думаю, что это не произойдет в ближайшем будущем.

Ответ 3

Сложнее читать страницы со сценариями для искателей, потому что речь идет о динамически меняющемся контенте. И сканеры заботятся не только о первом посещении сайта, они перепроверяют индексированные страницы каждую неделю - два в быстром режиме, просто сравнивая способ "найти 10 различий" для изменений контента и ссылок. Повторная проверка страниц со сценариями будет слишком болезненной и дорогостоящей для сканеров в мировой сети.