Я запускаю сайт с большим количеством контента, но немного трафика, на выделенном сервере средней дороги.
Иногда робот Googlebot наносит нам ущерб, в результате чего Apache максимизирует свою память и вызывает сбой сервера.
Как я могу избежать этого?
Вы можете настроить способ сканирования вашего сайта с помощью инструментов Google для веб-мастеров. В частности, взгляните на эту страницу: Изменение скорости обхода Google
Вы также можете ограничить страницы, которые поисковые роботы Google используют в файле robots.txt. Для crawl-delay есть параметр, но, похоже, он google не выполнил.
Зарегистрируйте свой сайт с помощью Инструментов Google для веб-мастеров, который позволяет вам установить, как часто и сколько запросов в секунду googlebot следует пытаться индексировать ваш сайт. Инструменты Google для веб-мастеров также могут помочь вам создать файл robots.txt, чтобы уменьшить нагрузку на ваш сайт.
Обратите внимание, что вы можете установить скорость сканирования с помощью Инструментов Google для веб-мастеров (в разделе "Настройки сайта" ), но они соблюдают только шесть месяцев! Поэтому вы должны войти в систему каждые шесть месяцев, чтобы снова установить его.
Этот параметр был изменен в Google. Настройка сохраняется только в течение 90 дней (3 месяца, а не 6).
Вы можете настроить скорость обхода в инструментах для веб-мастеров Google.
Чтобы ограничить скорость сканирования:
На домашней странице консоли поиска щелкните нужный сайт.
Нажмите значок шестеренки "Настройки", затем нажмите "Настройки сайта".
В разделе Скорость сканирования выберите нужный параметр, а затем ограничьте скорость сканирования по своему усмотрению.
Новая скорость сканирования будет действительна в течение 90 дней.