Есть ли код состояния HTTP, чтобы сообщить Google (и другим) уйти, индексировать меня позже?
В принципе, тот, который семантически сообщает клиентам, что сайт не работает для обслуживания?
Те, которые я рассмотрел,
304 => Not modified
307 => Temporary redirect
410 => Gone
503 => Service Unavailable
Я склоняюсь к последней, но мне было любопытно, какой из них был правильным выбором.
HTTP 503 будет наиболее подходящим:
Веб-сервер (работающий на веб-сайте) в настоящее время не может обрабатывать HTTP-запрос из-за временной перегрузки или обслуживания сервера. Подразумевается, что это временное условие, которое будет смягчено после некоторой задержки.
Эта публикация на Центральном форуме Google Webmaster также актуальна:
Да - 503 - правильный ответ сервера для "Мы закрыты". Если вы замените обычную HTML-страницу, в которой говорится: "Мы закрыты" и обслуживаем 200, она, скорее всего, будет проиндексирована Google.
Если вы дадите роботу Googlebot 503, он просто уйдет и вернется позже, не указав, что вы ему даете.
UPDATE:
Что касается реализации php, вы можете быть заинтересованы в проверке следующей статьи:
Также обратите внимание на заголовок retry-after, где вы можете указать, сколько секунд потребуется повторить попытку другого запроса.
От http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40132
503 (услуга недоступна) Сервер в настоящее время недоступен (потому что он перегружен или недоступен для обслуживания). Как правило, это временное состояние.
Я считаю, что 503 является наиболее подходящим, поскольку 5xx-группа предназначена для серверных ошибок в целом.
503 Услуга недоступна