Могу ли я помешать поисковым системам индексировать весь каталог на моем веб-сайте?

У меня есть промежуточный сайт, который я использую для создания новых функций, изменений и контента на моем фактическом веб-сайте.

Я не хочу, чтобы это индексировалось, но я надеюсь на решение немного легче, чем добавлять ниже к каждой странице моего сайта:

<meta name="robots" content="noindex, nofollow">

Могу ли я сделать это способом, похожим на то, как я добавил пароль в домен с помощью файла .htaccess?

Ответ 1

Для этого предназначен стандарт robots.txt. Пример

User-agent: *
Disallow: /protected-directory/

Поисковые системы будут подчиняться этому, но, конечно, контент все равно будет опубликован (и, вероятно, более легко обнаружить, если вы поместите URL-адрес в файл robots.txt), поэтому защита паролем через .htaccess также является вариантом.

Ответ 2

Вы хотите файл robots.txt

Файл должен находиться в корне сервера, а содержимое должно быть чем-то вроде:

User-agent: *
Disallow: /mybetasite/

Это будет вежливо просить службы индексирования поиска не индексировать страницы под этим каталогом, которые будут уважать все поисковые системы.

Ответ 3

Действительно, robots.txt в корне сайта - путь. Чтобы добавить несколько записей (как предлагает OP), сделайте следующее:

User-agent: *
Disallow: /test_directory_aaa/
Disallow: /test_directory_bbb/
Disallow: /test_directory_ccc/

Или, чтобы взять маршрут .htpasswd:

В .htaccess добавьте:

AuthType Basic
AuthName "Marty test directory"
AuthUserFile /test_directory_aaa/.htpasswd
AuthUserFile /test_directory_bbb/.htpasswd
AuthUserFile /test_directory_ccc/.htpasswd
require valid-user

В .htpasswd добавьте:

username1:s0M3md5H4sh1
username2:s0M3md5H4sh2
username3:s0M3md5H4sh3

Ответ 4

Создайте файл Robots.txt в каталоге public_html.

Вставьте в него следующий код:

    User-agent: * 
    Disallow: /foldername/

имя_папки - это имя каталога, который вы хотите заблокировать

Ответ 5

Поместите следующий код в robot.txt, который должен находиться в корневом каталоге, чтобы отказаться от индексации всего вашего сайта.

User-agent: *
Disallow: /

Ответ 6

Блок конкретных файлов для SEO: Чтобы указать совпадение конца URL-адреса, используйте $. Например, чтобы заблокировать любые URL-адреса, которые заканчиваются на .xls:

Пользовательский агент: * Disallow:/*. Xls $

Ref: http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic