Есть ли способ настроить файл robots.txt, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! и пауки MSN?
Robots.txt: разрешить только крупные SE
Ответ 1
Пользовательский агент: * Запретить:/ Пользователь-агент: Googlebot Позволять:/ Пользователь-агент: Slurp Позволять:/ User-Agent: msnbot Disallow:
Slurp - робот Yahoo
Ответ 2
Почему?
Любой, кто делает зло (например, собирает адреса электронной почты для спама), просто игнорирует файл robots.txt. Таким образом, вы будете блокировать только законные поисковые системы, поскольку соответствие robots.txt является добровольным.
Но - если вы все равно настаиваете на этом, то для строки User-Agent:
в файле robots.txt.
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
С линиями для всех других поисковых систем, с которыми вы хотите трафик, конечно. Robotstxt.org имеет частичный список.
Ответ 3
Как всем известно, файл robots.txt является стандартом, которым должен обладать искатель, и, следовательно, это делают только хорошо управляемые агенты. Таким образом, это не важно.
Если у вас есть данные, которые вы также не показываете на сайте, вы можете просто изменить разрешение и повысить безопасность.