Я хочу, чтобы одна страница моего сайта обходилась, и никто другой.
Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для отказа от всего, но корень (индекс) веб-сайта.
# robots.txt for http://example.com/
User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Или я могу сделать это?
# robots.txt for http://example.com/
User-agent: *
Disallow: /
Allow: /under-construction
Также я должен упомянуть, что это установка WordPress, поэтому "under-construction", например, устанавливается на первую страницу. Таким образом, в этом случае он действует как индекс.
Я думаю, что мне нужно иметь http://example.com
craweld, но никаких других страниц.
# robots.txt for http://example.com/
User-agent: *
Disallow: /*
Будет ли это означать отказ от чего-либо после корня?