Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не мог найти информацию о том, как пути должны быть правильно написаны для приложения Rails.
Является ли исходный путь всегда корневым путем из приложения Rails или папки приложения? Как бы я тогда запретил, например? папка img?
Должен ли я писать пути, как я вижу это в папке приложения, или как то, как пути выглядят на сайте в Интернете, например. http://example.com/admin?
вы должны поместить свою папку robots.txt в /public
и он будет выглядеть ниже
В следующем примере файла "/robots.txt" указано, что роботы не должны посещать какой-либо URL-адрес, начинающийся с "/cyberworld/map/" или "/tmp/", или /foo.html:
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html
для получения дополнительной информации см. ниже ссылки
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
и