Robots.txt (стандарт исключений для роботов) — это файл ограничения доступа поисковым роботам к содержимому на https-сервере.

Файл состоит из набора инструкций для поисковых систем, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

В поле «Содержание» вводим записи файла.

...

Robots.txt поддерживает следующие директивы:

• User-agent— Указывает на робота, для которого действуют перечисленные в robots.txt правила.
• Disallow — запрещает индексирование разделов или отдельных страниц сайта.
• Sitemap — указывает путь к файлу Sitemap, который размещен на сайте.
• Clean-param — указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
• Allow — разрешает индексирование разделов или отдельных страниц сайта.
• Crawl-delay — задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.