Быстрый переход

Robots.txt

Редактируем файл Robots.txt

ВАЖНО: раздел для продвинутых пользователей.

Robots.txt (стандарт исключений для роботов) — это файл ограничения доступа поисковым роботам к содержимому на https-сервере.

Файл состоит из набора инструкций для поисковых систем, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

В поле «Содержание» вводим записи файла.

... Редактировать файл Robots.txt

Robots.txt поддерживает следующие директивы:

  • User-agent— Указывает на робота, для которого действуют перечисленные в robots.txt правила.
  • Disallow — запрещает индексирование разделов или отдельных страниц сайта.
  • Sitemap — указывает путь к файлу Sitemap, который размещен на сайте.
  • Clean-param — указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
  • Allow — разрешает индексирование разделов или отдельных страниц сайта.
  • Crawl-delay — задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.