Настройка файла robots.txt

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Роботы Яндекса корректно обрабатывают robots.txt, если:

• Размер файла не превышает 500 КБ.
• Это TXT-файл с названием robots — robots.txt.
• Файл размещен в корневом каталоге сайта.
• Файл доступен для роботов — сервер, на котором размещен сайт, отвечает HTTP-кодом со статусом 200 OK.

Если файл не соответствует требованиям, сайт считается открытым для индексирования.

Яндекс поддерживает редирект с файла robots.txt, расположенного на одном сайте, на файл, который расположен на другом сайте. В этом случае учитываются директивы в файле, на который происходит перенаправление. Такой редирект может быть удобен при переезде сайта.

Яндекс поддерживает следующие директивы:

• User-agent - Указывает на робота, для которого действуют перечисленные в robots.txt правила. Является обязательной дерективой
• Disallow - Запрещает обход разделов или отдельных страниц сайта
• Sitemap - Указывает путь к файлу Sitemap, который размещен на сайте
• Clean-param - Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании
• Allow - Разрешает индексирование разделов или отдельных страниц сайта
• Crawl-delay - Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей

Чаще всего необходимы директивы Disallow, Sitemap и Clean-param. Например:

User-agent: * #указывает, для каких роботов установлены директивы

Disallow: /bin/ # запрещает ссылки из "Корзины с товарами".

Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска

Disallow: /admin/ # запрещает ссылки из панели администратора

Sitemap: http://example.com/sitemap # указывает роботу на файл Sitemap для сайта

Clean-param: ref /some_dir/get_book.pl

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Вы можете заказать настройку файла robots.txt для вашего сайта у нас. Стоимость разовых работ для SEO от 3 370 руб. Уточняйте стоимость разовых работ для вашего сайта в нашем отделе продаж.