Как создать или отредактировать файл robots.txt

      С помощью директив данного файла вы можете рекомендовать поисковым системам какие разделы (страницы) вашего сайта учитывать при индексации, а какие не индексировать, а так же указать ряд параметров управляющих индексацией вашего сайта.

      Создав его вы сможете проверить валидность директив это файла соответствующим инструментом ПС Яндекс.

 

      Сам файл вы можете создать либо вручную и закачать его в корень своего сайта по протоколу FTP, или можете указать его содержимое в соответствующей настройке Вашего сайта в CMS: Управление сайтом / Настройка сайта / Содержимое файла robots.txt

      Пример простого содержимого файла robots.txt:

      User-Agent: *
      Disallow: /forum
      Disallow: /cgi-bin
      Host: www.your.domain

      Рассмотрим подробнее:

      Строка User-Agent - содержит название поискового робота для которого следуют директивы пока не встретится следующая строка User-Agent

      Строки Disallow - Указывает перечень разделов или страниц сайта не рекомендованных для индексации вышеуказанным роботом

      Строка Host - Указывает основное зеркало сайта (обычно это адрес вашего домена с префиксом www)

      Более подробное описание директив robots.txt вы сможете найти на странице помощи веб-мастеру в ПС Яндекс.

      Как действует CMS в случае наличия файла и указания настройки robots.txt - Файл robots.txt, расположенный в корневой папке сайта,  имеет высший приоритет. Т.е если вы разместили файл на сервере, то независимо от содержимого настройки в Управлении Сайтом, в ответ на запрос ПС будет выдано именно содержимое файла. А вот если у вас отсутствует сам файл и не указано содержимое robots.txt в настройках то при запросе файла CMS вернет 404 ошибку.


На главную => Вопрос-ответ