• Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
    Как создать robots.txt:
    - В текстовом редакторе создайте файл с именем robots.txt и заполните его в соответствии с представленными ниже правилами.
    - Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).
    - Загрузите файл в корневую директорию вашего сайта.
    Для каждого поисковика существуют свои правила заполнения.
    Подробнее о правилах Яндекс : Правила Яндекс