Автор - Владимир Чернышов aka Cherny
Как известно, файл robots.txt используется для запрета индексации части или всего сайта всевозможными роботами. Правильное составление этого файла позволит избежать индексации документов, для индексации не предназначенных.

Формат файла robots.txt

Robots.txt простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt неправильно).

В файле

Возможны несколько причин, по которым сайт не индексируется.

1. Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый быстрый робот у Яндекса. Если он не загружен, то добавляемая страница появляется в результатах поиска уже через 3 часа. Большинство страниц попадают в индекс не позже, чем через неделю с момента добавления. У остальных поисковиков время обновления индекса существенно больше --

N.B. Указанные в этой статье строки передаются роботами через поле User-Agent заголовка запроса и сохраняются сервером в логах. Как следствие, можно отлавливать роботов как "на лету", так и анализировать их поведение постфактум.

Почти всегда роботы не имеют возможность вычислять и передавать серверу поле Referer. Также почти всегда IP-адреса роботов со временем меняются для защиты от использования этой

Ситуация на данный момент:

• Содержимое поля Keywords учитывается поисковой машиной Яндекс и игнорируется поисковыми машинами Рамблер и Google;
• Яндекс (по утверждению разработчиков) из всего текста в этом поле учитывает только первые 50 слов. Далее выкидываются все слова, которые не встречаются в тексте страницы или Title, а также выкидываются все повторы (с точностью до флексий).

Получается логичный вывод: