Событие отслеживания поисковых роботов. Файл robots.txt

Еще одно дополнительное и удобное средство оптимизации - наличие в системе события 'sys_user_events_robot', которое позволяет отслеживать перемещение поисковых роботов по сайту.

Проследить работу этого события можно в панели управления в меню Статистика-Посещение сайта.

robots.txt — это файл ограничения доступа к содержимому роботам на http-сервере. Обычно файл находится в корне сайта (то есть имеет путь относительно имени сайта /robots.txt), но при специфических установках можно располагать его и в отдельных подкаталогах.

Внутри файла robots.txt находятся директивы, которые "говорят" роботам поисковых систем, какие каталоги можно индексировать, а какие - нет.

Эти директивы имеют вид:

< поле >:< необязательный пробел >< значение >< необязательный пробел >

Здесь поле — это либо User-agent, либо Disallow.

User-agent - обеспечивает доступ к сайту всех поисковых агентов.

Disallow - запрещает доступ к определенному разделу сайта. Например, запись Disallow: /about запретит доступ к каталогу /about.