Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.
Что такое robots.txt? Как его составлять. <BR>Информация о стандарте robots.txt и описание работы с ним.