Этот сайт содержит информацию о стандарте на robots.txt и другие статьи о написании корректно себя ведущих веб-роботов.