Тег <meta name="Robots" content="..."> управляет индексацией конкретной страницы. При этом роботам можно запретить не только индексацию самого документа, но и проход по имеющимся в нем ссылкам.

Тег <meta name="Robots" content="..."> управляет индексацией конкретной страницы. При этом роботам можно запретить не только индексацию самого документа, но и проход по имеющимся в нем ссылкам.