Метатег robots выглядит примерно так:
<meta name="robots" content="noindex, nofollow">
Как мы уже утверждали в разд. "Поставка контента и управление поисковыми пауками” главы 6, установка атрибута NoIndex говорит поисковым движкам о том, что данную страницу не разрешается включать в индекс. Понятно, что необходимо проверить, не сделали ли вы этой ошибки.
Кроме того, тег NoFollow говорит поисковым движкам о том, что не нужно передавать "сок ссылок" тем страницам, на которые есть ссылки на данной странице. Если все ссылки на вашем сайте на данный элемент контента имеют атрибут NoFollow, то вы не передаете на данную страницу никакого "сока ссылок". Это указывает поисковым движкам о том, что вы не цените данную страницу. В результате они не индексируют этот контент (если больше никто не ссылается на него без использования NoFollow).
Для исправления нужно выявить те места, где на вашем сайте есть метатеги robots, и удалить их. Обратите внимание, что значением по умолчанию для метатега robots является index, follow, так что нет необходимости применять метатег в том случае, когда вам нужно именно это значение. Просто убедитесь в том, что у вас нет таких метатегов robots, которые изменяют это значение по умолчанию.