Блокировка файлом robots.txt

Проверьте ваш файл robots.txt (http://www.yourdomain.com/robots.txt), чтобы понять, не блокируете ли вы доступ паукам к тем частям вашего сайта, которые они должны видеть. Эта ошибка встречается очень часто.

Инструменты Google Webmaster Tools и Bing Webmaster Tools предоставляют простые способы для того, чтобы увидеть, знают ли они о контенте, который блокируется от просмотра файлом robots.txt (рис. 10.3 и 10.4).

Рис. 10.3. Инструмент Google Webmaster Tools (ограничен файлом robots.txt)

Рис. 10.4. Инструмент Bing Webmaster Tools (блокирован REP)

Эти отчеты полезны тогда, когда у вас есть такой контент на сайте, который имеет ссылки на него (внутренние либо внешние), но поисковым движкам он не виден из-за файла robots.txt (и поэтому они не просматривают его).

Решение простое. Определите, какая строка в вашем файле robots.txt блокирует поисковые движки, и удалите ее (либо измените таким образом, чтобы контент больше не блокировался).