Инструменты поисковых движков

Все эти проблемы легко диагностировать как в Google Webmaster Tools, так и в Bing Webmaster Tools. На рис. 9.33 показана страница Crawl Issues инструмента Bing WMT.

Рис. 9.33. Страница Crawl Issues в Bing

Вы видите, что Bing дает данные по страницам с кодом 404, по страницам, которые блокированы протоколом REP (это аббревиатура для названия протокола Robots Exclusion Protocol), по динамическим URL, которые могут создавать трудности для Bing, по зараженным вредоносным программным обеспечением страницам, а также по неподдерживаемым типам контента.

Google предоставляет аналогичные данные, но в них имеются значительные отличия (рис. 9.34).

Рис. 9.34. Ошибки индексирования из Google

Обратите внимание на дополнительные типы ошибок. Кроме того, если вы посмотрите на отчет по ошибке 404 из Google WMT, то у вас имеется возможность увидеть, какие страницы ссылаются на ту страницу, которая генерирует ошибку 404 (рис. 9.35).

Рис. 9.35. Отчет по ошибке 404 из Google

В отчетах обоих инструментов по ошибке 404 замечательно то, что вы можете найти те страницы своего сайта, которые были реализованы с неправильным URL, а еще можете определить, не ссылается ли кто-то на ваши страницы при помощи неправильного URL. В последнем случае (как мы уже советовали в главе 7) нужно сделать редирект 301 (для страницы, которая получает плохую ссылку) на правильную страницу и забрать эту легкую ссылку. Короче говоря, ошибки 404 дают основание для того, чтобы запросить обновление ссылок у тех сайтов, которые делают ссылки на старые URL.

Инструменты сторонних фирм (для ошибок просмотра)

Есть несколько превосходных инструментов сторонних фирм, которые покажут вам, как паук поискового движка видит ваш сайт. Один из них SEO-Browser (http://www.seo-browser.com). Применяйте этот инструмент для того, чтобы понять, как пауки поисковых движков видят ваши web-страницы. Это может быть полезно как при технической оценке сайта с точки зрения поисковой оптимизации, так и при отладке проблем с индексированием сайта. На рис. 9.36 показан моментальный снимок из SEO-Browser для начальной страницы сайта TripAdvisor (http://www.tripadvisor.com).

Рис. 9.36. Инструмент SEO-Browser

Этот отчет показывает, что web-сайт сообщает о том, что посетитель использовал неизвестный браузер. Может быть нужно разобраться, почему так происходит. Если вы посмотрите на начальную страницу Amazon в режиме Advanced, то увидите некоторые весьма интересные данные (рис. 9.37).

Рис. 9.37. Сайт Amazon в режиме Advanced

Представление Advanced дает широкий диапазон статистики (помимо вида самой web-страницы). Внизу рисунка вы видите, что Amazon предлагает версию страницы для экранного диктора.

Еще один превосходный инструмент SEOmoz Crawl Test Tool. Он предоставляет обширную статистику по любому web-сайту, который вы выберете для проверки. На рис. 9.38 показан небольшой образец выдаваемых им данных.

Рис. 9.38. Инструмент SEOmoz Crawl Test

Этот инструмент также дает подробное представление о самых важных страницах сайта, включая состояние индексирования в основных поисковых движках, включая самые важные ключевые слова, метаданные, а также количество внутренних ссылок на данную страницу.

Такие инструменты, которые дают представление о ваших страницах (или сайте) с точки зрения паука поискового движка, могут помочь вам быстро диагностировать проблемы вашего сайта.