Контрольная точка текущего состояния индексирования

У поисковых движков огромная задача. Они индексируют онлайновый контент всего мира. Реальность такова: они усердно стараются обнаружить весь этот контент, но в свой индекс включают не все. Это происходит по целому ряду причин. Страница может быть недоступна пауку, она может быть оштрафована, может не иметь достаточного (чтобы заслужить включение в индекс) "сока ссылок".

Когда вы запускаете новый сайт, добавляете на существующий сайт новые разделы, имеете дело с очень большим сайтом, то в индекс необязательно попадут все страницы. Чтобы контролировать это, вам нужно будет активно отслеживать уровень индексирования вашего сайта. Если проиндексирован не весь ваш сайт, то это может быть признаком наличия проблемы (недостаточно ссылок, плохая структура сайта и т. д.).

Получить основные данные по индексированию от поисковых движков очень легко. Все три основных поисковых движка поддерживают для этой цели одинаковый синтаксис: site: yourdomain.com. На рис. 4.12 показан пример выходных данных из Bing.

Рис. 4.12. Данные по индексированию из Bing

Сохранение записей об уровне индексирования может помочь вам понять, как продвигаются ваши дела. Оформить это можно в виде простой электронной таблицы.

С индексированием связан показатель интенсивности просмотра сайта. Google предоставляет эти данные в Google Webmaster Central. На рис. 4.13 показан моментальный снимок экрана, представляющий диаграммы интенсивности просмотра. Другая диаграмма (она здесь не показана) отображает среднее время загрузки страниц вашего сайта.

Рис. 4.13. Данные по просмотру из Google Webmaster Tools

Короткие всплески не должны являться причиной для беспокойства (так же, как и периодические провалы в уровне просмотра). Важна общая тенденция. На нашем рисунке интенсивность просмотра возрастает. Это хорошо как для рейтингов, так и для индексирования.

Для других поисковых движков данные по индексированию можно получить при помощи анализаторов файлов журналов, после чего можно будет создать аналогичную временную шкалу и понаблюдать за ней.