Акцент в этой книге делался в основном на снабжении пауков поисковых движков текстовым контентом, семантически размеченным при помощи HTML. Однако поскольку поисковые алгоритмы развиваются в отношении способов сбора, анализа и интерпретации данных, то в страницы результатов поиска все больше и больше интегрируются документы менее доступных типов (такие, как мультимедиа, контент за формами, отсканированные исторические документы). Эта тенденция усиливается также повышением спроса и доступности.