На многих сайтах есть функции поиска, являющиеся специальными поисковыми движками, которые индексируют контент сайта и предоставляют к нему доступ.
Это довольно популярный способ помощи пользователям, чтобы они могли быстро найти дорогу по сложному сайту. Например, web-сайт Pew Internet (http://www.pewinternet.org) предоставляет поиск по сайту в правом верхнем углу. Это отличный инструмент для пользователей, но поисковые движки им блокируются. Поисковые движки при своей работе только просматривают структуру ссылок Интернета, а не заполняют формы и не пытаются делать случайные запросы в полях поиска. Таким образом, любой контент, доступ к которому можно получить исключительно через поиск по сайту, останется невидимым для Google, Yahoo! и Bing.
Формы – это популярное средство интерактивности. Самая простая из них форма "свяжитесь с нами", которая имеется на многих web-сайтах.
К сожалению, пауки не заполняют и не отправляют такие формы. Таким образом, доступный пользователям этих форм контент является недоступным для поисковых движков. В случае формы "свяжитесь с нами" это не имеет большого значения, но формы других типов могут привести к более серьезным проблемам.
Тем web-сайтам, которые имеют скрытый за экранами регистрации контент, придется либо предоставить текстовые ссылки на этот контент (что делает ненужным сам экран входа), либо реализовать First Click Free (обсуждается далее в разд. "Поставка контента и управление поисковыми пауками” этой главы).