Требование входа под регистрационной записью или предоставление формы какого-то другого типа для просмотра контента – это еще одна часто встречающаяся причина отсутствия просмотра пауками. Поисковые движки не будут пытаться заполнить форму для того, чтобы увидеть, что же находится за ней. Самое простое решение – убрать требование формы (если вы хотите, чтобы поисковые движки проиндексировали этот контент).
Однако некоторые сайты продают свой контент на условиях подписки и не хотят предлагать свой контент бесплатно. В октябре 2008 г. компания Google объявила концепцию First Click Free (http://googlewebmastercentral.blogspot.com/2008/10/first-click-free-for-web-search.html), в которой для Google предусматривалась возможность просмотра и индексирования контента сайтов, работающих на принципе подписки, в то время как издатель при этом по-прежнему мог требовать от посетителей платы за контент. Более подробно о концепции First Click Free написано в разд. "Поставка контента и управление поисковыми пауками" главы 6.