Они этого не делают. Пауки поисковых движков не хранят и не помнят куки-файлы или идентификаторы сеансов, они работают как браузеры, у которых эта функциональность отключена. Однако, в отличие от пользователей с отключенными куки-файлами, пауки иногда получают доступ к такому изолированному контенту при помощи web-мастеров, которые специально их пропускают. Многие сайты имеют страницы, требующие включения куки-файлов или сеансов, но содержат также и специальные правила для роботов поисковых движков, разрешающие им получать доступ к контенту. Несмотря на то, что формально это получается клоакинг, существует его форма под названием First Click Free, которую поисковые движки обычно разрешают (мы обсудим это подробнее в разд. "Поставка контента и управление поисковыми пауками" данной главы).
Хотя к некоторым ограниченным при помощи куки-файлов (или идентификаторов сеансов) страницам поисковые движки доступ получают, в огромном большинстве случаев при использовании куки-файлов (или идентификаторов сеансов) создается такой контент, ссылки и страницы, которые доступ ограничивают. Web-разработчики могут использовать концепцию First Click Free для создания более интеллектуальных сайтов и страниц, которые работают оптимальным образом и для людей, и для поисковых движков.