На уровне сервера можно определить агента пользователя и ограничить ему доступ к страницам или web-сайтам (на основе его идентификации). Например, если web-сайт обнаружил нестандартного робота, то вы можете дополнительно проверить его подлинность перед тем, как разрешить доступ. Все поисковые движки используют одинаковый протокол для проверки их агентов пользователя через Интернет: обратный запрос DNS, за которым следует соответствующий прямой запрос DNS. Пример для Google выглядит следующим образом:
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Обратного запроса DNS может быть недостаточно, поскольку паук мог установить обратный DNS на xyz.googlebot.com или любой другой адрес.