Вы можете задать адреса IP (или их диапазоны), чтобы заблокировать конкретных роботов. Большинство основных поисковых движков ведет просмотр с определенных адресов IP, что делает возможным их выявление и ограничение доступа. Этот способ популярен у тех web-мастеров, которые ошибочно считают, что пауки поисковых движков – это спамеры, пытающиеся украсть их контент. Поэтому такие web-мастера блокируют диапазоны IP-адресов для ограничения доступа и экономии полосы пропускания. Будьте осторожны при блокировании роботов и убедитесь, что вы не блокируете доступ пауку, который может принести вам выгоду (как от поискового трафика, так и от атрибуции ссылок).