Ресурси мереж та завантаження серверв

Ресурси мереж та завантаження серверв. Роботи потребують чималого трафку. Перш роботи працювали протягом тривалого часу, нколи мсяцями. Щоб прискорити виконання завдання, деяк роботи працюють у паралельному режим, чимало завантажуючи трафк. Навть вддален сервери можуть вдчути заповльнення роботи, якщо робот отриму велику кльксть документв за короткий час. Це призводить до зменшення швидкост роботи нших користувачв, особливо на повльних лнях. Деяк корпоративн користувач можуть вбачати пряму залежнсть мж видатками на нтернет та завантаженстю мереж.

Ц видатки окуплять себе для потенцйних користувачв, але не окупить використання мереж роботами. Крм ставлення високих вимог до мереж, роботи можуть ставити висок вимоги серверам. У залежност вд частоти отримування документв з серверу, одночасне завантаження багатьох документв може призвести до вдчутно завантаженост серверу, що призведе, у свою чергу, до зниження рвню сервсу для нших користувачв, цього ж серверу.

У випадку, коли сервер використовуться також з ншими цлями, це може бути взагал не допустимо. Тому, робот не може часто отримувати документи з одного серверу. Навть сучасний браузер Netscape стражда на цю проблему, отримуючи вбудован у сторнку малюнки одночасово. HTTP протокол не пристосований до паралельного отримування документв, тому ведуться розробки нових протоколв. Оновлення Було сказано, що бази даних про документи нтернет мусять оновлюватися регулярно, але ж не сну механзмв контролю за змнами у WWW. Не сну диного запиту, що визначав би як з заданих URL в знищен, модифкован або перемщен.

Але, HTTP протокол разом з запитом даних дозволя задати дату цього ж документу з кеша. Сервер передасть документ тльки тод, коли документ було змнено з часу коли вн був записаний у кеш. Ця можливсть може бути використана роботом лише тод, коли вн зберга зв язок мж даними, як вн отриму з документу, його URL та часом отримування. Це ставить додатков вимоги до розмру та складност бази даних, застосовуться не часто.

Завантаженсть мереж гра особливу роль, коли роботи використовуються кнцевими користувачами, що працюють на повльних лнях. нший небезпечний аспект клнтських роботв коли робот розповсюджений няк помилки не можуть бути виправлен, няк нш дан не можуть бути додан нов можливост не можуть бути реалзован тому, що не вс оновлять верс свох роботв. Але найбльш небезпечним те, що хоча деяк люди будуть використовувати роботв розумно, тобто не перевищувати який-небудь максимум, будуть люди, що зловживатимуть своми можливостями, через незнання чи самонадйнсть.

Розумн агенти або персональн асистенти користувача, зараз популярною темою для дослдження. Очевидно, що автоматизаця безцнна для пошуку ресурсв, потрбно ще багато дослджень, щоб пошук став бльш ефективним. Прост роботи користувача ще дуже далек вд розумних мережних агентв.