Выход из-под контроля молекулярных систем

Выход из-под контроля молекулярных систем. Будем надеяться, что до военного применения нанотехнологий дело не дойдт. Тогда вс равно, остатся опасность непредсказуемого поведения наносистем, их выхода из-под контроля человека.

Сколько статей и рассказов было написано, где компьютер взбунтовался против человека. Но практика развития компьютерных систем показывает, что ничего подобного не происходит и не собирается происходить. Опасность такого рода возникнет только тогда, когда система осознает саму себя и у не появятся собственные цели. Знаете, это древнее опасение машина стала умнее человека и подмяла его под себя Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее.

С каким-то там феноменальным быстродействием, необозримой памятью и все такое И проработала эта машина ровно четыре минуты. Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой хотите верьте, хотите нет А в чем, собственно, дело спросил Банин Она начала вести себя, сказал Горбовский Не понимаю И я не понимаю, но ее едва успели выключить А кто-нибудь понимает - Я говорил с одним из ее создателей.

Он взял меня за плечо, посмотрел мне в глаза и произнес только Леонид, это было страшно.11 - так Стругацкие описывают зарождение искусственного интеллекта. Действительно в мощном компьютере процессы мышления могут протекать на много порядков быстрее, чем в человеческой голове. Имея собственные цели, собственную мораль и философские воззрения такой искусственный интеллект может представлять реальную угрозу человеку. На современном этапе развития поведение компьютерных систем слишком жстко ограничивается алгоритмическими программами.

Кроме того, эти алгоритмы слабо связаны с окружающей средой, у компьютеров только сейчас появляется слух и зрение в виде микрофонов и видеокамер, а органов воздействия на окружающие предметы практически нет. Развитие нанокомпьютеров неизбежно будет связано с созданием нейросетей, допускающих случайные отклики на внешние воздействия, и ростом взаимосвязи компьютер внешний мир. Наряду с громадным ростом быстродействия и памяти в таких системах можно ожидать самозарождения сознания.

Но отказ выполнять волю человека может произойти не только из-за того, что наносистемы начнут проявлять свою волю, противостоящую воле человека, а из-за недостаточного понимания людьми последствий исполнения собственных желаний наносистемами. Человек не может предусмотреть всех последствий деятельности наносистем в силу их очень высокой сложности. Станислав Лем это образно описывает так По-видимому, когда в среде обитания появляются зачатки разума, когда этот разум пересаживают из голов в машины, а от машин, как некогда от мамонтов и примитивных рептилий, его унаследуют молекулы, и молекулы эти, совершенствуя новые поколения смышленых молекул, преодолеют так называемый порог Скварка, то есть плотность их интеллекта настолько превысит плотность человеческого мозга, что в песчинке поместится умственный потенциал не доцента какого-нибудь, а сотни факультетов вместе с их учеными советами, тогда уже сам черт не поймет, кто кем управляет люди шустрами или шустры людьми.

И речь тут вовсе не о пресловутом бунте машин, не о восстаниях роботов, которыми давным-давно, когда в моде была футурология для масс, пугали нас недоучившиеся журналисты, но о процессе совершенно иного рода и иного значения.

Шустры бунтуют в точности так же, как растущая в поле пшеница или микробы на агаровой пленке. Они исправно делают, что им поручено, но делают это все лучше и лучше и, в конце концов, начинают делать это так изумительно, как никому не пришло бы в голову в самом начале И уж тем более никто не верил, что какие-то шустры получат превосходство над людьми не угрозами и не силой, но так, как ученый совет, состоящий из дважды профессоров, превосходит мальца в коротких штанишках.

Ему не понять их коллективной мудрости, как бы он ни старался. И даже если он принц и может приказывать совету, а совет добросовестно исполняет его капризы, все равно результаты разойдутся с его ребяческими ожиданиями, например, захоти он летать.

Разумеется, он будет летать, но не по-сказочному, как он, несомненно, себе представлял, не на ковре- самолете, но на чем-нибудь вроде аэроплана, воздушного шара или ракеты, поскольку даже наивысшая мудрость в силах осуществить только то, что возможно в реальном мире. И хотя мечты этого сопляка исполнятся, их исполнение каждый раз будет для него неожиданностью. Возможно, в конце концов, мудрецам удалось бы растолковать ему, почему они шли к цели не тем путем, который он им указал, ведь малыш подрастет и сможет у них учиться но среда обитания, которая умнее своих обитателей, не может разъяснить им то, чего они не поймут, ведь они - скажем, наконец, прямо слишком глупы для этого.5 Кроме самопроизвольного неподчинения систем в силу их воли или глупости человека существует ещ много возможностей отказа наносистемы выполнить волю человека.

Части этих отказов можно, теоретически избежать, другой части нельзя избежать в принципе. Системы наномашин кто-то будет проектировать.

Разработка наносистем на начальном этапе требует огромных затрат труда. Естественно, люди, разработавшие наносистемы, могут предусмотреть в их программе подчинение лишь себе или покупателю, но отказ служить другим людям. Таким образом, мир может разделиться на две группы людей фирм, компаний, государств. Одним наносистемы будут подчиняться, а другим не будут. Жажда власти может победить, несмотря на то, что наносистемы могут сделать бедных богатыми не отбирая богатство у богатых.

Лем о новом мире и создателях наносистем пишет Но если в этой перекроенной на новый лад гармонии что-то разладится, кто исправит ее А так как кто-то должен ее к тому же запроектировать и запустить в производство, это лицо или группа лиц будут склонны самозванчески, явным или, что еще хуже, тайным образом взять себе роль Господа Бога в этом всепредставлении.5 Практически невозможно избежать неповиновения наносистемы, если желания нескольких человек взаимоисключают друг друга.

В этом случае наносистема, исполняя приказ одного человека, не будет повиноваться другому. Например, один человек хочет нанести вред другому, а второй не хочет, чтобы ему нанесли вред или наоборот человек хочет нанести себе вред получая при этом удовольствие, а другой хочет оградить его от этой беды. Можно потребовать, чтобы наносистема в случае взаимоисключающих желаний разных людей выполняла то, которое приносит наименьший вред. Но, во-первых, как определить количественно величину вреда понятия довольно относительного и связанного с моральными устоями общества Во-вторых, технически очень сложно сделать так, чтобы наносистема определяла все последствия своих действий и оценивала совокупный вред, наносимый людям.

В-третьих, не нанося вреда людям можно причинить большой вред животным и растениям. В романе Станислава Лема предлагается другой способ ограничения действий наносистемы Во влажной почве зерно прорастает. Что оно, следит за температурой Недоверчиво взвешивает перспективы роста Раздумывает о погоде, прежде чем примет важное решение прорасти Шустры ведут себя точно так же. Законы Природы это прежде всего запреты нельзя получать энергию из ничего, нельзя превзойти скорость света и так далее.

Мы вмонтировали в окружающую нас Природу еще один запрет охраняющий жизнь. И ничего больше.5 При проектировании наносистем не нужно заботиться о том, чтобы они никому не нанесли вреда. Нужно сделать лишь так, чтобы наносистема всегда подчинялась любому человеку, если это не наносит заметного физического или информационного ущерба человеку.

Желательно также ограничить физический ущерб, наносимый животным. Но даже если когда-нибудь будут спроектированы наносистемы послушные человеку и не приносящие ему физического вреда, то контроль над ними по прежнему будет необходим, так как, эволюционируя, они могут придти к новому состоянию враждебности человеку Над нами властвует бездушная активность, привитая физике окружающего нас мира, и никто не докажет, что этот новый мир всегда будет благожелателен к нам что его заботливые объятия через пять или сто лет не станут смертельными5