Штучні нейронні мережі (ШНМ) — математичні моделі, а також їхня програмна та апаратна реалізація, побудовані за принципом функціонування біологічних нейронних мереж — мереж нервових клітин живого організму. Системи, архітектура і принцип дії базується на аналогії з мозком живих істот. Ключовим елементом цих систем виступає штучний нейрон як імітаційна модель нервової клітини мозку — біологічного нейрона. Даний термін виник при вивченні процесів, які відбуваються в мозку, та при спробі змоделювати ці процеси. Першою такою спробою були нейронні мережі Маккалока і Піттса. Як наслідок, після розробки алгоритмів навчання, отримані моделі стали використовуватися в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах керування та інші.
ШНМ представляють сбою систему з'єднаних і взаємодіючих між собою простих процесорів(штучних нейронів). Такі процесори зазвичай достатньо прості, особливо в порівнянні з процесорами, що використовуються в персональних комп'ютерах. Кожен процесор схожої мережі має справу тільки з сигналами, які він періодично отримує, і сигналами, які він періодично посилає іншим процесорам. І тим не менш, будучи з'єднаними в досить велику мережу з керованою взаємодією, такі локально прості процесори разом здатні виконувати достатньо складні завдання. З точки зору машинного навчання, нейронна мережа являє собою окремий випадок методів розпізнавання образів, дискримінантного аналізу, методів кластеризації тощо З математичної точки зору, навчання нейронних мереж — це багатопараметрична задача нелінійної оптимізації. З точки зору кібернетики, нейронна мережа використовується в задачах адаптивного управління і як алгоритми для робототехніки. З точки зору розвитку обчислювальної техніки та програмування, нейронна мережа — спосіб вирішення проблеми ефективного паралелізму . А з точки зору штучного інтелекту, ШНМ є основою філософської течії коннективізму і основним напрямком в структурному підході з вивчення можливості побудови (моделювання) природного інтелекту за допомогою комп'ютерних алгоритмів. Нейронні мережі не програмуються в звичайному розумінні цього слова, вони навчаються. Можливість навчання — одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. У процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними і вихідними, а також виконувати узагальнення. Це означає, що у разі успішного навчання мережа зможе повернути вірний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних та / або «зашумленних», частково перекручених даних.
Біологічна нейронна мережа складається з групи або декількох груп хімічно або функціонально пов'язаних нейронів. Один нейрон може бути пов'язаний з багатьма іншими нейронами, а загальна кількість нейронів та зв'язків між ними може бути дуже великою. Зв'язки, які називаються синапсами, як правило формуються від аксонів до дендритів, хоча дендро-дендритичні мікросхем та інші зв'язки є можливими. Крім електричної передачі сигналів, також є інші форми передачі, які виникають з нейротрансмітерної(хімічний передавач імпульсів між нервовими клітинами) дифузії, і мають вплив на електричну передачу сигналів. Таким чином, нейронні мережі є надзвичайно складними.
Штучний інтелект і когнітивне моделювання намагаються імітувати деякі властивості біологічних нейронних мереж. Хоча аналогічні в своїх методах, перша має на меті вирішення конкретних завдань, а друга спрямована на створення математичних моделей біологічних нейронних систем.
У сфері штучного інтелекту, штучні нейронні мережі були успішно застосовані для розпізнавання мови, аналізу зображень та адаптивного управління, для того, щоб побудувати так званих програмних агентів (в комп'ютерних і відео ігор) або автономні роботи. На даний час, більшість розроблених штучних нейронних мереж для штучного інтелекту основі на статистичних оцінках, класифікації оптимізації та теорії керування.
Яким чином поєднується генетичний алгоритм і штучний інтелект.
Використання ГА та штучні нейронних мереж(ШІ) у прийнятті рішень
ГА та ШНМ можуть використовуватись:
1. Послідовно один за одним – така ситуація називається допоміжним обєднанням.
2. Одночасно рівноправне обєднання.
Допомідне обєжднання може включати такі обєкти сувмісного використання:
- Нейронні мережі для забезпечення ГА. ПР: формування вихідної популяції для ГА.
- ГА для забезпечення штучних нейронних мереж. ПР: - аналіз ШНМ, підбір параметрів, чи перетворення простору параметрів, підбір параметрів, або правил навчання.
- При рівноправному обєднанні можливі такі ситуації:
1. ГА для навчання ШНМ ПР: еволюційне навчання мережі – еволюція ваг звязків.
2. ГА для вибору топології нейронної мережі. ПР: еволюційний пібір топології мережі – еволюція мережевої архітектури.
3. Системи що обєднують адаптивні стратегії ГА та ШНМ. ПР: ШНМ для вирішення оптимізаційних задач з використанням ГА для підбору ваг мережі, Реалізація ГА за допомогою ШНМ, застосування нейронної мережі для реалізації оператора схрещування в ГА.
Типові задачі які вирішуються за допомогою використання ГА в ШНМ.
Задача №1
Знаходження оптимальних значень ваг ШНМ Тут ГА виступає як альтернатива методу зворотнього поширення похибки. Навчання цим методом регулює ваги прямонаправленої ШНМ грунтуючсь на принципах найскорішого спуску. Одним з основних недоліків цього методу є попадання в локальний мінімум. В наслідок наявності ГА оператора мутації такий алгоритм має характеристики аналогічні способу підйому на пагорб при пошуку оптимому, що дозволяє уникнути небезпеки попадання в локальний мінімум.
Є трьохшарова ШНМ. В жаній мережі є 10 ваг W1-W6 – ваги прихованим та вихідним прошарком. Вхідні та вихідні вектори дорівнюють, вхідні - х1, х2, х3, вихідні у1, у2. D1,d2 – необхідний вихідний вектор. Цільва функція зводиться до мінімізації величини Z.
Евклідова відстань
Довжина хромосоми буде складати 10 бітів що будуть відповідати вагам що будуть відповідати вагам w1-w6? V1- v4. Кожний біт може бути представлений як дійсне число у двійковій системі. Генетичні оператори схрещування та мутації застосовуються тут для еволюції вад. Робота алгоритму закінчується коли припиняється покращення величини Z. Таким чином по даному прикладу можна знайти необїідну величину вад за допомогою ГА
Задача №2
Адаптація навчального правила для ШНМ
Суть проблеми полягає в тому що супервізор на навчання системи повинен генерувати необхідний вихід для даних вхідних значень. Припустимо що багатошарова ШНМ використовується як навчальний агент. Нехай Ок це вихід чарунків ( ячеєк) у вихідному прошарку Іт це вхід на тетому нейроні вхідного прошарку. Wi йот вага від чатунку і до нейронів йот. Правило навчання у загальному вигляді можна записати у наступному вигляді:
Тут хромосоми будуються з наступних параметрів
Придатність хромосоми вимірюється сигналом похибки, тобто цільвий сигнасл мінус необхідний сигнал, на всіх чарунках вихідного прошарку.
Чим меншою є величина похибки тим краща якість хромосом.
Після певних ітерацій ГА визначається майже оптимальне значення параметрів. Так як величини … характеризують навчання правилом то їх регулювання створює нові правила
Схема адаптації навчального прикладу
26.11.2012
------------------------------------------------------------------------------------------------------------------------
Початок в 17:30 користуватись нічим не можна
Задачі: Дерева рішень, нечіткі множини, нечіткі відношення, бінарні відношення, ризики, нейронні мережі?, генетичні алгоритми?
Генетичні алгоритми і синтез з нейронними мережами.
Задача №3
Відбір вхідних даних.
Проблема полягає у тому що вихідні дані давали найкращий результат. Як правило це здійснюється перебравши всі можливі вхідіні дані, але на практиці здійснити таке проблематично. Тому виділяють 2 підходи вирішення цієї проблеми:
- Перетворення всіх вихідних змінних в меншу кількість узагальнених деяким способом ознак, зберігши при цьому максимум інформації.
- Виділення тих вхідних змінних які не вносять істотного вкладу в роботу мережі та їх видаленні.
Другий підхід можна реалізувати шляжом поєднання імовірнісних нейронних мереж або узагальнену регресійну нейронну мережу з генетичним алгоритмом.
Ці типи нейронних мереж ( фактично є методами замаскованими під ШІ) … і регресії.
Перший проміжний прошарок мережах цих типів складаються з радіальних елементів. Вихідний сигнал радіального елемента є активаційною функцією Гауса. З центром і тій точці яка зберігається в тім елементі. В наступних прошарках з цих сигналів утворюються оцінки для щільності ймовірності класів ( для імовірнісних нейронних мереж) або залежної зміної регресії ( для узагальнених регресійних нейронних мереж) . Для вирішення задачі відбору найкращих вхідних змінних як правило поєднують імовірнісні нейронні мережі та генетичні алгоритми. Такого виду задачі реалізують за допомогою програм типу МАТЛАБА
Генетичний алгоритм відбору вхідних даних, що працює з рядками бітів дані задачі з а допомогою таких рядків створює маску. Кожна маска визначає які з вхідних змінних повинні використовуватись при побудові імовірнісної нейронної мережі: NO –ця змінна не використовується. Йес використ. .. популяцію таких рядків, а потім застосовує для відбору кращих рядків генетичні оператори. В якості рішення обирається один з рядків останнього покоління.
4 задача
Вибір найкращої архітектури мережі
Дана проблема полягає у визначенні кількосі прихованих прошарків та кількості нейронв в них у складі мережі. Початкова популяція обирається таким чином щоб включити нейронні мережі в широкому діапазоні прихованих прошарків і нейронів в них . генетичні оператори в ціій задачі мають справу з закодованими рядками різної довжини, так як мережі збільшують кількість прихованих нейронів будуть мати більше ваг і відповідно більшу довжину рядків, крім того необхідно врахувати в нульові ваги. При еволюції генетичного алгоритму ті мережі які мають найменші середні похибки передбачення будуть домінувати в популяції і остання буде сходитись до оптимальної структури мережі.
Взажмодія нечіткої логіки і штучних нейронних мереж.
1. Нечіткі нейронні системи - в цому випадках в штучних нейронних мережах застосовується принцип нечіткої логіки для прискорення чи поліпшення інших параметрів. При такому підході нечітка логіка є лише інструментом штучних нейронних мереж і така система не може бути інтерпритована в нечіткі правила оскільки являє собою чору скриньку.
2. Конкуркючі нейронечіткі системи - у таких моделях нечітка система і штучна нейронна мережа працюють над однією задачею не впливаючи на параметри одна одної. Можлива послідовна обробка даних, спочатку однією системою а потім іншою.
3. Паралельні нейронечіткі системи - в таких системах налагодження параметрів виконується за допомогою нейронних мереж, а далі нечітка система працює самостійно.
Виділяють такі типи паралельних нейронечітких моделей як: .. системи фз виділення м нечітких правил шляхом використання карт що самоорганізовуються, та системи які спроможні навчати параметри нечітких множин.
Інтегровані нейронечіткі системи - це системи в яких взаємодія між НечіткоюЛ і ШНМ серед усіх зазначених. Як правило коли говорять про ШНМ то мають на увазі ці. До таких систем відносять системи титу манданів, або тагаків сугені.