Обучение многослойных сетей - раздел Образование, Введение в экспертные системы Преимущества Многослойных Сетей Были Поняты Достаточно Рано. Ясно Было Также,...
Преимущества многослойных сетей были поняты достаточно рано. Ясно было также, что для использования этих преимуществ, преобразование при переходе от одного слоя к другому должно быть нелинейным: последовательность линейных преобразований дает снова линейное преобразование со всеми его недостатками. Однако развитию многослойных сетей препятствовало то, что не было теоретически обоснованного алгоритма обучения таких сетей. Неясно было, по какому правилу следует модифицировать связи нейронов промежуточных слоев, чтобы получить на выходе нужный результат.
Такой алгоритм был предложен в ряде работ [74, 75]. Сейчас он известен как метод "обратного распространения ошибки". Этот метод частным случаем основного уравнения динамики.
Сущность его в следующем. Если известна целевая функция системы V(x), то можно найти силы, действующие на любые переменные системы и вызывающие их изменения в сторону максимизации целевой функции. Если эти переменные непосредственно входят в целевую функцию, то эти силы вычисляются по формуле (6.3). Таковы, например, выходные переменные системы, когда целевая функция непосредственно зависит только от них.
Если же интересующие переменные xi- непосредственно не входят в целевую функцию, но связаны с переменными xj-, входящими в нее, то действующие на xi силы могут быть вычислены с помощью "закона передачи силы"- обобщения известного закона рычага на немеханические системы. Закон, как известно, гласит: что выигрывается в силе (F), то проигрывается в расстоянии 
. Это можно записать так:
F, или 
Здесь 
- изменения двух связанных переменных; Fi, fj - действующие на них силы; kij - передаточный коэффициент от хi к хj..
В нейронных сетях к числу переменных, не входящих непосредственно в целевую функцию, относятся параметры нейронов промежуточных ("скрытых") слоев. Однако переменные i-го уровня связаны с переменными следующего j-го уровня. Передаточный коэффициент kij определяется прежде всего весом синаптической связи cij. Так как если связь нелинейная, то в него должна входить сомножителем производная от активационной (передаточной) функции, зависящая от значения выходной переменной. Согласно закону передачи силы справедливо следующее соотношение между силами, действующими на выходные величины от yi и yj двух соседних слоев:
Подставляя сюда выражение для силы и для передаточного коэффициента и учитывая, что переменная одного слоя связана с несколькими переменными другого и что действующая на нее сила должна быть равнодействующей суммы сил, получаем слудующее рекуррентное соотношение, позволяющее находить производную n-1-го слоя по производной n-го слоя:
Зная силу, действующую на переменную, и используя основное уравнение динамики (6.4), можно написать закон изменения этой переменной. Если переменная- один из весовых коэффициентов cij- , то это и будет закон обучения.
В многослойных сетях, как правило, воздействие распространяется только в одном направлении - от i-го слоя к j-му. Следовательно, матрица связей несимметрична: только веса cij-, могут быть отличны от нуля, тогда как cji, заданы равными нулю.
Рассмотрим в качестве примера один из известных алгоритмов обучения - "δ-правило". В простейшем виде оно использовалось уже при обучении персептрона. Суть его в следующем. Пусть в качестве желаемого ("идеального") значения выходной величины задано значение yj . Действительное значение y*j получается путем преобразования входных значений предыдущего слоя х и не обязательно совпадает с желаемым:
Здесь 
- активационная функция; 
.
Цель поведения состоит в минимизации квадрата ошибки:
Тогда сила, действующая на переменную cji равна:
Здесь через 
обозначена разность между идеальным (желаемым) и действительным значениями выходной величины. Отсюда и название алгоритма-
δ- правило. Скорость модификации веса определяется основным уравнением динамики в форме (6.5):
Это и есть δ-правило. Если 
- функция сигмоидального вида, то получается один из вариантов алгоритма обратного распространения ошибки:
(6.6)
Согласно этому алгоритму скорость модификации весового коэффициента cij пропорциональна трем факторам:
- "ошибке " - разности между действительным и желаемым значениями выходной величины 
;
- производной от функции активации 
;
- входной величине xt.
Если зависимость от первого фактора является полезной, то два последних фактора служат источником различного рода неприятностей, возникающих в процессе обучения.
В настоящее время обычно используют различные модификации этого алгоритма, имеющие целью улучшить устойчивость процесса обучения и разрешить ряд других проблем. Например, вводят в алгоритм "память " о предыдущем шаге, что придает ему определенную инерционность и устойчивость к помехам.
Все темы данного раздела:
Структура экспертных систем
ЭС состоит [37] из следующих основных компонентов: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения зна
Интерпретация данных
Это одна из традиционных задач для ЭС. Интерпретация – процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анал
Диагностика
Диагностика – процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с един
Мониторинг
Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – пропуск тревожно
Проектирование
Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов – чертеж, пояснительная за
Прогнозирование
Прогнозирование позволяет предсказать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуа
Обучение
Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью компьютера и подс
Поддержка принятия решений
Поддержка принятия решений – это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающими процесс принятия решения. Эти ЭС помогают сп
Этапы разработки экспертных систем
Разработка ЭС имеет существенные отличия от разработки обычного программного продукта. Опыт создания ЭС показал, что использование при их разработке методологии, принятой в традиционном программиро
Представление знаний в экспертных системах
Первый и основной вопрос, который надо решить при представлении знаний- это вопрос определения состава знаний, т.е. определение того, "ЧТО ПРЕДСТАВЛЯТЬ" в экспертной систе
Исчисление предикатов
Слово "логика" означает систематический метод рассуждений. Рассмотрим две конкретные системы логики - базисную (исчисление высказываний) и более богатую (исчисление предик
Доказательство приведением к противоречию
При построении выводов не всегда целесообразно ждать появления искомого заключения, просто применяя правила вывода. Именно такое часто случается, когда делается допущение В для дока
Доказательство методом резолюции
Применяется всего одно правило вывода, что позволяет не запоминать многочисленных правил вывода и тавтологии. Это- правило резолюции, которое приведено в таблице 2.1
Применение метода резолюций для ответов на вопросы
Предположим, что предикат F(х,у), означает х - отец у, и даны следующие факты об отцовстве:
F(john,. harry)
Эвристики для поиска доказательства
При написании программы, которая будет делать за нас резолюцию и искать ответы на вопросы, полезно использовать следующие методы.
Предпочтение единичных.
Подстановка и унификация
Метод резолюции требует, чтобы делались подстановки в дизъюнкты так, чтобы две литеры с противоположными знаками содержали совпадающие атомы. Так как эти атомы могут содержать перем
Семантические сети
Понятие семантической сети основано на древней и очень простой идее о том, что <память> формируется через ассоциации между понятиями. Понятие <ассоциативная память> появ
Правила продукций
Самым распространенным форматом для представления знаний, наиболее соответствующим их процедурному характеру, является правило продукции, которое по своей сути - просто программа из
Методы стратегии поиска решений
Как было показано в главе 1, экспертные системы состоят из трех компонентов:
- базы знаний, содержащей правила продукций;
- базы данных, которая отображает текущее
Поиск решения задач в пространстве состояний
Чтобы построить описание задачи с использованием пространства состояний, нужно иметь определенное представление о том, что собой представляют состояния в конкретной задаче. Таким об
Методы поиска решений в одном пространстве
Методы поиска решений в одном пространстве обычно делятся на поиск в пространстве состояний, поиск методом редукции, эвристический поиск и поиск генерация-проверка [39].
В
Процессы поиска на графе
Граф определяется как множество вершин вместе с множеством ребер, причем каждое ребро задается парой вершин. Если ребра направлены, то их также называют дугами. Дуги з
Эвристический поиск
Подход “поиск в пространстве состояний” сформировался в результате попыток автоматизации игр. В большинстве игр имеется конечное число позиций (или “состояний”), которые могу
Экспертная система на правилах
В системе, базирующейся на правилах, результат является действием одного из продукционных правил. Эти продукционные правила определяются входными данными.
Таким образом, экспертная система
Экспертные системы, базирующиеся на логике
В экспертных системах, базирующихся на логике, база знаний состоит из утверждений в виде предложений логики предикатов.
Такие предложения могут группироваться, образуя базу
Системы с доской объявлений
В последние годы в разработке архитектуры экспертных систем появилось новое направление [61], которое получило название системы с доской объявлений (blackboard syste
Принцип организации систем с доской объявлений
В основу организации систем этого типа положена следующая идея.
Представьте себе группу экспертов, которые сидят возле классной доски (или большой доски объявлений) и пытаются решить какую
Система HEARSAY
Архитектура на основе доски объявлений выросла из разработанной в конце 70 годов системы распознавания речи HEARSAY-II и HEARSAY-III. Программирование компьютера с целью распознаван
Виды неопределенности
В предыдущих примерах все знания были определенными. Утверждениями были или ИСТИНА, или ЛОЖЬ. Однако в жизни имеется тенденция к “нечеткости” в представлении знаний. Тем не менее, н
Байесовский метод
При байесовском подходе степень достоверности каждого из фактов базы знаний оценивается вероятностью, которая принимает значения в диапазоне от 0 до 1. Вероятности исходных фактов о
Биполярные схемы для коэффициентов определенности
Прототипом систем, основанных на приближенных рассуждениях, являются MYCYN и ее прямой потомок EMYCYN. В EMYCYN в любом случае, когда должна быть численно выражена определенность, и
Теория свидетельств Демпстера-Шефера
Подход, принятый в теории Демпстера-Шефера (ТДШ) [64] отличается от байесовского подхода и метода коэффициентов уверенности тем, что, во-первых, здесь используется не точечная оценк
Нечеткие множества и нечеткая логика
Для формализации нечетких знаний, характеризуемых лингвистической неопределенностью, применяется теория нечетких или расплывчатых множеств. Основы теории нечетких множеств были созданы в 1965 году
Многоступенчатые рассуждения
Чтобы представить себе, что же такое многоступенчатое рассуждение, допустим, что вы заболели. У вас простуда, вирусная инфекция или грипп, и вы хотели бы знать, что следует предприн
Процесс распространения в сети
Рассмотрим пример, иллюстрирующий распространение коэффициентов определенности в сети (Рисунок 6.8).
Особенности нейросетей
Главное достоинство [37] нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его
Свойства нейрона
С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, - это устройство для получения нелинейной функции нескольких переменных Xi с возможнос
Использование нелинейных элементов
Один из самых неожиданных результатов анализа И.Минского и С.Пейперта состоял в том, что персептрон, построенный на линейных функциях активации, не может воспроизвес
Сеть Хопфилда
В 1982 г. появилась работа Дж. Хопфилда [70], которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняет
Многослойные сети
Сеть Хопфилда поддерживает множество лишних, неэффективных связей, по существу дублирующих друг друга. В реальных нервных системах поддержание таких связей требует определенных затр
Динамика обучения и поведения
В механике динамика в отличие от статики и кинематики предполагает наличие двух моментов: изменение переменных во времени и обусловленность этих изменений силами. Эти два момента им
Проблемы и перспективы
Остановимся на трудностях, связанных с обучением нелинейных нейронных сетей. Основные из них следующие [37].
Медленная сходимость процесса обучения. Строго сходимост
Применение нейросетевой технологии
В настоящее время известно много удачных примеров применения нейросетевого подхода [19] для построения интеллектуальных информационных систем и, в частности, экспертных систем.
Инструментальный комплекс G2
История развития инструментальных средств (ИС) для создания ЭС реального времени началась в 1985 г., когда фирма Lisp Machine Inc. выпустила систему Picon для символьных ЭВМ Symboli
База знаний
Все знания в G2 хранятся в двух типах файлов: базы знаний (БЗ) и библиотеки знаний (БиЗ). В файлах БЗ хранятся знания о приложениях: определения всех объектов, объекты, правила, про
Структура данных БЗ
Глобально сущности в БЗ G2 с точки зрения их использования могут быть разделены на структуры данных и исполняемые утверждения. Примерами первых являются объекты и их классы, связи (
Объекты
Объекты в базе знаний представляют собой отображения элементов реального мира, которые будут применяться при решении поставленной перед ЭС РВ задачи. Выделяют постоянные и временные
Связи и отношения
G2 предусмотрены два вида взаимосвязей между объектами: связи и отношения. Под связями понимается взаимосвязь между двумя сущностями, задаваемая разработчиком приложения и им
Исполняемые утверждения БЗ
Основу исполняемых утверждений БЗ составляют правила и процедуры. Кроме того, есть формулы, функции, действия и т.п. Правила в G2 имеют традиционный вид: условие (антецедент) и закл
Машина вывода
Одним из основных компонентов G2 является машина вывода, выполняющая рассуждения на основании:
• знаний, содержащихся в базе знаний;
• данных, пост
Планировщик
В связи с тем, что С2-приложение управляет множеством одновременно возникающих задач, необходим Планировщик. Планировщик управляет всеми процессами в G2 (Рисунок 8.1). Планировщик о
Моделирование
Одним из возможных источников данных для G2 является система моделирования внешнего окружения. Данная система используется для моделирования реальных объектов и устр
Естественно- языковой текстовый редактор
Разработчик G2 представляет информацию о разрабатываемом приложении на ограниченном английском языке, и ему предоставлена возможность ссылаться на любую сущность в БЗ многими способ
Изображения
Изображения используются для того, чтобы предоставить пользователю возможность увидеть значение переменных и выражений. Существуют следующие варианты, реализующие возможность изобра
Управляющие воздействия
Управляющие воздействия (end-user controls) - это средства, с помощью которых конечный пользователь может взаимодействовать с приложением. Существуют следующие виды управляющих воздействий:
Сообщения
Сообщения (messages) есть класс сущностей, которые содержат в себе текст. Сообщения являются средством, позволяющим G2 информировать пользователя о каких-либо событиях. Например, в
Управление доступом
С помощью средств управления доступом (access control) разработчик может влиять на то, что конечный пользователь видит и может делать с БЗ. Например, разработчик может управлять дос
Создание опций меню
Разработчик может определить новые опции (строки) меню сверх тех, которые используются стандартно. Когда пользователь выбирает опцию меню (user menu choise - umc) для того, чтобы внести новую строк
Средства инспекции и отладки
Ясно, что отладка прикладной системы, объединяющей продукционные правила, процедуры, различные уровни абстракции и иерархию классов, может превратиться в далеко не тривиальную задачу. В этой ситуац
Интерфейс с внешним окружением
В G2 реализована распределенная обработка приложения на принципах архитектуры клиент-сервер. Клиентная система Telewindows обеспечивает множественный доступ к централизованной базе
Информационные - ресурсы Интернет
Ниже даны некоторые ресурсы Интернет, посвященные проблемам искусственного интеллекта и экспертным системам:
1. http://www.aaai.org – сервер Американской ассоциации искусст
Новости и инфо для студентов