Динамика обучения и поведения - раздел Образование, Введение в экспертные системы
В Механике Динамика В Отличие От Статики И Кинематики Предпол...
В механике динамика в отличие от статики и кинематики предполагает наличие двух моментов: изменение переменных во времени и обусловленность этих изменений силами. Эти два момента имеют смысл применительно и к нейронным сетям. Сила здесь не просто метафора. Ей можно дать точное определение и количественное выражение. Это делает ее полезным инструментом для описания поведения системы. Но для этого сначала необходимо формально описать цель поведения системы.
При описании поведения системы одним из наиболее общих подходов [71] является обращение к экстремах принципам, когда цель поведения задается в виде стремления к максимуму или минимуму некоторой целевой функции (функционала потенциала):
V(x) = max .
Часто в роли такого потенциала выступает квадратичная функция от переменных, характеризующих систему ("энергия" Хопфилда, суммарный квадрат ошибки в методе обратного распространения и т.п.). Вид целевой функции наряду с конфигур сети является важнейшим фактором, определяющим характер поведения системы.
Определим обобщенную силу Fx действующую на переменyю x и ответственную за ее изменения, как частную производную от целевой функции по этой переменной:
(6.3)
Понятие силы удобно, потому что обычно оно определяется таким образом, что обладает свойством аддитивности. Пусть на одну переменную действует несколько факторов (например, она связана с несколькими другими переменными, как в нейросетях). Если необходимо определить результат их совместного действия, то слудует охарактеризовать эти факторы через силы и затем найти равнодействующую этих сил; вследствие аддитивности она будет равна векторной сумме этих сил.
В общем случае картина поведения вьглядит следующим образом: задаются целевая функция и условия, наложенные на переменные. В частности, некоторые переменные быть фиксированными. Тогда остальные свободные переменые начинают меняться в сторону увеличения целевой функции. Процесс продолжается до тех пор, пока не будет достигнут возможный в этих условиях максимум целевой функции (условный максимум). Поскольку поведение свободной переменной всегда направлено увеличение целевой функции, то для него справедливо следуещее выражение:
Отсюда следует, что знак обобщенной силы Fx и знак реакции dxldt в свободном поведении всегда совпадают: либо оба положительны, либо оба отрицательны - только так можно обеспечить положительность dVldt.
Таким образом, основное уравнение динамики системы, связывающее скорость изменения свободной переменной dxldt с действующей на нее силой Fx, можно написать в следующем виде:
(6.4)
Это уравнение является чрезвычайно общим. Все известные уравнения, описывающие процессы обучения или поведения нейросетей, являются его частными случаями и различаются между собой либо характером переменных, либо видом целевой функции.
В частном случае, когда переменные являются непрерывными и зависимость между ними линейная, уравнение может быть переписано в следующем виде:
(6.5)
Здесь коэффициент пропорциональности Т имеет смысл постоянной времени, характеризующей инерционность переменной. Практически в нейросетях ее задают произвольно, руководствуясь желанием обеспечить, с одной стороны, достаточно высокую скорость, с другой- устойчивость процесса. В дискретном случае задание Т определяет величину шага процесса 
, т.е. изменение переменной за один такт. Чем больше Т, тем меньше шаг и тем медленнее протекает процесс. Основное уравнение динамики в этом случае можно записать в виде:
В случае с двоичными переменными этот шаг предопределен характером переменной: он либо равен 1 (если переменная принимает значения 0 и 1), либо 2 (если ее значение +1 и -1). В противном случае уравнение динамики может быть записано в виде:
Все типы уравнений динамики и различные их комбанации используются в описании нейросетей.
Используем в качестве примера сеть Хопфилда [71].
Целевая функция может быть описана в виде:
Переменные обычно являются двоичными, весовые коэффициенты сij могут рассматриваться как дискретные или непрерывные переменные. Предположим, что значения всех переменных xi фиксированы, свободными переменными являются только веса межнейронных связей сij. Изменение этих переменных означает обучение сети. Основное уравнение динамики в этом случае выглядит так:
Если сij - дискретные переменные, то уравнение примет вид:
Это есть не что иное, как правило Хебба для формирования весовых коэффициентов в процессе обучения (с точностью до константы Тс).
Предположим теперь, что фиксированы значения весовых коэффициентов сij (сеть обучена) и некоторые из признаков хj (задана частичная информация об эталоне). Для оставшихся свободными признаков основное уравнение динамики принимает вид:
Здесь 
и есть равнодействующая сил вида: , действующих на переменную 
со стороны переменных 
, через связи 
.
Если - двоичные переменные, принимающие значения +1,-1, то формула превращается для них в выражение:
В таком виде это уравнение динамики первоначально и было написано Хопфилдом.
Все темы данного раздела:
Структура экспертных систем
ЭС состоит [37] из следующих основных компонентов: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения зна
Интерпретация данных
Это одна из традиционных задач для ЭС. Интерпретация – процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анал
Диагностика
Диагностика – процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с един
Мониторинг
Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – пропуск тревожно
Проектирование
Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов – чертеж, пояснительная за
Прогнозирование
Прогнозирование позволяет предсказать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуа
Обучение
Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью компьютера и подс
Поддержка принятия решений
Поддержка принятия решений – это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающими процесс принятия решения. Эти ЭС помогают сп
Этапы разработки экспертных систем
Разработка ЭС имеет существенные отличия от разработки обычного программного продукта. Опыт создания ЭС показал, что использование при их разработке методологии, принятой в традиционном программиро
Представление знаний в экспертных системах
Первый и основной вопрос, который надо решить при представлении знаний- это вопрос определения состава знаний, т.е. определение того, "ЧТО ПРЕДСТАВЛЯТЬ" в экспертной систе
Исчисление предикатов
Слово "логика" означает систематический метод рассуждений. Рассмотрим две конкретные системы логики - базисную (исчисление высказываний) и более богатую (исчисление предик
Доказательство приведением к противоречию
При построении выводов не всегда целесообразно ждать появления искомого заключения, просто применяя правила вывода. Именно такое часто случается, когда делается допущение В для дока
Доказательство методом резолюции
Применяется всего одно правило вывода, что позволяет не запоминать многочисленных правил вывода и тавтологии. Это- правило резолюции, которое приведено в таблице 2.1
Применение метода резолюций для ответов на вопросы
Предположим, что предикат F(х,у), означает х - отец у, и даны следующие факты об отцовстве:
F(john,. harry)
Эвристики для поиска доказательства
При написании программы, которая будет делать за нас резолюцию и искать ответы на вопросы, полезно использовать следующие методы.
Предпочтение единичных.
Подстановка и унификация
Метод резолюции требует, чтобы делались подстановки в дизъюнкты так, чтобы две литеры с противоположными знаками содержали совпадающие атомы. Так как эти атомы могут содержать перем
Семантические сети
Понятие семантической сети основано на древней и очень простой идее о том, что <память> формируется через ассоциации между понятиями. Понятие <ассоциативная память> появ
Правила продукций
Самым распространенным форматом для представления знаний, наиболее соответствующим их процедурному характеру, является правило продукции, которое по своей сути - просто программа из
Методы стратегии поиска решений
Как было показано в главе 1, экспертные системы состоят из трех компонентов:
- базы знаний, содержащей правила продукций;
- базы данных, которая отображает текущее
Поиск решения задач в пространстве состояний
Чтобы построить описание задачи с использованием пространства состояний, нужно иметь определенное представление о том, что собой представляют состояния в конкретной задаче. Таким об
Методы поиска решений в одном пространстве
Методы поиска решений в одном пространстве обычно делятся на поиск в пространстве состояний, поиск методом редукции, эвристический поиск и поиск генерация-проверка [39].
В
Процессы поиска на графе
Граф определяется как множество вершин вместе с множеством ребер, причем каждое ребро задается парой вершин. Если ребра направлены, то их также называют дугами. Дуги з
Эвристический поиск
Подход “поиск в пространстве состояний” сформировался в результате попыток автоматизации игр. В большинстве игр имеется конечное число позиций (или “состояний”), которые могу
Экспертная система на правилах
В системе, базирующейся на правилах, результат является действием одного из продукционных правил. Эти продукционные правила определяются входными данными.
Таким образом, экспертная система
Экспертные системы, базирующиеся на логике
В экспертных системах, базирующихся на логике, база знаний состоит из утверждений в виде предложений логики предикатов.
Такие предложения могут группироваться, образуя базу
Системы с доской объявлений
В последние годы в разработке архитектуры экспертных систем появилось новое направление [61], которое получило название системы с доской объявлений (blackboard syste
Принцип организации систем с доской объявлений
В основу организации систем этого типа положена следующая идея.
Представьте себе группу экспертов, которые сидят возле классной доски (или большой доски объявлений) и пытаются решить какую
Система HEARSAY
Архитектура на основе доски объявлений выросла из разработанной в конце 70 годов системы распознавания речи HEARSAY-II и HEARSAY-III. Программирование компьютера с целью распознаван
Виды неопределенности
В предыдущих примерах все знания были определенными. Утверждениями были или ИСТИНА, или ЛОЖЬ. Однако в жизни имеется тенденция к “нечеткости” в представлении знаний. Тем не менее, н
Байесовский метод
При байесовском подходе степень достоверности каждого из фактов базы знаний оценивается вероятностью, которая принимает значения в диапазоне от 0 до 1. Вероятности исходных фактов о
Биполярные схемы для коэффициентов определенности
Прототипом систем, основанных на приближенных рассуждениях, являются MYCYN и ее прямой потомок EMYCYN. В EMYCYN в любом случае, когда должна быть численно выражена определенность, и
Теория свидетельств Демпстера-Шефера
Подход, принятый в теории Демпстера-Шефера (ТДШ) [64] отличается от байесовского подхода и метода коэффициентов уверенности тем, что, во-первых, здесь используется не точечная оценк
Нечеткие множества и нечеткая логика
Для формализации нечетких знаний, характеризуемых лингвистической неопределенностью, применяется теория нечетких или расплывчатых множеств. Основы теории нечетких множеств были созданы в 1965 году
Многоступенчатые рассуждения
Чтобы представить себе, что же такое многоступенчатое рассуждение, допустим, что вы заболели. У вас простуда, вирусная инфекция или грипп, и вы хотели бы знать, что следует предприн
Процесс распространения в сети
Рассмотрим пример, иллюстрирующий распространение коэффициентов определенности в сети (Рисунок 6.8).
Особенности нейросетей
Главное достоинство [37] нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его
Свойства нейрона
С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, - это устройство для получения нелинейной функции нескольких переменных Xi с возможнос
Использование нелинейных элементов
Один из самых неожиданных результатов анализа И.Минского и С.Пейперта состоял в том, что персептрон, построенный на линейных функциях активации, не может воспроизвес
Сеть Хопфилда
В 1982 г. появилась работа Дж. Хопфилда [70], которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняет
Многослойные сети
Сеть Хопфилда поддерживает множество лишних, неэффективных связей, по существу дублирующих друг друга. В реальных нервных системах поддержание таких связей требует определенных затр
Обучение многослойных сетей
Преимущества многослойных сетей были поняты достаточно рано. Ясно было также, что для использования этих преимуществ, преобразование при переходе от одного слоя к другому должно быть нелинейным: по
Проблемы и перспективы
Остановимся на трудностях, связанных с обучением нелинейных нейронных сетей. Основные из них следующие [37].
Медленная сходимость процесса обучения. Строго сходимост
Применение нейросетевой технологии
В настоящее время известно много удачных примеров применения нейросетевого подхода [19] для построения интеллектуальных информационных систем и, в частности, экспертных систем.
Инструментальный комплекс G2
История развития инструментальных средств (ИС) для создания ЭС реального времени началась в 1985 г., когда фирма Lisp Machine Inc. выпустила систему Picon для символьных ЭВМ Symboli
База знаний
Все знания в G2 хранятся в двух типах файлов: базы знаний (БЗ) и библиотеки знаний (БиЗ). В файлах БЗ хранятся знания о приложениях: определения всех объектов, объекты, правила, про
Структура данных БЗ
Глобально сущности в БЗ G2 с точки зрения их использования могут быть разделены на структуры данных и исполняемые утверждения. Примерами первых являются объекты и их классы, связи (
Объекты
Объекты в базе знаний представляют собой отображения элементов реального мира, которые будут применяться при решении поставленной перед ЭС РВ задачи. Выделяют постоянные и временные
Связи и отношения
G2 предусмотрены два вида взаимосвязей между объектами: связи и отношения. Под связями понимается взаимосвязь между двумя сущностями, задаваемая разработчиком приложения и им
Исполняемые утверждения БЗ
Основу исполняемых утверждений БЗ составляют правила и процедуры. Кроме того, есть формулы, функции, действия и т.п. Правила в G2 имеют традиционный вид: условие (антецедент) и закл
Машина вывода
Одним из основных компонентов G2 является машина вывода, выполняющая рассуждения на основании:
• знаний, содержащихся в базе знаний;
• данных, пост
Планировщик
В связи с тем, что С2-приложение управляет множеством одновременно возникающих задач, необходим Планировщик. Планировщик управляет всеми процессами в G2 (Рисунок 8.1). Планировщик о
Моделирование
Одним из возможных источников данных для G2 является система моделирования внешнего окружения. Данная система используется для моделирования реальных объектов и устр
Естественно- языковой текстовый редактор
Разработчик G2 представляет информацию о разрабатываемом приложении на ограниченном английском языке, и ему предоставлена возможность ссылаться на любую сущность в БЗ многими способ
Изображения
Изображения используются для того, чтобы предоставить пользователю возможность увидеть значение переменных и выражений. Существуют следующие варианты, реализующие возможность изобра
Управляющие воздействия
Управляющие воздействия (end-user controls) - это средства, с помощью которых конечный пользователь может взаимодействовать с приложением. Существуют следующие виды управляющих воздействий:
Сообщения
Сообщения (messages) есть класс сущностей, которые содержат в себе текст. Сообщения являются средством, позволяющим G2 информировать пользователя о каких-либо событиях. Например, в
Управление доступом
С помощью средств управления доступом (access control) разработчик может влиять на то, что конечный пользователь видит и может делать с БЗ. Например, разработчик может управлять дос
Создание опций меню
Разработчик может определить новые опции (строки) меню сверх тех, которые используются стандартно. Когда пользователь выбирает опцию меню (user menu choise - umc) для того, чтобы внести новую строк
Средства инспекции и отладки
Ясно, что отладка прикладной системы, объединяющей продукционные правила, процедуры, различные уровни абстракции и иерархию классов, может превратиться в далеко не тривиальную задачу. В этой ситуац
Интерфейс с внешним окружением
В G2 реализована распределенная обработка приложения на принципах архитектуры клиент-сервер. Клиентная система Telewindows обеспечивает множественный доступ к централизованной базе
Информационные - ресурсы Интернет
Ниже даны некоторые ресурсы Интернет, посвященные проблемам искусственного интеллекта и экспертным системам:
1. http://www.aaai.org – сервер Американской ассоциации искусст
Новости и инфо для студентов