Проблемы и перспективы - раздел Образование, Введение в экспертные системы
Остановимся На Трудностях, Связанных С Обучением Нелинейных Н...
Остановимся на трудностях, связанных с обучением нелинейных нейронных сетей. Основные из них следующие [37].
Медленная сходимость процесса обучения. Строго сходимость доказана для дифференциальных уравнений, т.е. для бесконечно малых шагов в пространстве весов. Но бесконечно малые шаги означают бесконечно большое время обучения. При конечных шагах сходимость не гарантируется, но даже если она имеет место, то потребное для этого время может быть слишком большим, сравнимым с временем жизни пользователя.
"Ловушки", создаваемые локальными минимумами. Детерминированный алгоритм обучения не в силах обнаружить глобальный минимум или покинуть локальный минимум. Одним из приемов, позволяющих обходить ловушки, является расширение размерности пространства весов за счет увеличения числа нейронов второго слоя. Некоторые новые возможности открывают стохастические методы. Но все это достигается ценой дополнительных затрат времени обучения.
"Паралич" сети. Сигмоидальный характер передаточной функции нейрона приводит к тому, что если в процессе обучения несколько весов стали слишком большими, то нейрон попадает на горизонтальный участок функции в область насыщения. При этом, изменения других весов, даже достаточно большие, практически не сказываются на величине выхода нейрона, а значит, и на величине целевой функции.
Из выражения для производной от передаточной функции (6.2) видно, что она стремится к нулю, когда у приближается к нулю или единице. Это значит, что связь между соседними слоями практически разрывается, и процесс обучения блокируется.
Неудачный выбор диапазона входных переменных - достаточно элементарная, но часто совершаемая ошибка. Если xi - двоичная переменная со значениями 0 и 1, то примерно в половине случаев она будет иметь нулевое значение: xi = 0. Поскольку х входит сомножителем в выражение для модификации веса (6.6), то эффект будет тот же, что при насыщении: модификация соответствующих весов прекратится, и обучение будет блокировано. Правильный диапазон для входных переменных должен быть симметричным, например от + 1 до -1.
"Перетренировка", Следует иметь в виду, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке. Здесь действует общий закон: чем лучше система адаптирована к данным конкретным условиям, тем меньше она способна к обобщению и экстраполяции, тем скорее она может оказаться неработоспособной при изменении этих условий. А такие изменения от выборки к выборке неизбежны, особенно если выборки имеют небольшие размеры. Расширение объема обучающей выборки позволяет добиться большей устойчивости, но за счет увеличения времени обучения.
Проблема объема памяти. Емкость памяти нейросети, ее способность хранить и воспроизводить информацию являются одной из важнейших характеристик нейросети. Однако если в традиционных-последовательных машинах характеристики памяти достаточно понятны и доступны оценке, то в нейросетях дело обстоит намного сложнее.
Стохастические методы обучения. Детерминистский метод обучения производит модификацию весов сети только на основе информации о направлении градиента целевой функции в пространстве весов. Такой метод способен привести к локальному экстремуму, но не способен вывести из него, поскольку в точке экстремума сила обращается в нуль и причина движения исчезает (как это видно из уравнения динамики (6.4). Чтобы заставить сеть покинуть локальный экстремум и отправиться на поиски глобального, нужно создать дополнительную силу, которая зависела бы не от градиента целевой функции, а от каких-то других факторов. Выбор этих факторов, более или менее оправданный различными эвристическими соображениями, и составляет основу различных методов преодоления локальных ловушек. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической. Само присутствие такого рода случайных факторов: "шума", "температуры" приводит к "усреднению, сглаживанию, размыванию" потенциальных барьеров. Мелкие гребни и впадины исчезают, и если в пространстве параметров есть глобальный экстремум, то выявляется сила, действующая в направлении этого экстремума. Правда, сила эта имеет случайный характер: она только в среднем направлена в сторону этого экстремума. По мере приближения к нему эта средняя регулярная составляющая уменьшается, приближаясь к нулю, и остается только случайная. Даже достигнув глобального экстремума, система будет продолжать колебаться около него с достаточно большой амплитудой. Поэтому обычно поступают таким образом: по мере приближения к экстремуму амплитуду случайной составляющей постепенно снижают. Такая процедура напоминает отжиг металла, когда для достижения оптимальной энергетической структуры металла его сначала нагревают, а потом медленно и постепенно охлаждают. Этот метод получил название "метод имитации отжига ".
Все темы данного раздела:
Структура экспертных систем
ЭС состоит [37] из следующих основных компонентов: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения зна
Интерпретация данных
Это одна из традиционных задач для ЭС. Интерпретация – процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анал
Диагностика
Диагностика – процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с един
Мониторинг
Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – пропуск тревожно
Проектирование
Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов – чертеж, пояснительная за
Прогнозирование
Прогнозирование позволяет предсказать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуа
Обучение
Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью компьютера и подс
Поддержка принятия решений
Поддержка принятия решений – это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающими процесс принятия решения. Эти ЭС помогают сп
Этапы разработки экспертных систем
Разработка ЭС имеет существенные отличия от разработки обычного программного продукта. Опыт создания ЭС показал, что использование при их разработке методологии, принятой в традиционном программиро
Представление знаний в экспертных системах
Первый и основной вопрос, который надо решить при представлении знаний- это вопрос определения состава знаний, т.е. определение того, "ЧТО ПРЕДСТАВЛЯТЬ" в экспертной систе
Исчисление предикатов
Слово "логика" означает систематический метод рассуждений. Рассмотрим две конкретные системы логики - базисную (исчисление высказываний) и более богатую (исчисление предик
Доказательство приведением к противоречию
При построении выводов не всегда целесообразно ждать появления искомого заключения, просто применяя правила вывода. Именно такое часто случается, когда делается допущение В для дока
Доказательство методом резолюции
Применяется всего одно правило вывода, что позволяет не запоминать многочисленных правил вывода и тавтологии. Это- правило резолюции, которое приведено в таблице 2.1
Применение метода резолюций для ответов на вопросы
Предположим, что предикат F(х,у), означает х - отец у, и даны следующие факты об отцовстве:
F(john,. harry)
Эвристики для поиска доказательства
При написании программы, которая будет делать за нас резолюцию и искать ответы на вопросы, полезно использовать следующие методы.
Предпочтение единичных.
Подстановка и унификация
Метод резолюции требует, чтобы делались подстановки в дизъюнкты так, чтобы две литеры с противоположными знаками содержали совпадающие атомы. Так как эти атомы могут содержать перем
Семантические сети
Понятие семантической сети основано на древней и очень простой идее о том, что <память> формируется через ассоциации между понятиями. Понятие <ассоциативная память> появ
Правила продукций
Самым распространенным форматом для представления знаний, наиболее соответствующим их процедурному характеру, является правило продукции, которое по своей сути - просто программа из
Методы стратегии поиска решений
Как было показано в главе 1, экспертные системы состоят из трех компонентов:
- базы знаний, содержащей правила продукций;
- базы данных, которая отображает текущее
Поиск решения задач в пространстве состояний
Чтобы построить описание задачи с использованием пространства состояний, нужно иметь определенное представление о том, что собой представляют состояния в конкретной задаче. Таким об
Методы поиска решений в одном пространстве
Методы поиска решений в одном пространстве обычно делятся на поиск в пространстве состояний, поиск методом редукции, эвристический поиск и поиск генерация-проверка [39].
В
Процессы поиска на графе
Граф определяется как множество вершин вместе с множеством ребер, причем каждое ребро задается парой вершин. Если ребра направлены, то их также называют дугами. Дуги з
Эвристический поиск
Подход “поиск в пространстве состояний” сформировался в результате попыток автоматизации игр. В большинстве игр имеется конечное число позиций (или “состояний”), которые могу
Экспертная система на правилах
В системе, базирующейся на правилах, результат является действием одного из продукционных правил. Эти продукционные правила определяются входными данными.
Таким образом, экспертная система
Экспертные системы, базирующиеся на логике
В экспертных системах, базирующихся на логике, база знаний состоит из утверждений в виде предложений логики предикатов.
Такие предложения могут группироваться, образуя базу
Системы с доской объявлений
В последние годы в разработке архитектуры экспертных систем появилось новое направление [61], которое получило название системы с доской объявлений (blackboard syste
Принцип организации систем с доской объявлений
В основу организации систем этого типа положена следующая идея.
Представьте себе группу экспертов, которые сидят возле классной доски (или большой доски объявлений) и пытаются решить какую
Система HEARSAY
Архитектура на основе доски объявлений выросла из разработанной в конце 70 годов системы распознавания речи HEARSAY-II и HEARSAY-III. Программирование компьютера с целью распознаван
Виды неопределенности
В предыдущих примерах все знания были определенными. Утверждениями были или ИСТИНА, или ЛОЖЬ. Однако в жизни имеется тенденция к “нечеткости” в представлении знаний. Тем не менее, н
Байесовский метод
При байесовском подходе степень достоверности каждого из фактов базы знаний оценивается вероятностью, которая принимает значения в диапазоне от 0 до 1. Вероятности исходных фактов о
Биполярные схемы для коэффициентов определенности
Прототипом систем, основанных на приближенных рассуждениях, являются MYCYN и ее прямой потомок EMYCYN. В EMYCYN в любом случае, когда должна быть численно выражена определенность, и
Теория свидетельств Демпстера-Шефера
Подход, принятый в теории Демпстера-Шефера (ТДШ) [64] отличается от байесовского подхода и метода коэффициентов уверенности тем, что, во-первых, здесь используется не точечная оценк
Нечеткие множества и нечеткая логика
Для формализации нечетких знаний, характеризуемых лингвистической неопределенностью, применяется теория нечетких или расплывчатых множеств. Основы теории нечетких множеств были созданы в 1965 году
Многоступенчатые рассуждения
Чтобы представить себе, что же такое многоступенчатое рассуждение, допустим, что вы заболели. У вас простуда, вирусная инфекция или грипп, и вы хотели бы знать, что следует предприн
Процесс распространения в сети
Рассмотрим пример, иллюстрирующий распространение коэффициентов определенности в сети (Рисунок 6.8).
Особенности нейросетей
Главное достоинство [37] нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его
Свойства нейрона
С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, - это устройство для получения нелинейной функции нескольких переменных Xi с возможнос
Использование нелинейных элементов
Один из самых неожиданных результатов анализа И.Минского и С.Пейперта состоял в том, что персептрон, построенный на линейных функциях активации, не может воспроизвес
Сеть Хопфилда
В 1982 г. появилась работа Дж. Хопфилда [70], которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняет
Многослойные сети
Сеть Хопфилда поддерживает множество лишних, неэффективных связей, по существу дублирующих друг друга. В реальных нервных системах поддержание таких связей требует определенных затр
Динамика обучения и поведения
В механике динамика в отличие от статики и кинематики предполагает наличие двух моментов: изменение переменных во времени и обусловленность этих изменений силами. Эти два момента им
Обучение многослойных сетей
Преимущества многослойных сетей были поняты достаточно рано. Ясно было также, что для использования этих преимуществ, преобразование при переходе от одного слоя к другому должно быть нелинейным: по
Применение нейросетевой технологии
В настоящее время известно много удачных примеров применения нейросетевого подхода [19] для построения интеллектуальных информационных систем и, в частности, экспертных систем.
Инструментальный комплекс G2
История развития инструментальных средств (ИС) для создания ЭС реального времени началась в 1985 г., когда фирма Lisp Machine Inc. выпустила систему Picon для символьных ЭВМ Symboli
База знаний
Все знания в G2 хранятся в двух типах файлов: базы знаний (БЗ) и библиотеки знаний (БиЗ). В файлах БЗ хранятся знания о приложениях: определения всех объектов, объекты, правила, про
Структура данных БЗ
Глобально сущности в БЗ G2 с точки зрения их использования могут быть разделены на структуры данных и исполняемые утверждения. Примерами первых являются объекты и их классы, связи (
Объекты
Объекты в базе знаний представляют собой отображения элементов реального мира, которые будут применяться при решении поставленной перед ЭС РВ задачи. Выделяют постоянные и временные
Связи и отношения
G2 предусмотрены два вида взаимосвязей между объектами: связи и отношения. Под связями понимается взаимосвязь между двумя сущностями, задаваемая разработчиком приложения и им
Исполняемые утверждения БЗ
Основу исполняемых утверждений БЗ составляют правила и процедуры. Кроме того, есть формулы, функции, действия и т.п. Правила в G2 имеют традиционный вид: условие (антецедент) и закл
Машина вывода
Одним из основных компонентов G2 является машина вывода, выполняющая рассуждения на основании:
• знаний, содержащихся в базе знаний;
• данных, пост
Планировщик
В связи с тем, что С2-приложение управляет множеством одновременно возникающих задач, необходим Планировщик. Планировщик управляет всеми процессами в G2 (Рисунок 8.1). Планировщик о
Моделирование
Одним из возможных источников данных для G2 является система моделирования внешнего окружения. Данная система используется для моделирования реальных объектов и устр
Естественно- языковой текстовый редактор
Разработчик G2 представляет информацию о разрабатываемом приложении на ограниченном английском языке, и ему предоставлена возможность ссылаться на любую сущность в БЗ многими способ
Изображения
Изображения используются для того, чтобы предоставить пользователю возможность увидеть значение переменных и выражений. Существуют следующие варианты, реализующие возможность изобра
Управляющие воздействия
Управляющие воздействия (end-user controls) - это средства, с помощью которых конечный пользователь может взаимодействовать с приложением. Существуют следующие виды управляющих воздействий:
Сообщения
Сообщения (messages) есть класс сущностей, которые содержат в себе текст. Сообщения являются средством, позволяющим G2 информировать пользователя о каких-либо событиях. Например, в
Управление доступом
С помощью средств управления доступом (access control) разработчик может влиять на то, что конечный пользователь видит и может делать с БЗ. Например, разработчик может управлять дос
Создание опций меню
Разработчик может определить новые опции (строки) меню сверх тех, которые используются стандартно. Когда пользователь выбирает опцию меню (user menu choise - umc) для того, чтобы внести новую строк
Средства инспекции и отладки
Ясно, что отладка прикладной системы, объединяющей продукционные правила, процедуры, различные уровни абстракции и иерархию классов, может превратиться в далеко не тривиальную задачу. В этой ситуац
Интерфейс с внешним окружением
В G2 реализована распределенная обработка приложения на принципах архитектуры клиент-сервер. Клиентная система Telewindows обеспечивает множественный доступ к централизованной базе
Информационные - ресурсы Интернет
Ниже даны некоторые ресурсы Интернет, посвященные проблемам искусственного интеллекта и экспертным системам:
1. http://www.aaai.org – сервер Американской ассоциации искусст
Новости и инфо для студентов