Свойства нейрона - раздел Образование, Введение в экспертные системы С Конструктивной Точки Зрения Нейрон, Являющийся Основным Элементом Не...
С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, - это устройство для получения нелинейной функции нескольких переменных Xi с возможностью настройки его параметров Cj в достаточно широком диапазоне. Однако традиционно нейрон описывается в терминах, заимствованных из физиологии. Согласно этим представлениям нейрон имеет один выход Sj и несколько входов (синапсов), на которые поступают внешние воздействия Xj, (от рецепторов и других нейронов). Он умножает входное воздействие на весовой коэффициент Cij (проводимость синапса) и суммирует взвешенные входы:
(6.1)
Выходная величина yi является некоторой функцией от этой суммы: yi=f(Sj). Ее называют функцией активации или передаточной функцией. Вид этой функции является важнейшей характеристикой нейрона. В простейшем случае - это линейная зависимость (Рисунок 7.1, а).
Такая зависимость использовалась в первых моделях персептрона. Несмотря на ряд первоначальных успехов, теоретический анализ возможностей персептрона, проведенный М.Минским и С.Пейпертом [68], показал, что персептрон не является универсальным устройством для распознавания и, в частности, принципиально неспособен решить целый ряд весьма простых задач. Причиной этого является именно линейный характер активационной функции.
Рисунок 7.1 Функции активации нейронной сети: а – линейная функция;
б- ступенчатая функция; в- сигмоидальная функция;
г- производная от сигмоидальной функции
Еще использовалась ступенчатая функция активации: если сумма Sj выше некоторого порогового значения c0j, то выход yj равен единице, в противном случае- минус единице (или нулю). Формально это можно описать с помощью следующей зависимости (Рисунок 7.1,6):
В настоящее время в качестве активационной функции чаще используют близкую к ступенчатой, но более гладкую зависимость, которую называют сигмоидальной, или логистической, функцией (Рисунок 7.1, в). Обычно она описывается следующим выражением:
Встречаются и другие выражения, например,
,
где |s| - абсолютная величина s, k> 0.
Параметр k задает крутизну зависимости у от s: чем больше k, тем ближе сигмоида к пороговой функции; чем меньше k, тем ближе она к линейной. Таким образом, сигмоида является некоторым компромиссом между линейной и ступенчатой функцией, сохраняющим достоинства обеих. Подобно ступенчатой функции, она нелинейная, и это важно, поскольку только нелинейные функции позволяют вычленять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. Но в то же время сигмоида в отличие от ступенчатой функции переходит от одного значения к другому без разрыва, как это имеет место и в линейной функции. Это обстоятельство оказывается чрезвычайно важным при поиске экстремума целевой функции в пространстве нейронных параметров, в этом случае зависимость целевой функции от параметров также оказывается гладкой, и в каждой точке пространства может быть вычислен градиент целевой функции, указывающий направление поиска экстремума.
Производная от сигмоидальной функции, характеризующая силу связи между s и у, также имеет простой вид:
(6.2)
Эта величина обращается в нуль на границах диапазона изменения у при y=0 и у=1 и достигает максимума в середине диапазона, т. е. связь между переменными наиболее сильна в середине диапазона и ослабевает к его краям (Рисунок 7.1, г).
Нейроны организуются в сеть (Рисунок 7.2) за счет того, что выход i-ro нейрона (уi) соединяется с одним из входов (хi) другого j-го нейрона. При этом выходная переменная yt отождествляется с входной переменной хi. Поэтому в дальнейшем будем использовать оба обозначения в зависимости от того, рассматривается ли данная i-я переменная как входная или как выходная. Весовой коэффициент сij ("синаптический вес") характеризует знак и силу связи между переменными хi и yi. Возможна и обратная связь, при которой выходу j-го нейрона соединяется с j-м входом j-го нейрона. В общем случае коэффициент связи сij , не обязательно равен сji .
Рисунок 7.2 Пример нейронной сети
Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в процессе обучения:. В ранних работах по нейросетям обычно различали два типа пластичности:синаптиче-скую (изменение сij) и нейронную (изменение высотгы порога нейрона с0j) В настоящее время пороговую пластичности, обычно сводят к синаптической с помощью следующего приема. К числу входов j-го нейрона добавляют еще один фиктивный x0, не связанный ни с каким реальным рецептором (Рисунок 7.2). На этот вход подают постоянный сигнал, равный +1. Весовой коэффициент этого входа с0j модифицируют в процессе обучения по общим правилам. Модификация этого коэффициента равносильна смещению порога нейрона.
Еще в 1949 г. Д. Хеббом [19] было предложено естественное правило модификации весовых коэффициентов: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается. Правило оказалось настолько удачным, что до сих пор используется в различных моделях нейронных систем. Формальнее это правило может быть описано следующим образом. Пусть время обучения разбито на такты и в k- м такте две переменные нейросети (состояния двух нейронов) имели значения xki , и xkj. Тогда вес связи между переменными возрастает на величину
В случае двоичных переменных приращение равно либо +1 (при совпадении знаков xki и xkj ), либо -1 (когда знаки различны). Если начальный вес связи был равен нулю, то вес связи к k-му такту равен:
где xki , xkj - состояния двух нейронов в k-м такте; р - число тактов обучения.
Все темы данного раздела:
Структура экспертных систем
ЭС состоит [37] из следующих основных компонентов: решателя (интерпретатора); рабочей памяти (РП), называемой также базой данных (БД); базы знаний (БЗ); компонентов приобретения зна
Интерпретация данных
Это одна из традиционных задач для ЭС. Интерпретация – процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анал
Диагностика
Диагностика – процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с един
Мониторинг
Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – пропуск тревожно
Проектирование
Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов – чертеж, пояснительная за
Прогнозирование
Прогнозирование позволяет предсказать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуа
Обучение
Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью компьютера и подс
Поддержка принятия решений
Поддержка принятия решений – это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающими процесс принятия решения. Эти ЭС помогают сп
Этапы разработки экспертных систем
Разработка ЭС имеет существенные отличия от разработки обычного программного продукта. Опыт создания ЭС показал, что использование при их разработке методологии, принятой в традиционном программиро
Представление знаний в экспертных системах
Первый и основной вопрос, который надо решить при представлении знаний- это вопрос определения состава знаний, т.е. определение того, "ЧТО ПРЕДСТАВЛЯТЬ" в экспертной систе
Исчисление предикатов
Слово "логика" означает систематический метод рассуждений. Рассмотрим две конкретные системы логики - базисную (исчисление высказываний) и более богатую (исчисление предик
Доказательство приведением к противоречию
При построении выводов не всегда целесообразно ждать появления искомого заключения, просто применяя правила вывода. Именно такое часто случается, когда делается допущение В для дока
Доказательство методом резолюции
Применяется всего одно правило вывода, что позволяет не запоминать многочисленных правил вывода и тавтологии. Это- правило резолюции, которое приведено в таблице 2.1
Применение метода резолюций для ответов на вопросы
Предположим, что предикат F(х,у), означает х - отец у, и даны следующие факты об отцовстве:
F(john,. harry)
Эвристики для поиска доказательства
При написании программы, которая будет делать за нас резолюцию и искать ответы на вопросы, полезно использовать следующие методы.
Предпочтение единичных.
Подстановка и унификация
Метод резолюции требует, чтобы делались подстановки в дизъюнкты так, чтобы две литеры с противоположными знаками содержали совпадающие атомы. Так как эти атомы могут содержать перем
Семантические сети
Понятие семантической сети основано на древней и очень простой идее о том, что <память> формируется через ассоциации между понятиями. Понятие <ассоциативная память> появ
Правила продукций
Самым распространенным форматом для представления знаний, наиболее соответствующим их процедурному характеру, является правило продукции, которое по своей сути - просто программа из
Методы стратегии поиска решений
Как было показано в главе 1, экспертные системы состоят из трех компонентов:
- базы знаний, содержащей правила продукций;
- базы данных, которая отображает текущее
Поиск решения задач в пространстве состояний
Чтобы построить описание задачи с использованием пространства состояний, нужно иметь определенное представление о том, что собой представляют состояния в конкретной задаче. Таким об
Методы поиска решений в одном пространстве
Методы поиска решений в одном пространстве обычно делятся на поиск в пространстве состояний, поиск методом редукции, эвристический поиск и поиск генерация-проверка [39].
В
Процессы поиска на графе
Граф определяется как множество вершин вместе с множеством ребер, причем каждое ребро задается парой вершин. Если ребра направлены, то их также называют дугами. Дуги з
Эвристический поиск
Подход “поиск в пространстве состояний” сформировался в результате попыток автоматизации игр. В большинстве игр имеется конечное число позиций (или “состояний”), которые могу
Экспертная система на правилах
В системе, базирующейся на правилах, результат является действием одного из продукционных правил. Эти продукционные правила определяются входными данными.
Таким образом, экспертная система
Экспертные системы, базирующиеся на логике
В экспертных системах, базирующихся на логике, база знаний состоит из утверждений в виде предложений логики предикатов.
Такие предложения могут группироваться, образуя базу
Системы с доской объявлений
В последние годы в разработке архитектуры экспертных систем появилось новое направление [61], которое получило название системы с доской объявлений (blackboard syste
Принцип организации систем с доской объявлений
В основу организации систем этого типа положена следующая идея.
Представьте себе группу экспертов, которые сидят возле классной доски (или большой доски объявлений) и пытаются решить какую
Система HEARSAY
Архитектура на основе доски объявлений выросла из разработанной в конце 70 годов системы распознавания речи HEARSAY-II и HEARSAY-III. Программирование компьютера с целью распознаван
Виды неопределенности
В предыдущих примерах все знания были определенными. Утверждениями были или ИСТИНА, или ЛОЖЬ. Однако в жизни имеется тенденция к “нечеткости” в представлении знаний. Тем не менее, н
Байесовский метод
При байесовском подходе степень достоверности каждого из фактов базы знаний оценивается вероятностью, которая принимает значения в диапазоне от 0 до 1. Вероятности исходных фактов о
Биполярные схемы для коэффициентов определенности
Прототипом систем, основанных на приближенных рассуждениях, являются MYCYN и ее прямой потомок EMYCYN. В EMYCYN в любом случае, когда должна быть численно выражена определенность, и
Теория свидетельств Демпстера-Шефера
Подход, принятый в теории Демпстера-Шефера (ТДШ) [64] отличается от байесовского подхода и метода коэффициентов уверенности тем, что, во-первых, здесь используется не точечная оценк
Нечеткие множества и нечеткая логика
Для формализации нечетких знаний, характеризуемых лингвистической неопределенностью, применяется теория нечетких или расплывчатых множеств. Основы теории нечетких множеств были созданы в 1965 году
Многоступенчатые рассуждения
Чтобы представить себе, что же такое многоступенчатое рассуждение, допустим, что вы заболели. У вас простуда, вирусная инфекция или грипп, и вы хотели бы знать, что следует предприн
Процесс распространения в сети
Рассмотрим пример, иллюстрирующий распространение коэффициентов определенности в сети (Рисунок 6.8).
Особенности нейросетей
Главное достоинство [37] нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его
Использование нелинейных элементов
Один из самых неожиданных результатов анализа И.Минского и С.Пейперта состоял в том, что персептрон, построенный на линейных функциях активации, не может воспроизвес
Сеть Хопфилда
В 1982 г. появилась работа Дж. Хопфилда [70], которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняет
Многослойные сети
Сеть Хопфилда поддерживает множество лишних, неэффективных связей, по существу дублирующих друг друга. В реальных нервных системах поддержание таких связей требует определенных затр
Динамика обучения и поведения
В механике динамика в отличие от статики и кинематики предполагает наличие двух моментов: изменение переменных во времени и обусловленность этих изменений силами. Эти два момента им
Обучение многослойных сетей
Преимущества многослойных сетей были поняты достаточно рано. Ясно было также, что для использования этих преимуществ, преобразование при переходе от одного слоя к другому должно быть нелинейным: по
Проблемы и перспективы
Остановимся на трудностях, связанных с обучением нелинейных нейронных сетей. Основные из них следующие [37].
Медленная сходимость процесса обучения. Строго сходимост
Применение нейросетевой технологии
В настоящее время известно много удачных примеров применения нейросетевого подхода [19] для построения интеллектуальных информационных систем и, в частности, экспертных систем.
Инструментальный комплекс G2
История развития инструментальных средств (ИС) для создания ЭС реального времени началась в 1985 г., когда фирма Lisp Machine Inc. выпустила систему Picon для символьных ЭВМ Symboli
База знаний
Все знания в G2 хранятся в двух типах файлов: базы знаний (БЗ) и библиотеки знаний (БиЗ). В файлах БЗ хранятся знания о приложениях: определения всех объектов, объекты, правила, про
Структура данных БЗ
Глобально сущности в БЗ G2 с точки зрения их использования могут быть разделены на структуры данных и исполняемые утверждения. Примерами первых являются объекты и их классы, связи (
Объекты
Объекты в базе знаний представляют собой отображения элементов реального мира, которые будут применяться при решении поставленной перед ЭС РВ задачи. Выделяют постоянные и временные
Связи и отношения
G2 предусмотрены два вида взаимосвязей между объектами: связи и отношения. Под связями понимается взаимосвязь между двумя сущностями, задаваемая разработчиком приложения и им
Исполняемые утверждения БЗ
Основу исполняемых утверждений БЗ составляют правила и процедуры. Кроме того, есть формулы, функции, действия и т.п. Правила в G2 имеют традиционный вид: условие (антецедент) и закл
Машина вывода
Одним из основных компонентов G2 является машина вывода, выполняющая рассуждения на основании:
• знаний, содержащихся в базе знаний;
• данных, пост
Планировщик
В связи с тем, что С2-приложение управляет множеством одновременно возникающих задач, необходим Планировщик. Планировщик управляет всеми процессами в G2 (Рисунок 8.1). Планировщик о
Моделирование
Одним из возможных источников данных для G2 является система моделирования внешнего окружения. Данная система используется для моделирования реальных объектов и устр
Естественно- языковой текстовый редактор
Разработчик G2 представляет информацию о разрабатываемом приложении на ограниченном английском языке, и ему предоставлена возможность ссылаться на любую сущность в БЗ многими способ
Изображения
Изображения используются для того, чтобы предоставить пользователю возможность увидеть значение переменных и выражений. Существуют следующие варианты, реализующие возможность изобра
Управляющие воздействия
Управляющие воздействия (end-user controls) - это средства, с помощью которых конечный пользователь может взаимодействовать с приложением. Существуют следующие виды управляющих воздействий:
Сообщения
Сообщения (messages) есть класс сущностей, которые содержат в себе текст. Сообщения являются средством, позволяющим G2 информировать пользователя о каких-либо событиях. Например, в
Управление доступом
С помощью средств управления доступом (access control) разработчик может влиять на то, что конечный пользователь видит и может делать с БЗ. Например, разработчик может управлять дос
Создание опций меню
Разработчик может определить новые опции (строки) меню сверх тех, которые используются стандартно. Когда пользователь выбирает опцию меню (user menu choise - umc) для того, чтобы внести новую строк
Средства инспекции и отладки
Ясно, что отладка прикладной системы, объединяющей продукционные правила, процедуры, различные уровни абстракции и иерархию классов, может превратиться в далеко не тривиальную задачу. В этой ситуац
Интерфейс с внешним окружением
В G2 реализована распределенная обработка приложения на принципах архитектуры клиент-сервер. Клиентная система Telewindows обеспечивает множественный доступ к централизованной базе
Информационные - ресурсы Интернет
Ниже даны некоторые ресурсы Интернет, посвященные проблемам искусственного интеллекта и экспертным системам:
1. http://www.aaai.org – сервер Американской ассоциации искусст
Новости и инфо для студентов