Персептроны - раздел Образование, Основные понятия и определения
Рис. 13. П...
Рис. 13. Персептронный нейрон
Первое систематическое изучение искусственных нейронных сетей было предпринято Маккалокком и Питтсом в 1943 г. Позднее они исследовали сетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам. Простая нейронная модель, показанная на рис. 13, использовалась в большей части их работы. Элемент Σ умножает каждый вход х на вес w и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае – нулю. Эти системы (и множество им подобных) получили название персептронов. Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов (см. рис. 14), хотя в принципе описываются и более сложные системы.
В 60-е годы персептроны вызвали большой интерес и оптимизм. Розенблатт доказал замечательную теорему об обучении персептронов, объясняемую ниже. Уидроу дал ряд убедительных демонстраций систем персептронного типа, и исследователи во всем мире стремились изучить возможности этих систем. Первоначальная эйфория сменилась разочарованием, когда оказалось, что персептроны не способны обучиться решению ряда простых задач. Минский строго проанализировал эту проблему и показал, что имеются жесткие ограничения на то, что могут выполнять однослойные персептроны, и, следовательно, на то, чему они могут обучаться. Так как в то время методы обучения многослойных сетей не были известны, исследователи перешли в более многообещающие области, и исследования в области нейронных сетей пришли в упадок. Недавнее открытие методов обучения многослойных сетей в большей степени, чем какой-либо иной фактор, повлияло на возрождение интереса и исследовательских усилий.
Рис. 14. Персептрон со многими выходами
Работа Минского, возможно, и охладила пыл энтузиастов персептрона, но обеспечила время для необходимой консолидации и развития лежащей в основе теории. Важно отметить, что анализ Минского не был опровергнут. Он остается важным исследованием и должен изучаться, чтобы ошибки 60-х годов не повторились.
Несмотря на свои ограничения, персептроны широко изучались (хотя не слишком широко использовались). Теория персептронов является основой для многих других типов искусственных нейронных сетей, и персептроны иллюстрируют важные принципы. В силу этих причин они являются логической исходной точкой для изучения искусственных нейронных сетей.
11. 3.1. Персептронная представляемость
Доказательство теоремы обучения персептрона показало, что персептрон способен научиться всему, что он способен представлять. Важно при этом уметь различать представляемость и обучаемость. Понятие представляемости относится к способности персептрона (или другой сети) моделировать определенную функцию. Обучаемость же требует наличия систематической процедуры настройки весов сети для реализации этой функции.
Один из самых пессимистических результатов Минского показывает, что однослойный персептрон не может воспроизвести такую простую функцию, как «исключающее или». Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рис. 15. Обозначим один вход через х, а другой через у, тогда все их возможные комбинации будут состоять из четырех точек на плоскости х-у, как показано на рис. 16. Например, точка х = 0 и у = 0 обозначена на рисунке как точка А. Табл. 6 показывает требуемую связь между входами и выходом, где входные комбинации, которые должны давать нулевой выход, помечены А0 и А1, единичный выход – В0 и В1.
Рис. 15. Однонейронная система
В сети на рис. 15 функция F является обычным порогом, так что OUT принимает значение ноль, когда NET меньше 0,5, и единица в случае, когда NET больше или равно 0,5. Нейрон выполняет следующее вычисление:
NET = xw1 + yw2.
Никакая комбинация значений двух весов не может дать соотношения между входом и выходом, задаваемого табл. 9.
Чтобы понять это ограничение, зафиксируем NET на величине порога 0,5. Сеть в этом случае описывается уравнением xw1 + yw2 = 0,5. Это уравнение линейно по х и у, т. е. все значения по х и у, удовлетворяющие этому уравнению, будут лежать на некоторой прямой в плоскости х-у.
Таблица 9
Таблица истинности для функции «исключающее или»
Точки
Значения х
Значения у
Требуемый выход
A0
B0
B1
A1
Любые входные значения для х и у на этой линии будут давать пороговое значение 0,5 для NET. Входные значения с одной стороны прямой обеспечат значения NET больше порога, следовательно, OUT=1. Входные значения по другую сторону прямой обеспечат значения NET меньше порогового значения, делая OUT равным 0. Изменения значений w1, w2 и порога будут менять наклон и положение прямой. Для того чтобы сеть реализовала функцию «исключающее или», заданную в табл. 9, нужно расположить прямую так, чтобы точки А были с одной стороны прямой, а точки В – с другой. Нарисовать такую прямую на рис. 16 невозможно. Это означает, что какие бы значения ни приписывались весам и порогу, сеть не способна воспроизвести соотношение между входом и выходом, требуемое для представления функции «исключающее или».
Рис. 16. Проблема «исключающее или»
Взглянув на задачу с другой точки зрения, рассмотрим NET как поверхность над плоскостью х-у. Каждая точка этой поверхности находится над соответствующей точкой плоскости х-у на расстоянии, равном значению NET в этой точке. Можно показать, что наклон этой NET-поверхности одинаков для всей поверхности х-у. Все точки, в которых значение NET равно величине порога, проектируются на линию уровня плоскости NET (см. рис. 17).
Рис. 17. Персептронная NET-плоскость
Ясно, что все точки по одну сторону пороговой прямой спроецируются в значения NET, большие порога, а точки по другую сторону дадут меньшие значения NET. Таким образом, пороговая прямая разбивает плоскость х-у на две области. Во всех точках по одну сторону пороговой прямой значение OUT равно единице, по другую сторону – нулю.
К сожалению, этот пример не единственный. Имеется обширный класс функций, не реализуемых однослойной сетью. Об этих функциях говорят, что они являются линейно неразделимыми, и они накладывают определенные ограничения на возможности однослойных сетей.
Линейная разделимость ограничивает однослойные сети задачами классификации, в которых множества точек (соответствующих входным значениям) могут быть разделены геометрически. Для случая с двумя входами разделитель является прямой линией. В случае трех входов разделение осуществляется плоскостью, рассекающей трехмерное пространство. Для четырех или более входов визуализация невозможна, и необходимо мысленно представить n-мерное пространство, рассекаемое «гиперплоскостью» – геометрическим объектом, который рассекает пространство четырех или большего числа измерений.
Так как линейная разделимость ограничивает возможности персептронного представления, то важно знать, является ли данная функция разделимой. К сожалению, не существует простого способа определить это, если число переменных велико.
Нейрон с п двоичными входами может иметь 2nразличных входных образов, состоящих из нулей и единиц. Так как каждый входной образ может соответствовать двум различным бинарным выходам (единица и ноль), то всего имеется 22nфункций 1от n переменных.
Таблица 10
Линейно разделимые функции
n
22n
Число линейно разделимых функций
4,3х109
1,8х1019
15 028 134
Как видно из табл. 10, вероятность того, что случайно выбранная функция окажется линейно разделимой, весьма мала даже для умеренного числа переменных. По этой причине однослойные персептроны на практике ограничены простыми задачами.
В настоящее время искусственный интеллект одна из быстро развивающихся областей науки которая разрабатывает методы и средства поиска решений... Идея создания искусственного подобия человеческого разума для решения сложных... В XVIII в Г Лейбниц и Р Декарт независимо друг от друга развили эту идею предложив...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:
Персептроны
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Понятие искусственного интеллекта
Центральным понятием является понятие «искусственный интеллект». Термин искусственный интеллект (artificial intelligence) был предложен в 1956 г. на научном семинаре в Стэндфордско
Цели и задачи искусственного интеллекта
К основным целям искусственного интеллекта можно отнести:
1. Обработка зрительных сцен:
- обработка изображения;
- распознавание и понимание образов;
- машинная
Истоки формальных рассуждений
2.1. Левополушарное и правополушарное мышления
Как известно, мозг человека состоит из двух полушарий, каждое из которых по-своему преобразует информацию.
Весь окружающий мир делит
Типы мышления
Левое полушарие – «Я»
Тип мышления
Сходство – различие
Выделение признаков конкретных объектов
Декомпозиция целого на части
Понятие формальной системы
Появление формальных систем было обусловлено осознанием того факта, что совершенно различные системы, будь то технические, социальные, экономические или биологические, облад
Разрешимость формальной системы
Первым вопросом, который возникает при задании формальной системы, является вопрос об инверсии, т. е. о том, возможно ли, рассматривая какую-либо формулу формальной системы, определить, является ли
Интерпретация формальной системы
Формальные системы являются не просто игрой ума, а всегда представляют собой модель какой-то реальности (либо конкретной, либо математической).
Интерпретация представл
Доказательство и истинность
Из приведённых выше определений существует уже по построению глубокое различие между концепциями доказательства и истинности. Эти понятия относятся к двум различным областям. Априорно ничто не гара
Основные принципы силлогистики
Аристотель (384-322 гг. до н. э.) – древнегреческий учёный-энциклопедист, основоположник формальной логики. Основные сочинения в области логики: «Категории», «Об истолковании», «Аналитики первая и
Решение силлогизмов
Силлогизм – вывод ранга 2, т.е. вывод, который можно сделать на основании истинности двух посылок. В этих посылках фигурируют три класса сущностей: S ,P и M. Для формирования силлогизма используютс
Расширенная силлогистика
Расширение классической силлогистики Аристотеля возможно произвести двумя способами – переходом к негативным утверждениям и увеличением числа посылок.
Моделирование силлогистики
Основной элемент при выводах в силлогистике – переход от двух посылок к заключению. Этот процесс может быть автоматизирован, схема автоматизированной системы для получения силлогистических выводов
Синтаксис исчисления высказываний
Основное понятие исчисления высказываний – высказывание. Это предложения на естественном языке, которые могут быть истинными или ложными. При этом различают логическую истину языка
Понятие семантического дерева
Если Р={Р1…Рn} – множество высказываний, то семантическое дерево – это бинарное дерево, удовлетворяющее следующим условиям:
1) каждая дуга помечена негативной или поз
Алгоритм Куайна
Алгоритм Куайна, или алгоритм частичного перебора, позволяет доказать общезначимость формулы без просмотра полного семантического дерева. Основная идея алгоритма з
Алгоритм редукции
Алгоритм редукции позволяет доказать общезначимость формул с помощью приведения их к противоречию. Рассмотрим работу алгоритма на примере.
Пример.Проверит
Нормальные формы и алгоритм нормализации
Каждая логическая формула может изучаться алгебраически путем приведения ее к нормальной форме. Возможно приведение к двум нормальным формам – конъюнктивной нормальной форме (КНФ)
Алгоритм Куайна для ДНФ
Алгоритм Куайна для ДНФпозволяет проверить выполнимость и общезначимость приведенной дизъюнктивной нормальной формы.
Пусть р – элементарное высказывание, а S – приведенная
Принцип резолюций
В исчислении высказываний не существует общего, по-настоящему эффективного критерия для проверки выполнимости КНФ, однако есть удобный метод для выявления невыполнимости множества дизъюнктов.
Хорновские дизъюнкты
Часто в исчислении высказываний возникает следующая задача: нужно проверить какую-то формулу (цель), логически выведенную из множества фактов и правил. Резолюция является методом доказательства от
Исчисление предикатов
Уже упоминавшийся выше силлогизм «Люди смертны …» не может быть представлен с помощью исчисления высказываний. Для его формализации необходимо ввести квантифицированную переменную
Общезначимость и выполнимость формул исчисления предикатов
Понятия общезначимости и противоречивости формул, введенные в исчислении высказываний, сохраняют свою силу и для исчисления предикатов.
Формула исчисления предикатов называется
Исчисление предикатов как формальная система
Рассмотрим формальную аксиоматическую систему для исчисления предикатов.
1. Алфавит:
а) счетное множество предметных переменных x1, x2, …, xn …;
Пренексные нормальные формы исчисления предикатов
В исчислении высказываний были рассмотрены две нормальные формы высказываний – КНФ и ДНФ. В исчислении предикатов также имеется нормальная форма, так называемая пренексная нормальная форма
Сколемовские стандартные формы исчисления предикатов
Очевидно, что если формулы F и Ф равносильны, то F логически невыполнима тогда и только тогда, когда логически невыполнима Ф. Благодаря этому утверждению и в силу того, что алгоритмы приведения в П
Процедура вывода Эрбрана
В исчислении предикатов не существует универсального алгоритма, который позволяет проверить общезначимость, нейтральность, невыполнимость формулы, т.к. для формулы исчисления предикатов существует
Принцип резолюции для логики предикатов
В главе 5 был изложен принцип резолюций для исчисления высказываний, где нахождение контрарных пар не вызывало трудностей. Для логики предикатов это не так. Действительно, пусть имеются дизъюнкты т
Индуктивные рассуждения
Термин «индукция» (от лат. inductio – наведение) в науку впервые был введен Аристотелем, который, в свою очередь, приписывал первое применение этого термина Сократу. Аристот
Принцип единственного различия
«Если после введения некоторого фактора появляется или после удаления этого фактора исчезает известное явление, причем не вводились и не удалялись никакие другие факторы и не производилось никакого
Особенности индуктивных схем рассуждений
Индуктивные рассуждения справедливы при условии, что в описании ситуации имеется полное множество наблюдаемых факторов и явлений. Причем в левой части причинно-следственного отношения может стоять
Алгоритм древ
Данный алгоритм является методом качественного обобщения по признакам и предложен как развитие алгоритма обобщения Э. Ханта – CLS.
В основе метода используется дерево решений – один из спо
Индукция решающих деревьев (ID3)
Алгоритм ID3 (induction of decision tree) формирует решающие деревья на основе примеров. Каждый пример имеет одинаковый набор атрибутов (признаков), которые можно рассматрив
Метод фокусирования
Важный шаг при решении задачи обобщения понятий – получение решающих правил (продукций, деревьев), которые содержат не только логические функции на конкретных значениях признаков, но включают более
Рассуждения по аналогии
Согласно Большому энциклопедическому словарю «... аналогия (от греч. analogon – соответствие, равенство отношений) – сходство предметов (явлений, объектов) в каких-либо свой
Простая аналогия
Дадим формальные механизмы использования аналогии для решения задач. Пусть существуют два рассуждения: в первое входят два объекта S1 и S2, преобразование F и некоторый вывод
Модальные логики
Вводятся операторы над логическими формулами, которые могут модифицировать их интерпретацию. В зависимости от того, какие операторы вводятся, различают классы модальных логик:
1.
Применение нечеткой математики
Вводится понятие нечеткого множества – множества, относительно любого из элементов которого можно сделать следующие заключения:
1. Элемент принадлежит данному множе
Нечеткая силлогистика
Рассмотрим силлогизм, который содержит следующие посылки:
1. Среди тех, кто носит цилиндр, почти все ходят с тросточкой.
2. Среди тех, кто ходит с тросточкой, почти все пьют марти
Методы поиска в пространстве состояний
Методы поиска в пространстве состояний фактически являются методами поиска на графе, у которого начальная вершина – начальное состояние, и задан оператор, который строит все вершины, следующие непо
Искусственный нейрон
Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи дости
Обучение персептрона
Способность искусственных нейронных сетей обучаться является их наиболее интригующим свойством. Подобно биологическим системам, которые они моделируют, эти нейронные сети сами моделируют себя в рез
Хотите получать на электронную почту самые свежие новости?
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Новости и инфо для студентов