рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Методы нейронных сетей в задачах управления телекоммуникационными системами

Методы нейронных сетей в задачах управления телекоммуникационными системами - раздел Компьютеры, Лекция № 11. Методы...

Лекция № 11. Методы нейронных сетей в задачах управления телекоммуникационными системами

Вступление

Кибернетика, созданная в 40-х годах прошлого столетия Норбертом Винером и его коллегами, была определена, как наука об управлении и связях в организмах животных и машинах. Джон фон Нейман первым указал на аналогии между используемыми в машине обрабатывающими элементами и нейронами.

«Подсмотренные» у живой природы элементы интеллекта удалось формализовать. Далее, с привлечением математики, наука кибернетика начала самостоятельное существование. Значительное место в кибернетике заняли нейронные сети (НС), являющиеся моделью параллельных и распределенных вычислений, основанных на задании топологии и весах связей между нейронами. Специфика этих весовых вычислений в применении к задачам обработки информации и управления обусловила возможность существования нейронных сетей, как самостоятельной науки. Вместе с тем методы использования НС имеют много общего с классическими задачами оценки и управления, рассмотренными в разделах 5.6.7.

11.1. Основные сведения из нейронных сетей

Базовым элементом НС является нейрон-искусственный элемент, имеющий несколько (N) входов-дендритов, каждый из которых обладает индивидуальным весом , , и одним выходом-ансоном (рис.11.1). Этот нейрон носит название персептрона МакКаллока-Питтса. Здесь предполагается, что входящая информация может носить аналоговый характер, а весовые коэффициенты , включенные в каждый входной канал, определяют значимость, важность того или иного входного сигнала .

Рис.11.1. Структурная схема нейрона МакКаллока-Питтса

Выходной сигнал сумматора

(11.1)

представляет собой взвешенную сумму воздействий, при этом может оказаться, что лишь один сигнал будет иметь вес , а остальные ? принимать различные значения из интервала , . Очевидно процедура (11.1) представляет собой вырожденное преобразование с точки зрения размерности: - мерное пространство отображается в одномерное . Таким образом, за счет взвешивания и вырожденного преобразования удается получить те или иные полезные свойства в одномерном пространстве .

На выходе сумматора включен нелинейный элемент порогового типа. В результате на выходе нейрона имеем:

,

где (11.2)

значения на выходе нейрона.

Могут быть и иные значения порогов:

(11.3)

(11.4)

Очевидно при выборе тех или иных значений пороговых функций выбирают положение соответствующей -мерной гиперплоскости, разделяющей пространство состояний на два (11.3) или три (11.4) полупространства.

На рис.11.2 представлены графики разделяющих функций, соответствующих а) (11.2); б) (11.3); в) (11.4).

Рис.11.2. Графики разделяющих функций

Подобную нейрону МакКаллока-Питтса структуру имеет сигмоидальный нейрон, важное свойство которого состоит в возможности дифферцируемости функции . Дифферцируемость же позволяет применить к задачам управления эффективные градиентные методы стохастической аппроксимации, ФКБ и др. Сигнальная функция представляется в униполярном виде

, (11.5)

где - коэффициент крутизны графика функции (рис.11.3а).

Биполярный вид функции выражается формулой:

. (11.6)

где - имеет тот же смысл крутизны (рис.11.3б)

Рис.11.3 Графики разделяющих функций, соответствующих а) (11.5); б) (11.6).

Очевидно, при характеристика (11.5) стремится к пороговой униполярной функции (11.2), при характеристика (11.6) стремится к (11.3).

11.2. Связь нейронных сетей с задачами управления наблюдениями

Из раздела 6 известно, что задача управления наблюдениями сводится к взвешиванию на общем сумматоре принятых антеннами сигналов, помех и шумов и управлению весами с целью минимизации помех. В результате определяются алгоритмы адаптивных антенных решеток, адаптивных компенсаторов помех и др. Сравнение персептрона МакКаллока-Питтса со структурой адаптивной антенной решетки показывает, что их структуры достаточно близки.

Упрощенная структурная схема ААР представлена на рис.11.4. Из сопоставления структуры (рис.11.1) и ААР (рис.11.4) видно, что в состав ААР не входит решающая схема с функцией . Отсутствие этой схемы в ААР объясняется тем, что целью адаптивной антенной решетки является подавление помех на выходе сумматора, формирование желательной структуры наблюдения . Очевидно, если на выходе ААР включить решающую схему (нелинейный элемент), то такой обобщенный алгоритм будет представлять собой типовую структуру цифрового приемного устройства, где с помощью нелинейной разделяющей функции определяется порог в соответствии с выбранным критерием оптимальности.

Рис.11.4. Структурная схема адаптивной антенной решетки

Можно показать также, что известный из теории НС адаптивный линейный нейрон «адалайн» (ADAptive Liner Neuron) реализует алгоритм и структуру, аналогичную к структуре ААР, синтезированной с помощью процедуры Роббинса-Монро:

, (11.7)

где - эталонный сигнал, - шаговая постоянная .

Вместе с тем, кроме схемы принятия решения у нейрона и ААР имеются и существенные различия, к числу которых следует отнести:

Р1. Входные сигналы ААР являются высокочастотными когерентными, представляющими взаимные копии, сдвинутые по фазе за счет различий во временах прихода на соответствующие антенные элементы (см.рис.6.6). При управлении ВВК-вектором весовых коэффициентов, ААР в соответствии с алгоритмом (6.15), обеспечивает на общем сумматоре взаимную компенсацию значений помехи . Весовые коэффициенты ААР при этом должны быть или комплексными (для управления амплитудой и фазой) или могут быть представлены в квадратурах:

, (11.8)

где - квадратурные компоненты ВВК.

В противоположность этому во входных цепях нейрона не предполагается наличия когерентности. Более того, чаще всего полагают, что входными сигналами могут быть постоянные (например 0 или 1) или медленноменяющиеся функции, хотя и не исключается их гармонический комплексный характер.

Р2. ААР ? является завершенным целевым объектом, в то время как нейрон ? это не только уединенный, но и большей частью элемент более сложного объекта (сети), состоящего из многих взаимосвязанных нейронов. Классическая нейронная сеть ? множество взаимосвязанных нейронов, позволяющих создавать огромное многообразие систем различного назначения, с различными свойствами.

11.3. Виды нейронных сетей

Взаимосвязанные нейроны могут образовывать многослойные структуры (рис.11.5). В каждом слое может находиться различное число нейронов. Если не оговорено противное, то каждый выходной сигнал -го слоя подается на вход всех нейронов ()-го слоя.

Рис.11.5. Структура многослойной нейронной сети

При стандартном способе подачи входных сигналов все нейроны 1-го слоя принимают каждый входной сигнал. При этом 1-й и -й слои называются соответственно входным и выходным, а все промежуточные ? скрытые.

Каждый из слоев, кроме выходного может быть разбит на 2 блока: возбуждающий и тормозящий. Такими же возбуждающими (с положительными весами ) или тормозящими (с отрицательными весами ) могут быть и связи между слоями. При возбуждающих связях любой выходной сигнал блока является монотонно неубывающей функцией сигнала, переданного предыдущим блоком. При тормозящих связях этот сигнал ? невозрастающая функция.

По структуре связей НС разделяются на следующие конструкции:

- полносвязные, в которых каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. В такой сети входной сумматор нейрона фактически распадается на два: первый вычисляет линейную функцию от входных сигналов, второй ? нелинейную функцию от выходных сигналов других нейронов, полученных на предыдущем шаге. (Сеть Хопфилда);

- рекуррентные, отличающиеся тем, что слои замкнуты в кольцо ? последний передает свои выходные сигналы первому. Однажды запустившись, такие сети могут функционировать бесконечно долго;

- слоисто-полносвязные сети состоят из слоев, каждый из которых представляет собой полносвязную сеть;

- полносвязно-слоистые сети имеют свойства двух предыдущих сетей;

- радиальные сети (сети с радиальной функцией), в которых нейроны реализуют функции, радиально изменяющиеся вокруг выбранного центра и принимающие ненулевые значения только в окрестности этого центра. Подобные функции, определяемые в виде , будем называть радиальными базисными функциями. В таких сетях роль нейрона заключается в отображении радиального пространства вокруг одиночной заданной точки (центра) либо вокруг группы таких точек, образующих кластер. Суперпозиция сигналов, поступающих от всех таких нейронов, позволяет получить отображение всего многомерного пространства.

11.4. Особенности функционирования нейронных сетей

Все акции, происходящие в нашей жизни, мы интерпретируем и оцениваем по их результату, по исходу. Так и результат функционирования НС важно интерпретировать по выходным сигналам. Рассмотрим некоторые типовые операции, применяемые в НС, приводящие к рациональным исходам, к желаемому виду выходных сигналов.

Масштабирование является естественной операцией при обработке выходных сигналов. Стандартные (обезразмеренные) НС формируются так, чтобы их выходные сигналы лежали в интервалах (или ). Если нам нужно получить сигнал в интервале , то нужно преобразовать выходной сигнал :

. (11.9)

В задачах классификации наиболее распространено правило интерпретации «победитель забирает все»: число нейронов равно числу классов, номер нейрона с максимальным сигналом интерпретируется как номер класса. К сожалению, если классов много, то этот наглядный метод является слишком расточительным, потребляет слишком много выходных нейронов.

Знаковая интерпретация требует только нейронов ( - число классов). Строится она так. Пусть - совокупность выходных сигналов нейронов. Заменим в этой последовательности положительные числа единицами, а отрицательные ? нулями. Полученную последовательность нулей и единиц рассматриваем как номер класса в двоичной записи.

Порядковая интерпретация является еще более емкой, чем знаковая. В ней с помощью нейронов можно описать принадлежность к классам (а не как для знаковой). Пусть - выходные сигналы. Проведем их сортировку и обозначим через номер -го сигнала после сортировки (1 соответствует наименьшему сигналу, - наибольшему). Перестановку рассмотрим как слово, кодирующее номер класса. Всего возможно перестановок. Этим интерпретатором можно пользоваться, если характерная ошибка выходного сигнала меньше . Даже при =10 получаем реализуемые требования к точности (<1/10) и богатые возможности (10! классов).

Так же как и все другие системы НС могут функционировать дискретно во времени или непрерывно.

Сети дискретного (периодического) функционирования. Простейшие представления об этих сетях таковы. В начальный момент состояния всех нейронов одинаковы, выходных сигналов нет. Подаются входные сигналы, определяющие активность сети (нулевой такт). Далее входные сигналы могут подаваться на каждом такте функционирования. На каждом такте могут сниматься выходные сигналы. После тактов цикл функционирования заканчивается, и сеть возвращается в исходное состояние, готовая к новому циклу (акту). Между актами функционирования могут вставляться акты обучения. В общем случае, в результате цикла из тактов нейронная сеть выдает в ответ на последовательность из наборов входных сигналов последовательность наборов выходных сигналов. Чаще используется упрощенный вариант: входные сигналы подаются только в самом начале. Выходные снимаются в самом конце.

Для слоистых и слоисто-полносвязных сетей начальные слои по мере срабатывания освобождаются и могут заниматься новой задачей, пока заканчивают работу над предыдущей. Сети периодического функционирования по характеру использования напоминают ЭВМ: на вопрос следует ответ, причем воспроизводимый. Иначе обстоит дело с сетями непрерывного функционирования.

Непрерывное функционирование нейронной сети более соответствует имеющимся представлениям о поведении живых существ, чем периодическое. Опыт показывает, что, чередуя циклы функционирования и обучения, для таких сетей можно получить хорошие результаты адаптации. Для непрерывного функционирования необходимы сети с циклами: полносвязные, слоисто-циклические или полносвязно-слоистые.

11.5. Решение практических задач с использованием нейронных сетей

а) Решение задачи коммивояжера, сеть Хопфилда. Рассмотрим задачу коммивояжера для городов. Известны расстояния между каждой парой городов ; коммивояжер, выходя из одного города, должен посетить других городов, заходя по одному разу в каждый, и вернуться в исходный. Требуется определить порядок обхода городов, при котором общее пройденное расстояние минимально. Данная задача позволяет минимизировать потери при проектировании сетей, при нахождении оптимальных маршрутов.

Пусть сеть Хопфилда состоит из нейронов, а состояние нейронов описывается двойными индексами , где индекс связан с именем города, - с позицией города в маршруте коммивояжера. Запишем функцию вычислительной энергии для сети, предназначенной решать задачу коммивояжера. В ней состояние с наименьшей энергией должно соответствовать самому короткому маршруту. Функция энергии должна удовлетворять следующим требованиям:

  1. должна поддерживать устойчивое состояние в форме матрицы

, (11.10)

в которой строки соответствуют городам, столбцы ? их номерам в маршруте; в каждой строке и каждом столбце только одна единица, остальные нули;

2) из всех решений вида (11.10) функция энергии должна поддерживать те, которые соответствуют коротким маршрутам.

Таким требованиям удовлетворяет функция энергии в виде:

(11.11)

где первые три члена поддерживают первое требование, четвертый член ? второе. Первый член равен нулю, если каждая строка содержит не более одной единиц. Третий равен нулю, если в матрице всего единиц. Короткие маршруты поддерживает четвертый член. В нем индексы берутся по модулю для того, чтобы показать, что -й город соседствует в маршруте с -м, т.е. . Четвертый член численно равен длине маршрута. Каноническое выражение для функции вычислительной энергии имеет вид

. (11.12)

Из (11.11) и (11.12) получаем веса сети Хопфилда:

, .

Здесь - символ Кронекера.

Моделирование работы сети Хопфилда показало, что лучшее по качеству решение дает сеть, нейроны корой имеют сигмовидную характеристику, а сеть, в которой нейроны имеют ступенчатые переходы, приходила к финальным состояниям, соответствующим маршрутам немного лучшим, чем случайные. Многочисленные исследования показывают, что качество решения задачи минимизации функции энергии (11.11) существенно зависит от выбора производственной сигмовидной униполярной функции активации нейрона в окрестности нуля. При малой величине производной минимумы энергии оказываются в центре гиперкуба решений (некорректное решение), при большой величине производной сеть Хопфилда попадает в вершину гиперкуба, соответствующую локальному минимуму энергии. Кроме того, на качество решения существенное влияние оказывает выбор коэффициентов . Поиск методов оптимального выбора этих коэффициентов является в настоящее время предметом интенсивных исследований.

б) Машина Больцмана. Математической основой для решения комбинаторных оптимизационных задач на машине Больцмана является алгоритм, моделирующий затвердевание жидкостей или расплавов (алгоритм имитации отжига). Он базируется на идеях из двух различных областей: статистической физики и комбинаторной оптимизации. Данная задача может быть интерпретирована также для назначения задач в распределенной вычислительной или телекоммуникационной системе. Машина Больцмана (МБ) способна реализовать этот алгоритм параллельно и асинхронно. МБ задается четверкой , - число нейронов, - множество связей между нейронами, при этом все автосвязи принадлежат этому множеству, т.е. . Каждый нейрон может иметь состояние 0 или 1. состояние МБ определяется состояниями нейронов , - начальное состояние. Каждая связь имеет вес - вещественное число, множество связей - . Связь называется активной в состоянии , если . Вес связи интерпретируется как количественная мера желательности, чтобы эта связь была активной. При - активность очень желательна, при - активность очень нежелательна. Как и в модели Хопфилда, связи в МБ симметричны, т.е. .

в) Функция консенсуса. Для состояния МБ вводится понятие консенсуса

. (11.13)

Консенсус интерпретируется как количественная мера желательности, чтобы все связи в состоянии были активны. В частности данную меру уместно использовать в задачах проектирования телекоммуникационных сетей в качестве функции прибыльности бизнеса. Каждая связь в этой сумме учитывается один раз. Для состояния определяется множество соседей . Соседнее состояние получается из при изменении состояния нейрона ,

Разница консенсусов соседних состояний и равна

, (11.14)

где - множество связей нейрона . Видно, что для всех могут вычисляться параллельно.

г) Максимизация консенсуса. Переход МБ из одного состояния в другое с максимизацией консенсуса происходит путем выполнения пошаговой процедуры. На каждом ее шаге выполняется испытание, состоящее из двух частей:

  1. для данного состояния генерируется соседнее ,
  2. оценивается, может ли быть принято состояние , если может, то результат испытания - , иначе . Состояние принимается с вероятностью

, (11.15)

где - управляющий параметр («время, затраты, температура»).

Процесс максимизации консенсуса начинается с высокого значения параметра и случайно выбранного начального состояния . В течение процесса параметр уменьшается от до . По мере того как приближается к нулю, нейроны все реже изменяют свои состояния, и наконец, МБ стабилизируется в финальном состоянии. Практически, МБ стабилизируется в состоянии, соответствующем локальному максимуму консенсуса, который близок (или равен) глобальному.

  1. Начальное значение параметра для каждого нейрона

.

  1. Правило понижения

.

где - положительное число, близкое, но меньше ее.

  1. Число испытаний, которые проводятся без изменения ( - функция от ).
  2. Число последовательных испытаний, не приводящих к изменению состояния машин ( - функция от ), как критерий завершения процесса.

д) Решение задачи коммивояжера машиной Больцмана.

Общий подход к программированию комбинаторных оптимизационных задач состоит в следующем:

каждое решение представляется набором , , - число нейронов в сети, - состояние нейрона. Структура связей и веса выбираются так, что:

. Все локальные максимумы функции консенсуса соответствуют приемлемым решениям задачи;

. Чем лучше приемлемое решение, тем больше консенсус соответствующего состояния машины Больцмана.

Перефразируем для МБ задачу коммивояжера.

. Состояние МБ соответствует локальному максимуму функции консенсуса, если и только если это состояние соответствует приемлемому маршруту.

. Чем короче маршрут, тем выше консенсус соответствующего состояния МБ.

Каждый нейрон соответствует элементу матрицы , состояния нейронов обозначаются ( - число городов). Функция консенсуса

.

Множество связей в сети определяется как объединение трех непересекающихся подмножеств:

- множество связей, несущих информацию о расстояниях между городами (узлами сети),

;

- множество ингибиторных (запретительных) связей,

;

- множество связей смещений,

.

Здесь . Общее число связей равно .

Ингибиторные связи гарантируют, что в конце концов, ни в одной строке и ни в одном столбце не будет более одной единицы. Связи смещений гарантируют, что хотя бы по одной единице есть в каждом столбце и в каждой строке. Таким образом, связи и гарантируют выполнение ограничений в задаче веса их дают одинаковые вклады в консенсусы для всех приемлемых маршрутов.

Связь активна только в том случае, когда в маршруте есть прямой путь из города в город . Вес связи равен расстоянию между городами и с отрицательным знаком. Следовательно, для данного маршрута отрицательный вклад связи из в консенсус пропорционален длине пути, поэтому максимизация функции консенсуса соответствует минимизации длины маршрута.

Доказано, что для консенсуса выполняются требования и , если и только если веса связей выбраны следующим образом:

где

.

При , , было проведено 100 испытаний для и 25 испытаний для при различных начальных состояний МБ. Для получено решение на 14% хуже оптимума. Вероятностный механизм функционирования МБ дает возможность получать на ней несколько лучшие результаты, чем на модели Хопфилда.

11.6. Рекуррентные нейронные сети на базе персептрона

Функционирование распределенной телекоммуникационной сети можно представить в виде рекуррентного процесса. Представление ее в виде НС позволяет получить ряд важных результатов. Многослойные рекуррентные сети представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток информации может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора сети). Представленная подобным образом рекуррентная сеть, с учетом способа формирования выходного сигнала, функционирует как однонаправленная персептронная сеть. Тем не менее, алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным из-за зависимости сигналов в момент времени от их значений в предыдущие моменты и соответственно из-за более громоздкой формулы для расчета вектора градиента.

При обсуждении рекуррентных сетей, в которых в качестве выходного элемента используется многослойный персептрон, рассмотрим наиболее известные структуры сетей RMLP, RTRN, Эльмана.

Персептронная сеть с обратной связью. Один из простейших способов построения рекуррентной сети на базе однонаправленной НС состоит во введении в персептронную сеть обратной связи. В дальнейшем мы будем сокращенно называть такую сеть RMLP (Recurrent MultiLayer Perceptron ? рекуррентный многослойный персептрон). Ее обобщенная структура представлена на рис.11.6 ( - единичные элементы запаздывания).

Это динамическая сеть, которая характеризуется запаздыванием входных и выходных сигналов, объединяемых во входной вектор сети.

Рис.11.6. Структура сети RMLP

Рассуждения будут касаться только одного входного узла и одного выходного нейрона, а также одного скрытого слоя. Такая система реализует отображение:

(11.16)

где - количество задержек входного сигнала, а - количество задержек выходного сигнала. Обозначим количество нейронов в скрытом слое. В этом случае сеть RMLP можно характеризовать тройкой чисел . Подаваемый на вход сети вектор имеет вид:

(11.17)

Допустим, что все нейроны имеют сигмоидальную функцию активации. Обозначим взвешенную сумму сигналов -го нейрона скрытого слоя, а - взвешенную сумму сигналов выходного нейрона. При введенных обозначениях выходные сигналы конкретных нейронов описываются зависимостями

; ; ; .

Сеть RMLP может успешно применяться для моделирования динамических процессов в режиме «онлайн». Типичным примером ее приложения может служить имитация нелинейных динамических объектов, для которых сеть RMLP выступает в роли модели, а алгоритм уточнения весов ? в роли процедуры идентификации параметров этой модели (рис.11.7). Из сопоставления алгоритмов управления (раздел 6) и алгоритма на рис.11.7 следует их общность структур. Невязка в схеме рис.11.7 используется для управления RMPL, а - служит в качестве эталонного сигнала.

Рис. 11.7. Схема включения сети RMPL при решении задачи идентификации

В результате сравнения выходного сигнала модели с выходным сигналом динамического объекта рассматривается значение погрешности (невязки) , управляющей процессом уточнения параметров нейронной сети. Символом на рис.11.7 обозначен коэффициент усиления модуля, масштабирующего выходной сигнал сети таким образом, чтобы его динамический уровень лежал в том же диапазоне, что и уровень выходного сигнала динамического объекта .

11.7. Самоорганизация и самообучение нейронных сетей

Целью обучения сети с самоорганизацией на основе конкуренции нейронов считается такое упорядочение нейронов (подбор значений их весов), которое минимизирует значение ожидаемого искажения, оцениваемого погрешностью аппроксимации входного вектора значениями весов нейрона-победителя. При входных векторах и применении евклидовой метрики эта погрешность, называемая также погрешностью квантования, может быть выражена в виде

, (11.18)

где - вес нейрона-победителя при предъявлении вектора .

Этот подход также называется векторным квантованием (Vector Quantization ? VQ) или кластеризацией. Номера нейронов-победителей при последовательном предъявлении векторов образуют так называемую кодовую таблицу. При классическом решении задачи кодирования применяется алгоритм -усреднений, носящий имя обобщенного алгоритма Ллойда.

Для нейронных сетей аналогом алгоритма Ллойда считается алгоритм WTA (Winner Takes All ? «победитель получает все»). В соответствии с ним после предъявления вектора рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, т.е. тот, для которого скалярное произведение оказывается наибольшим. Можно показать, что при использовании нормализованных векторов это равнозначно наименьшему эвклидову расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора согласно правилу

, (11.19)

где - коэффициент обучения. Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать «усталость» нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов. Такая модификация применяется чаще всего на начальной стадии обучения с последующим отключением после активации всех нейронов. Подобный способ обучения реализован в виде режима CWTA (Conscience Winner Takes All) и считается одним из лучших и наиболее быстрых алгоритмов самоорганизации.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяются алгоритмы типа WTM (Winner Takes Most ? «победитель получает больше»), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом, чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен обобщенной зависимостью, которая здесь представляется в виде

(11.20)

для всех нейронов, расположенных в окрестности победителя. Если функция определяется в форме

, (11.21)

где обозначает номер победителя, то мы получаем классический алгоритм WTA. Очевидно, алгоритмы (11.19) и (11.20) относятся к классу рекурсивных алгоритмов стохастической аппроксимации, подробно рассмотренные в разделе 5. Существует множество вариантов алгоритма WTМ, отличающихся прежде всего формой функции . Одним из таких является классический алгоритм Кохонена.

Алгоритм Кохонена. Алгоритм Кохонена относится к наиболее давним алгоритмам обучения сетей с самоорганизацией на основе конкуренции, и в настоящее время существуют различные его версии. В классическом алгоритме Кохонена сеть инициализируется путем приписывания нейронам определенных позиций в пространстве и связывания их с соседями на постоянной основе. Такая сеть называется самоорганизующейся картой признаков (сеть SOFM ? Self-Organizing Feature Map). В момент выбора победителя уточняются не только его веса, но также и веса его соседей, находящихся в ближайшей окрестности. Таким образом, нейрон-победитель подвергается адаптации вместе со своими соседями. В классическом алгоритме Кохонена функция соседства определяется в виде

. (11.22)

В этом выражении обозначает эвклидово расстояние между векторами весов нейрона-победителя и -го нейрона. Коэффициент выступает в роли уровня соседства, его значение уменьшается в процессе обучения до нуля. Соседство такого рода называется прямоугольным.

Другой тип соседства, часто применяемый в картах Кохонена, - это соседство гауссовского типа, при котором функция задается формулой

. (11.23)

Степень адаптации нейронов-соседей определяется не только евклидовым расстоянием между -м нейроном и победителем (-м нейроном), но также и уровнем соседства . В отличие от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптировался в равной степени, при соседстве гауссовского типа уровень адаптации различен и зависит от значения функции Гаусса. Как правило «гауссовское» соседство дает лучшие результаты обучения и обеспечивает лучшую организацию сети, чем «прямоугольное» соседство.

Самоорганизующаяся карта признаков проходит два этапа обучения. На первом этапе элементы упорядочиваются так, чтобы отражать пространство входных элементов, а на втором происходит уточнение их позиций. Как правило, процесс представляется визуально путем использования двумерных данных и построения соответствующей поверхности. Например, входные векторы выбираются случайным образом на основе однородного распределения в некотором квадрате, и начинается обучение карты. В определенные моменты в ходе обучения изображения карты путем использования соответствия, показанного на рис.11.6. Элементы соединяются линиями, чтобы показать их относительное размещение. Сначала карта выглядит сильно «измятой», но постепенно в ходе обучения она разворачивается и расправляется. Конечным результатом обучения является карта, показывающая все входное пространство и являющаяся достаточно регулярной (т.е. элементы оказываются распределенными почти равномерно). Для примера была рассмотрена карта с топологией квадрата из 49 элементов, и для 250 точек данных, взятых из единичного квадрата, было проведено ее обучение, которое начиналось со случайного набора весовых значений, задающих размещение кластерных элементов в центре входного пространства, как показано на рис.11.8. На рис.11.9 и 11.10 иллюстрируется процесс разворачивания карты с течением времени. Как и для других типов сетей, в данном случае результат обучения зависит от учебных данных и выбора параметров обучения.

Рис.11.8. Весовые векторы инициализируются случайными значениями из диапазона 0,4 ? 0,6

Рис.11.9. Карта по прошествии 20 итераций

Рис.11.10. Карта незадолго до окончания обучения. Элементы теперь упорядочены, и карта станет еще более регулярной по окончании финальной фазы сходимости

Контрольные вопросы к разделу №11

  1. Дайте определение нейрона.
  2. Каким образом организуется нейронная сеть?
  3. Пояснить функцию и структуру персептрона МакКаллока-Питтса.
  4. Пояснить роль вырожденного преобразования сводящегося к алгоритму (8.1).
  5. Какова роль нелинейного элемента, включенного на выходе нейрона ?
  6. Пояснить применимость пороговых функций (рис.8.2).
  7. Каковы достоинства сигмаидального нейрона?
  8. Пояснить в чем общность нейрона и алгоритмов ААР.
  9. Пояснить различия нейрона и алгоритма ААР.
  10. Пояснить основные виды структур НС.
  11. Каковы особенности функционирования НС.
  12. Пояснить решение задачи коммивояжера с помощью НС. Применимость в задачах телекоммуникации.
  13. В чем суть машины Больцмана?
  14. Пояснить функцию консенсуса.
  15. Пояснить работу рекуррентной НС, показать общность с алгоритмами стохастической аппроксимации.
  16. Пояснить работу НС при самоорганизации и самообучении.

Литература к разделу 11

  1. Тарков М.С. Нейрокомпьютерные системы. ? М.: Бином Лаборатория знаний, 2006 142 с.
  2. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. ? М.: Горячая линия ? Телеком, 2003.
  3. Осовский С. Нейронные сети для обработки информации. ? М.: ФиС, 2002.
  4. Уоссерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

– Конец работы –

Используемые теги: 0.028

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Методы нейронных сетей в задачах управления телекоммуникационными системами

Что будем делать с полученным материалом:

Если этот материал оказался полезным для Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Еще рефераты, курсовые, дипломные работы на эту тему:

0.026
Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • По категориям
  • По работам