Свойства нейрона

С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, - это устройство для получения нелинейной функции нескольких переменных X_i с возможностью настройки его параметров C_j в достаточно широком диапазоне. Однако традиционно нейрон описывается в терминах, заимствованных из физиологии. Согласно этим представлениям нейрон имеет один выход Sj и несколько входов (синапсов), на которые поступают внешние воздействия Xj, (от рецепторов и других нейронов). Он умножает входное воздействие на весовой коэффициент C_ij (проводимость синапса) и суммирует взвешенные входы:

(6.1)

Выходная величина y_i является некоторой функцией от этой суммы: y_i=f(Sj). Ее называют функцией активации или передаточной функцией. Вид этой функции является важнейшей характеристикой нейрона. В простейшем случае - это линейная зависимость (Рисунок 7.1, а).

Такая зависимость использовалась в первых моделях персептрона. Несмотря на ряд первоначальных успехов, теоретический анализ возможностей персептрона, проведенный М.Минским и С.Пейпертом [68], показал, что персептрон не является универсальным устройством для распознавания и, в частности, принципиально неспособен решить целый ряд весьма простых задач. Причиной этого является именно линейный характер активационной функции.

Рисунок 7.1 Функции активации нейронной сети: а – линейная функция;

б- ступенчатая функция; в- сигмоидальная функция;

г- производная от сигмоидальной функции

Еще использовалась ступенчатая функция активации: если сумма Sj выше некоторого порогового значения c_0j, то выход y_j равен единице, в противном случае- минус единице (или нулю). Формально это можно описать с помощью следующей зависимости (Рисунок 7.1,6):

В настоящее время в качестве активационной функции чаще используют близкую к ступенчатой, но более гладкую зависимость, которую называют сигмоидальной, или логистической, функцией (Рисунок 7.1, в). Обычно она описывается следующим выражением:

Встречаются и другие выражения, например,

где |s| - абсолютная величина s, k> 0.

Параметр k задает крутизну зависимости у от s: чем больше k, тем ближе сигмоида к пороговой функции; чем меньше k, тем ближе она к линейной. Таким образом, сигмоида является некоторым компромиссом между линейной и ступенчатой функцией, сохраняющим достоинства обеих. Подобно ступенчатой функции, она нелинейная, и это важно, поскольку только нелинейные функции позволяют вычленять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. Но в то же время сигмоида в отличие от ступенчатой функции переходит от одного значения к другому без разрыва, как это имеет место и в линейной функции. Это обстоятельство оказывается чрезвычайно важным при поиске экстремума целевой функции в пространстве нейронных параметров, в этом случае зависимость целевой функции от параметров также оказывается гладкой, и в каждой точке пространства может быть вычислен градиент целевой функции, указывающий направление поиска экстремума.

Производная от сигмоидальной функции, характеризующая силу связи между s и у, также имеет простой вид:

(6.2)

Эта величина обращается в нуль на границах диапазона изменения у при y=0 и у=1 и достигает максимума в середине диапазона, т. е. связь между переменными наиболее сильна в середине диапазона и ослабевает к его краям (Рисунок 7.1, г).

Нейроны организуются в сеть (Рисунок 7.2) за счет того, что выход i-ro нейрона (у_i) соединяется с одним из входов (х_i) другого j-го нейрона. При этом выходная переменная y_t отождествляется с входной переменной х_i. Поэтому в дальнейшем будем использовать оба обозначения в зависимости от того, рассматривается ли данная i-я переменная как входная или как выходная. Весовой коэффициент с_ij ("синаптический вес") характеризует знак и силу связи между переменными х_i и y_i. Возможна и обратная связь, при которой выходу j-го нейрона соединяется с j-м входом j-го нейрона. В общем случае коэффициент связи с_ij , не обязательно равен с_ji .

Рисунок 7.2 Пример нейронной сети

Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в процессе обучения:. В ранних работах по нейросетям обычно различали два типа пластичности:синаптиче-скую (изменение с_ij) и нейронную (изменение высотгы порога нейрона с_0j) В настоящее время пороговую пластичности, обычно сводят к синаптической с помощью следующего приема. К числу входов j-го нейрона добавляют еще один фиктивный x₀, не связанный ни с каким реальным рецептором (Рисунок 7.2). На этот вход подают постоянный сигнал, равный +1. Весовой коэффициент этого входа с_0j модифицируют в процессе обучения по общим правилам. Модификация этого коэффициента равносильна смещению порога нейрона.

Еще в 1949 г. Д. Хеббом [19] было предложено естественное правило модификации весовых коэффициентов: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается. Правило оказалось настолько удачным, что до сих пор используется в различных моделях нейронных систем. Формальнее это правило может быть описано следующим образом. Пусть время обучения разбито на такты и в k- м такте две переменные нейросети (состояния двух нейронов) имели значения x^k_i , и x^k_j. Тогда вес связи между переменными возрастает на величину

В случае двоичных переменных приращение равно либо +1 (при совпадении знаков x^k_i и x^k_j ), либо -1 (когда знаки различны). Если начальный вес связи был равен нулю, то вес связи к k-му такту равен:

где x^k_i , x^k_j - состояния двух нейронов в k-м такте; р - число тактов обучения.