Слоя Кохонена

В силу особенностей входного сигнала основная часть входных векторов не распределена равномерно по всей поверхности гиперсферы, а сосредоточена в некоторых небольших областях. При этом лишь небольшое количество весовых векторов способно выделить входные векторы, и в этих областях возникает дефицит нейронов, тогда как в областях, где плотность входных векторов намного ниже, число нейронов избыточно.

Для решения проблемы неоднородного распределения входных векторов существует несколько методов. Часто применяется правило «нахождения центра масс», т.е. небольшое стремление всех весовых векторов на начальном этапе обучения к входным векторам. В результате в местах с большой плотностью входного сигнала оказывается много весовых векторов. Это правило записывается так:

,	(2.19)
	гдеwн –	новое значение веса;
	wс –	старое значение;
	a –	скорость модификации;
	x –	входной вектор.

а)

б)

Рис.2.12. Классификация показателей качества по нейронам слоя Кохонена: а - шероховатости, б - волнистости

Если весовой вектор окажется далеко от области входных сигналов, он никогда не даст наилучшего соответствия, всегда будет иметь нулевой выход, следовательно, не будет корректироваться и окажется бесполезным. Оставшихся же нейронов может не хватить для разделения входного пространства сигналов на классы. Для решения этой проблемы применяется правило «желания работать»: если какой-либо нейрон долго не находится в активном состоянии, он повышает веса связей до тех пор, пока не станет активным и не начнет подвергаться обучению. Правило «желание работать» записывается в следующей форме:

,	(2.20)
	гдеwн –	новое значение веса;
	wс –	старое значение;
	b –	скорость модификации;
	α –	активность нейрона.

Этот метод позволяет также решить проблему тонкой классификации: если образуется группа входных сигналов, расположенных близко друг к другу, с этой группой ассоциируется и большое число нейронов Кохонена, которые разбивают её на классы. Чем меньше активность нейрона, тем больше увеличиваются веса связей.

Самым эффективным решением является более точное моделирование механизма латерального торможения. То есть находится нейрон с максимальной активностью, затем искусственно при помощи латеральных связей устанавливается активность окружающих его нейронов по правилу:

,	(2.21)
	гдеaj –	активность нейрона;
	i –	выигравший нейрон;
	j –	индекс нейрона;
	q –	определяет радиус действия латеральных связей (уменьшается в процессе обучения).

При этом предполагается, что все нейроны имеют определённую позицию по отношению к другим нейронам. Это топологическое отношение одномерно и линейно, позиция каждого нейрона определяется его индексом. Возбуждается не один нейрон, а группа топологически близких нейронов. В результате обучения образуется упорядоченная одномерная карта признаков. Упорядоченность означает, что ближайшие два нейрона в ней соответствуют двум ближайшим векторам в пространстве сигнала, но не наоборот (так как невозможно непрерывно отобразить многомерное пространство на одномерное). Сначала радиус действия латеральных связей достаточно большой, и в обучении участвуют практически все нейроны. При этом они находят «центр масс» всей обучающей выборки. В процессе обучения коэффициент q уменьшается, нейроны разделяются на группы, соответствующие локальным центрам масс. В конце концов, радиус латеральных связей снижается настолько, что нейроны функционируют независимо друг от друга и могут разделять очень близкие векторы.

В свете вышесказанного алгоритм обучения нейросети был доработан.Количество нейронов на втором этапе было сокращено до 12. Анализ протокола обучения показал, что использование вышеназванных правил позволяет избежать «паралича» сети, который проявился в постоянном выигрыше лишь ограниченного числа нейронов слоя Кохонена. На рис.2.13 представлено распределение входных векторов по нейронам после модернизации алгоритма обучения.

Рис.2.13. Частота выигрышей отдельных нейронов

слоя Кохонена после модернизации алгоритма обучения

На рис.2.14 представлены распределения показателей качества по нейронам после модернизации алгоритма обучения.

а)

б

Рис.2.14. Классификация показателей качества по нейронам слоя Кохонена после модернизации алгоритма обучения: