Выбор начальных значений весовых векторов

Всем весам сети перед началом обучения следует придать начальные зна-чения. Общепринятой практикой при работе с нейронными сетями является присваивание весам небольших случайных значений. При обучении слоя Ко-хонена случайно выбранные весовые векторы следует нормализовать (но не обязательно). Окончательные значения весовых векторов после обучения совпадают с нормализованными входными векторами (или с их абсолютны-ми значениями при отсутствии нормализации). Поэтому нормализация перед началом обучения приближает весовые векторы к их окончательным значе-ниям, сокращая обучающий процесс.

Наиболее желательное решение состоит в том, чтобы распределять весовые векторы в соответствии с плотностью входных векторов, которые должны быть разделены, помещая тем самым больше весовых векторов в окрестности большого числа входных векторов. На практике это невыполнимо, однако существует несколько методов приближенного достижения тех же целей.

Одно из решений, известное под названием метода выпуклой комбинации (convex combination method), состоит в том, что все веса приравниваются одной и той же величине

, (31)

где п – число входов и, следовательно, число компонент каждого весового вектора. Благодаря этому все весовые векторы совпадают и имеют единич-ную длину. Каждой же компоненте входа Х придается значение

, (32)

где п– число входов. В начале γочень мало, вследствие чего все входные векторы имеют длину, близкую к , и почти совпадают с векторами весов. В процессе обучения сети γпостепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписы-вает им их истинные значения. Весовые векторы отслеживают один или не-большую группу входных векторов и в конце обучения дают требуемую кар-тину выходов. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели. Другой подход состоит в добавлении шума к входным векторам. Тем самым они подвергаются случайным изменениям, схватывая в конце концов весовой вектор. Этот метод также работоспособен, но еще более медленен, чем метод выпуклой комбинации.

Третий метод начинает со случайных весов, но на начальной стадии обу-чающего процесса подстраивает все веса, а не только связанные с выиграв-шим нейроном Кохонена. Тем самым весовые векторы перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. Этот радиус коррекции постепенно уменьшается, так что в конце концов корректируются только веса, связанные с выигравшим нейроном Кохонена.

Еще один метод наделяет каждый нейрон Кохонена «Чувством справед-ливости». Если он становится победителем чаще своей законной доли вре-мени (примерно 1/k, где k – число нейронов Кохонена), он временно увели-чивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучаться и другим нейронам.

Во многих приложениях точность результата существенно зависит от распределения весов. К сожалению, эффективность различных решений ис-черпывающим образом не оценена и остается проблемой.