Выбор начальных весовых коэффициентов. Перед тем, как приступить к обучению нейронной сети, необходимо задать ее начальное состояние. От того насколько удачно будут выбраны начальные значения весовых коэффициентов зависит, как долго сеть за счет обучения и подстройки будет искать их оптимальное величины и найдет ли она их. Как правило, всем весам на этом этапе присваиваются случайные величины равномерно распределенные в диапазоне -A, A , например -1,1 , или -3,3 . Однако, как показали эксперименты, данное решение не является наилучшим и в качестве альтернативы предлагается использовать другие виды начальной инициализации, а именно 1. Присваивать весам случайные величины, заданные не равномерным распределением, а нормальным распределением с параметрами N a, s , где выборочное среднее a 0, а дисперсия s 2, или любой другой небольшой положительной величине.
Для формирования нормально распределенной величины можно использовать следующий алгоритм Шаг 1. Задать 12 случайных чисел x 1 , x 2 x 12 равномерно распределенных в диапазоне 0,1 . x i Н R 0,1 . Шаг 2. Для искомых параметров a и s величина, полученная по формуле будет принадлежать нормальному распределению с параметрами N a, s . 2. Можно производить начальную инициализацию весов в соответствии с методикой, предложенной Nguyen и Widrow 7 . Для этой методики используются следующие переменные число нейронов текущего слоя количество нейронов последующего слоя коэффициент масштабирования Вся процедура состоит из следующих шагов Для каждого нейрона последующего слоя Инициализируются весовые коэффициенты с нейронов текущего слоя случайное число в диапазоне -1,1 или. Вычисляется норма Далее веса преобразуются в соответствии с правилом Смещения выбираются случайным образом из диапазона. Обе предложенные методики позволили на практике добиться лучших результатов, в сравнении со стандартным алгоритмом начальной инициализации весов. 6.5