рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Обучающиеся системы распознавания

Обучающиеся системы распознавания - раздел Философия, ОБЩАЯ ХАРАКТЕРИСТИКА ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И ЯВЛЕНИЙ   Использование Методов Обучения Для Построения Систем Распозна...

 

Использование методов обучения для построения систем распознавания необходимо в случае, когда отсутствует полная первоначальная априорная информация. Ее объем позволяет подразделить объекты на классы и определить априорный словарь признаков. Однако объем априорной информации недостаточен для того, чтобы в признаковом пространстве путем непосредственной обработки исходных данных построить описания классов объектов Ω1 ..., Ωm на языке априорного словаря признаков х1, ..., xN. Такими описаниями могут быть, например, разделяющие функции Fi(x1 ..., xN), i=1, ..., m, либо априорные вероятности появления объектов различных классов Р(Ωi) и условные плотности распределений fi(x1 ..., xN), i=l, ..., m, и др.

Рассмотрим суть процедуры обучения. Пусть исходная априорная информация позволяет составить список объектов с указанием, к какому классу каждый из них относится. Обозначим объекты этого списка w1 ..., wi, а классы—Ωi ..., Ωm, тогда исходная информация может быть представлена в виде

 

(3.23)

 

Так как априорное признаковое пространство определено, то каждый объект может быть описан на языке признаков x1, ..., xN. Будем полагать, что значения признаков у объекта w1 составляют (х11, ..., x1N), у объекта w2 составляют (х11, ..., х1N) и т. д. Тогда исходный список может быть представлен в виде обучающей последовательности:

 

(3.24)

 

Наличие обучающей выборки в принципе позволяет на основе тех или других методов и соответствующих им алгоритмов реализовать процедуру обучения, цель которой и состоит в описании классов на языке признаков, т. е. в разработке априорного описания классов. Однако в рассматриваемой ситуации объем исходной информации не дает возможности произвести достаточно точного описания классов, найденные их границы не обеспечат предельно достижимой точности (безошибочности) решения задачи распознавания, ограниченной техническими характеристиками измерительной аппаратуры. Поэтому для уточнения описаний классов используется текущая апостериорная информация, образующаяся в результате функционирования предварительным образом сформированной системы в процессе распознавания неизвестных объектов, не относящихся к обучающей последовательности.

Если обучающая последовательность достаточно представительна, т. е. содержит объекты, более или менее равномерно располагающиеся в областях признакового пространства, соответствующих классам, то в пределе подобная процедура приводит к достаточно точному описанию классов и, следовательно, к возможности определения таких границ классов, придерживаясь которых можно достичь потенциально достижимой точности работы системы распознавания.

Следует заметить, что разработке методов и алгоритмов обучения на протяжении всего периода существования распознавания образов как самостоятельного научного направления, в основном и посвящали свои усилия исследователи. Это привело к тому, что в настоящее время известно много более сотни алгоритмов обучения. В частности, значительное количество весьма эффективных алгоритмов обучения (в том числе алгоритмы, основанные на методе потенциальных функций [16]) может быть получено путем применения методов стохастической аппроксимации. Это в середине 60-х годов показал академик Я. 3. Цыпкин, которому принадлежит разработка универсальной схемы решения задачи обучения [8]. Дальнейшее изложение процедуры обучения осуществляется в соответствии с этой схемой.

Постановка задачи обучения. Пусть все множество объектов подразделено на классы Ω1 ..., Ωm и определены вектор х = {х1 ..., xN}, компоненты которого и составляют априорный словарь признаков, обучающая выборка фиксированной длины, т. е. объекты w1, ..., wl векторы, которыми они описываются в признаковом пространстве x1, ..., хl, и принадлежность объеков соответствующим классам. Априорные вероятности P(Ωi) и условные плотности fi1, ..., хN) распределения неизвестны. Требуется на основе предъявления системе распознавания объектов обучающей выборки с указанием классов, которым они принадлежат, построить в многомерном признаковом пространстве гиперповерхность, разделяющую это пространство на области Di, соответствующие классам Ωi, i=1, ..., m. При этом разделение должно осуществляться в каком-либо смысле наилучшим образом.

В целях наглядности изложения ограничимся классами Ω1 и Ω2, т. е. ситуацией, называемой дихотомией. К дихотомии можно последовательно свести и общий случай, когда число классов m > 2. Обозначим разделяющую функцию

 

(3.25)

 

где с = {с1 ..., cN} — неизвестный вектор параметров.

Разделяющая функция представлена, как следует из (3.25), в виде некоторой функции скалярного произведения векторов х и с. Знаки разделяющей функции определяют области в N-мер-ном признаковом пространстве D1 и D2, соответствующие классам Ω1 и Ω2:

 

(3.26)

 

Наличие обучающей выборки позволяет получить указания о принадлежности объектов w1 ..., wl классу Ω1 или классу Ω2:

 

(3.27)

 

Эти указания могут быть использованы для определения двух систем неравенств. Если с помощью разделяющей функции/(х, с) объект классифицируется правильно, то yf(x, c)>0, а если ошибочно, то yf(x, с)<0.

В качестве меры уклонения f(х, с) от у выберем некоторую выпуклую функцию от разности у и у, т. е.

 

(3.28)

 

В процессе обучения предъявление объектов w1 ..., wl осуществляется случайным образом, вследствие этого и мера уклонения также случайна, поэтому в качестве меры, характеризующей, насколько хорошо выбрана разделяющая функция, целесообразно выбрать функционал, представляющий математическое ожидание меры уклонения:

 

(3.29)

 

Положим, что наилучший выбор разделяющей функции сделан тогда, когда J(с) достигает минимума. Таким образом, задача сводится к определению вектора с=с°, который доставляет

 

(3.30)

 

При этом в качестве ограничивающего условия, накладываемого на получение оптимального решения, рассматривается вид разделяющей функции. Такова математическая постановка задачи. Относительно ее решения следует прежде всего сказать, что так как неизвестна плотность распределения, то неизвестно и математическое ожидание M{F}, определяемое в соответствии с этой плотностью распределения. В этих условиях решение задачи, т. е. определение вектора с=с°, требует реализации двух этапов.

Этап 1. Определяется значение вектора с=с° в первом приближении на основе использования априорной информации, содержащейся в обучающей последовательности. Это дает возможность найти разделяющую поверхность, в первом приближении наилучшим образом разделяющую признаковое пространство на области, соответствующие классам, и организовать процесс распознавания новых объектов.

Этап 2. Для уточнения значения вектора ĉ0 и получения такого его значения с = с°, при котором достигается минимальное значение вероятности ошибочных решений задачи распознавания, используется текущая апостериорная информация, полученная в результате распознавания этих объектов.

Разделение решения задачи на два этапа носит принципиальный характер, однако реализация каждого из этапов может быть достигнута применением единых алгоритмических методов.

Пусть в некоторой системе протекает стационарный дискретный или непрерывный процесс, характеризуемый вектором х={х1 ..., xN}, плотность распределения которого р(х), а также задан вектор с={с1, ..., cN}, компоненты которого представляют собой либо значения характеристик управляющего воздействия на систему, либо значения ее параметров. Необходимо определить в каком-либо смысле наилучшее состояние системы.

Наилучшее состояние может быть достигнуто за счет выбора соответствующего значения вектора с, поэтому в качестве функционала можно выбрать

 

(3.31)

 

где Q (х, с) — функционал вектора с, зависящий также от случайных реализаций процесса х; X — пространство вектора х.

Так как Q (х, с) для каждой реализации х — случайный функционал, то его математическое ожидание

 

(3.32)

 

Если функционал Q(x, с) непрерывно дифференцируем по с, то необходимые условия экстремума (3.32) можно записать в виде уравнения

 

(3.33)

 

где — градиент функционала — градиент случайного функционала Q (х, с) по с.

Если функционал J (с) выпуклый и имеет единственный экстремум, то условие (3.33) необходимо и достаточно. В этом случае корень уравнения определяет оптимальное значение с = с°, при котором функционал J(с) достигает экстремума.

В условиях полной априорной информации плотность распределения р (х) известна, поэтому функционал J(с) и gradJ(c) можно выразить в явной форме, а оптимальное значение с=с° — определить. Отсутствие полной априорной информации заставляет для решения задачи определения вектора с0 применять методы обучения, используя на первом этапе априорную информацию, содержащуюся в обучающей выборке, и на втором этапе — текущую апостериорную информацию.

Обучение как на основе априорной информации, так и на основе текущей апостериорной информации может быть организовано реализацией единой рекуррентной процедуры. Ее цель в том, чтобы на каждом шаге получать такое значение вектора с, которое с течением времени стремится к оптимальному значению с0.

Алгоритм обучения (алгоритм определения оптимального вектора с=с°) должен позволять по наблюдаемым значениям вектора х определять либо оценку вектора с [n] на очередном л-м шаге, если вектор с изменяется дискретно, либо оценку вектора с [t], если вектор с непрерывен, которая с течением времени стремится к оптимальному вектору с0. Применительно к первой ситуации дискретный алгоритм обучения имеет вид

 

(3.34)

 

а непрерывный алгоритм обучения может быть записан так:

 

(3.35)

 

В (3.34) и (3.35) Г — квадратная N-мерная матрица, полная или диагональная, элементы которой зависят от текущего момента времени (n или t). С течением времени элементы матрицы должны стремиться к нулю, так как только при этом условии вектор с стремится к оптимальному значению с вероятностью единица.

Если Г — диагональная матрица (полная матрица соответствует линейному преобразованию диагональной) и ее элементы равны друг другу, т. е.

 

(3.36)

 

(I — единичная матрица), то алгоритмы обучения (3.34) и (3.35) представляют собой соответственно дискретные и непрерывные алгоритмы стохастической аппроксимации.

Обучение успешно в случае, когда алгоритмы обучения сходятся. Условия сходимости алгоритмов обучения в среднеквадратичном могут быть записаны так:

для дискретного алгоритма обучения

 

(3.37)

 

или

 

(3.38)

 

где с [n] — дискретная последовательность значений вектора с, полученных на основе дискретного алгоритма обучения; для непрерывного алгоритма обучения

 

(3.39)

 

или

 

 

(3.40)

где с (t) — непрерывная последовательность значений вектора с, полученных на основе непрерывного алгоритма обучения.

Возвратимся к исходной задаче обучения распознаванию объектов. Рассмотрим алгоритмы решения (3.32), заметив, что Q(x, c)=F[y—f(х, с)]. Ограничивающее условие, накладываемое на поиск экстремума функционала J(c), соблюдается, в частности, в случае, если f(х, с) представляет собой конечную сумму:

 

(3.41)

 

или

 

(3.42)

 

где с, j (х) — соответственно N-мерные векторы коэффициентов и линейно независимых функций; t — знак транспонирования. Подставляя (3.42) в (3.32), получим

 

(3.43)

 

Полагая, что функционал F[y—cTj(x)] непрерывен по с, необходимые условия экстремума (3.43) можно записать в виде

 

(3.44)

 

где

 

(3.45)

 

Применяя к (3.45) либо дискретный алгоритм обучения (3.34), либо непрерывный алгоритм (3.35), найдем:

 

(3.46)

 

(3.47)

 

Пример. Пусть имеется обучающая совокупность объектов w1 .... wl и известно, какому из классов Ω1, ..., Ωm каждый из них принадлежит. Требуется определить оценки РΩ1), ..., Р(Ωm) априорных вероятностей появления объектов каждого класса.

Если количество объектов, относящихся к каждому классу, достаточно велико, то значения априорных вероятностей могут быть определены с помощью (3.20). Если количество объектов, относящихся к каждому классу, сравнительно мало, то оценки априорных вероятностей могут быть определены на основе методов обучения.

Этап 1. Воспользуемся априорной информацией относительно принадлежности некоторых групп объектов обучающей совокупности соответствующих классам, т. е. информацией, содержащейся в соотношениях

Определить в первом приближении оценки априорных вероятностей появления объектов каждого класса:

 

(3.48)

 

На этом завершается этап 1 работы.

Положим, определены также в первом приближении оценки f1 (х), ..., fm(x) плотности распределения вероятности и таким образом выполнено первоначальное формирование системы распознавания. Пусть затем на вход системы поступают новые, неизвестные объекты и система начинает производить их классификацию.

Этап 2. Последовательно уточняются оценки ..., m, на основе использования текущей апостериорной информации, содержащейся в результатах отнесения новых объектов к соответствующим классам.

Обозначим si количество объектов Ωi-го класса, содержащихся в обучающей выборке, а kn+1i — количество объектов, отнесенных в результате распознавания n+l объектов также к Ωi-му классу. Тогда искомая последовательная оценка априорной вероятности на (n+1)-м шаге в соответствии с алгоритмом стохастической аппроксимации

 

(3.49)

 

где Рãn (Ωi) — оценка, полученная на предыдущем шаге (после распознавания n объектов).

Если {gn} выбрано так, что 1 > gn > 0, т. е.

 

(3.50)

 

то последовательные оценки {Pãn(Ωi)} стремятся к величине P(Ωi), 1=1, ..., m, в смысле среднего квадрата с вероятностью единица. На этом завершается этап второй работы.

 

– Конец работы –

Эта тема принадлежит разделу:

ОБЩАЯ ХАРАКТЕРИСТИКА ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И ЯВЛЕНИЙ

В А Скрипкин... Методы распознавания... ОБЩАЯ ХАРАКТЕРИСТИКА ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И ЯВЛЕНИЙ...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Обучающиеся системы распознавания

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Качественное описание задачи распознавания i
Распознавание образов (объектов, сигналов, ситуаций, явлений или процессов) — едва ли не самая распространенная задача, которую человеку приходится решать практически ежесекундно от первого до посл

Основные задачи построения систем распознавания
  Рассмотренный в § 1.1 пример свидетельствует о том, что распознавание сложных объектов и явлений требует создания специальных систем распознавания — сложных динамических систем, сос

Экспертные системы распознавания
  Рассмотренная классификация систем распознавания и принципы их функционирования отражают современное состояние вопроса. Все виды систем распознавания базируются на строго формализов

Содержательная трактовка проблемы распознавания
  Процесс распознавания состоит в том, что система распознавания на основании сопоставления апостериорной информации относительно каждого поступившего на вход системы объекта или явле

Постановка задачи распознавания
  Пусть задано множество объектов или явлений Ω={w1 ..., ..., wz}, а также множество возможных решений L={l1, ..., lk}, которые могут

Метод решения задачи распознавания
  Рассмотренная постановка проблемы распознавания позволяет определить последовательность задач, возникающих при разработке системы распознавания, предложить их формулировки и возможн

Системы распознавания без обучения
  Построение систем распознавания без обучения возможно при наличии полной первоначальной априорной информации, которая представляет собой совокупность: 1) сведений о том, какова есте

Самообучающиеся системы распознавания
На практике иногда приходится сталкиваться с необходимостью построения распознающих устройств в условиях, когда провести классификацию объектов либо невозможно, либо по тем или другим соображениям

Некоторые сведения из теории статистических решений
  Рассмотрим основные результаты теории статистических решений на следующем примере. Пусть совокупность объектов подразделена на классы Ω1 и Ω2, а дл

Критерий Байеса
  Критерий Байеса — правило, в соответствии с которым стратегия решений выбирается таким образом, чтобы обеспечить минимум среднего риска. Применение критерия Байеса целесообразно в с

Минимаксный критерий
  При построении систем распознавания возможны такие ситуации, когда априорные вероятности появления объектов соответствующих классов неизвестны. Минимизировать значение среднего риск

Критерий Неймана—Пирсона
  При построении некоторых систем распознавания могут быть неизвестны не только априорные вероятности появления объектов соответствующих классов, но и платежная матрица (1.7). В подоб

Процедура последовательных решений
  Ранее предполагалось, что решение о принадлежности распознаваемого объекта w соответствующему классу Ωi, i=l, ..., m, принимается после измерения всей совокупности

Регуляризация задачи распознавания
  В соответствии со стратегией Байеса, если у распознаваемого объекта со измеренное значение признака х = х0 , то  

Рабочего словаря признаков
  В § 5.1 был рассмотрен один из возможных методов выбора пространства признаков системы распознавания, обеспечивающий в пределах выделенных ресурсов максимальное значение критерия ка

Сравнительная оценка признаков
  Выше были рассмотрены достаточно общие методы выбора совокупности признаков, которые целесообразно и доступно использовать при построении системы распознавания. Однако на практике д

Изображающие числа и базис
  Булева функция считается заданной, если можно указать значения истинности этой функции при всех возможных комбинациях значений истинности входящих в нее элементов. Таблицу, которая

Восстановление булевой функции по изображающему числу
  Рассмотрим методы, позволяющие переходить от задания булевой функции в виде изображающего числа к явному выражению ее через элементы. Дизъюнктивная нормальная форма (ДНФ).

Зависимость и независимость высказываний
  Условия независимости. Поскольку каждая булева функция может иметь два значения истинности, n булевых функций могут образовывать 2n комбинаций значений истинности. По опр

Булевы уравнения
  Решение многих задач, связанных с распознаванием объектов, может быть сведено к нахождению решений булевых алгебраических уравнений с одним (или более) неизвестным. Примером булева

Замена переменных
  Понятие замены переменных в алгебре логики аналогично понятию замены переменных в обычной алгебре. Если А, В, С, ... — элементарные высказывания и совершается замена переменных, то,

Решение логических задач распознавания
  В логических системах распознавания классы и признаки объектов рассматриваются как логические переменные. Чтобы подчеркнуть эту особенность, для обозначения классов и признаков введ

Решение задач распознавания при большом числе элементов
  Приложение изложенных в предыдущих параграфах методов построения сокращенного базиса и решения логических задач существенно ограничивается объемом памяти ЭВМ и их быстродействием. Т

Алгоритм построения сокращенного базиса
  В § 7.1 было показано, как с помощью ЭВМ, опираясь на сокращенный базис b´ [А1, А2, ...Ω1, Ω2,...], находить

Распознавание объектов в условиях их маскировки
  Маскировка — один из основных методов снижения эффективности разведки противника в общем комплексе мероприятий по противодействию. Решение проблемы маскировки требует привлечения, с

Распознавание в условиях противодействия
  Рассмотрим задачу распознавания объектов в условиях, когда противник может препятствовать как выявлению отдельных признаков объектов, так и сознательно изменять свою тактику в отнош

Алгоритмы распознавания, основанные на вычислении оценок
  Логические алгоритмы распознавания, рассмотренные выше, в ряде случаев не позволяют получить однозначное решение о принадлежности распознаваемого объекта к определенному классу. Ю.

Общая характеристика структурных методов распознавания
  Во многих случаях апостериорная информация о распознаваемых объектах или явлениях содержится в записях соответствующих сигналов (электрокардиограмм, энцефалограмм, отраженных от цел

Основные элементы аппарата структурных методов распознавания
  Говоря о средстве описания объектов в терминах непроизводных элементов и их отношений, употребляют понятие язык. Правила этого языка, определяющие способы построения объекта из непр

Реализация процесса распознавания на основе структурных методов
  Для распознавания неизвестного объекта на основе структурных методов необходимо прежде всего найти его непроизводные элементы и отношения между ними, а затем с помощью синтаксическо

Постановка задачи оптимизации процесса распознавания
  Прежде всего покажем, что с увеличением числа признаков, используемых при распознавании, вероятность правильного распознавания неизвестных объектов также увеличивается. Вер

Алгоритм управления процессом распознавания
  Рассмотренные понятия позволяют построить алгоритм управления процессом распознавания в виде правила последовательного поиска решений, обеспечивающего разработку оптимального плана

Частные подходы к принятию решений при распознавании
Решение задачи оптимизации распознавания в рассмотренной постановке требует наличия определенных данных. Когда они отсутствуют, приходится пользоваться частными подходами к пр

Алгебраический подход к задаче распознавания
  Выше рассмотрены алгоритмы распознавания: детерминированные алгоритмы, основанные на проведении в признаковом пространстве решающей границы (границы, разделяющей классы и представля

Эффективность вероятностных систем распознавания
  Чтобы оценить эффективность вероятностных систем распознавания на основе математического моделирования, можно использовать метод статистических испытаний. Для проведения таких испыт

Эффективность логических систем распознавания
  При построении логических систем распознавания приходится сталкиваться с ситуацией, когда значения истинности элементов А1..., Аn, выражающих признаки объектов

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги