рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Правило Байеса.

Правило Байеса. - Лекция, раздел Информатика, Новые информационные технологии Пусть Имеется Группа Событий ...

Пусть имеется группа событий (классов, к которым относятся входные сообщения), обладающая следую­щими свойствами:

1) все события попарно несовместны: ;

2) их объединение образует пространство элементарных исходов W:

.

В этом случае будем говорить, что H1, H2,..., Hn образуют полную группу событий. Такие события иногда называют гипотезами.

 

 

Рис. 2.5. Декодирование сигнала и выделение информации.

Пусть - полная группа событий и – некоторое событие. Тогда по формуле Байеса исчисляется вероятность реализации гипотезы при условии, что событие А произошло. Формула Байеса, полученная Т. Байесом в 1763 году, позволяет вычислить апостериорные вероятности событий через априорные вероятности и функции правдоподобия.

 

 

Здесь А – конкретное наблюдение (измерение). Формулу Байеса еще называют формулой вероятности гипотез. Будем считать, что у нас достаточно данных для определения вероятности принадлежности объекта каждому из классов. Вероятность называют априорной вероятностью гипотезы , а вероятность – апостериорной вероятностью, поскольку задает распределение индекса класса после эксперимента (a posteriori – т.е. после того, как измерение было произведено). Также будем считать, что известны функции распределения вектора признаков для каждого класса . Они называются функциями правдоподобия A по отношению к Hk. Если априорные вероятности и функции правдоподобия неизвестны, то их можно оценить методами математической статистики на множестве прецедентов. Байесовский подход исходит из статистической природы наблюдений. За основу берется предположение о существовании вероятностной меры на пространстве образов, которая либо известна, либо может быть оценена. Цель состоит в разработке такого классификатора, который будет правильно определять наиболее вероятный класс для пробного образа. Тогда задача состоит в определении "наиболее вероятного" класса.

Если априорные вероятности и функции правдоподобия неизвестны, то их можно оценить методами математической статистики на множестве прецедентов. Например, , где – число прецедентов из . – общее число прецедентов. может быть приближено гистограммой распределения вектора признаков для прецедентов из класса .

Рассмотрим случай двух классов и . Естественно выбрать решающее правило таким образом: объект относим к тому классу, для которого апостериорная вероятность выше. Такое правило классификации по максимуму апостериорной вероятности называется Байесовским: если , то классифицируется в , иначе в . Таким образом, для Байесовского решающего правила необходимо получить апостериорные вероятности . Это можно сделать с помощью формулы Байеса.

Итак, Байесовский подход к статистическим задачам основывается на предположении о существовании некоторого распределения вероятностей для каждого параметра. Недостатком этого метода является необходимость постулирования как существования априорного распределения для неизвестного параметра, так и знание его формы.

 

Байесовские процедуры классификации разработаны на основе теоремы Байеса и специально предназначены для работы со входными данными высокой размерности. Несмотря на простоту Байесовских процедур, результаты их работы по своим характеристикам могут превзойти результаты работы более сложных алгоритмов классификации.

Чтобы продемонстрировать основные принципы работы Байесовских процедур классификации, рассмотрим вышеприведенный пример. Как видно, объекты могут быть разделены на два класса: GREEN или RED. Наша цель - классифицировать новые наблюдения по мере их поступления, то есть нужно решить к какому классу они принадлежат, используя информацию о принадлежности классам уже имеющихся в нашем распоряжении объектов.

Так как объектов типа GREEN в два раза больше объектов типа RED, разумно предположить, что шансы принадлежности вновь поступившего наблюдения классу GREEN в два раза больше шансов принадлежать классу RED. В терминах байесовского анализа это предположение именуется априорной вероятностью. Априорная вероятность определяется накопленным опытом (в нашем случае процентным соотношением объектов типа GREEN и RED). Эта величина обычно используется для предсказания исходов до их реального наступления.

Таким образом, мы можем записать:

Так как общее число объектов - 60, 40 из них принадлежат классу GREEN и 20 - классу RED, то априорная вероятность принадлежности классу будет:

Определив априорную вероятность, мы готовы классифицировать новый объект (белый круг). В силу хорошей группировки объектов, разумно предположить, что чем больше объектов типа GREEN (или RED) попадает в окрестность точки X, тем вероятнее, что новое наблюдение будет принадлежать этому классу. Для вычисления степени правдоподобия, проведем окружность с центром в точке X, которая охватит априорно выбранное число точек безотносительно к их классовой принадлежности. Затем подсчитывается число точек каждого типа. По этим данным вычисляем степень правдоподобия:

На вышеприведенной иллюстрации видно, что степень правдоподобия принадлежности X классу GREEN ниже соответствующего значения для класса RED, так как окружность заключает 1 объект типа GREEN и 3 объекта типа RED. Следовательно:

Хотя априорная вероятность указывает на возможную принадлежность наблюдения X классу GREEN (объектов типа GREEN в два раза больше объектов типа RED), величина меры правдоподобия приводит к противоположному заключению: X принадлежит классу RED (в окрестности точки X объектов типа RED больше чем объектов типа GREEN). Конечное классифицирующее решение в байесовском анализе принимается на основе двух источников информации: априорной вероятности и степени правдоподобия. Для определения апостериорной вероятности применяется правило Байеса (названо в честь Thomas Bayes 1702-1761).

В результате мы классифицируем X как объект типа RED, так как апостериорная вероятность принадлежности этому классу имеет наибольшего значения.

Байесовские процедуры классификации разработаны на основе теоремы Байеса и специально предназначены для работы со входными данными высокой размерности. Несмотря на простоту Байесовских процедур, результаты их работы по своим характеристикам могут превзойти результаты работы более сложных алгоритмов классификации.

Чтобы продемонстрировать основные принципы работы Байесовских процедур классификации, рассмотрим вышеприведенный пример. Как видно, объекты могут быть разделены на два класса: GREEN или RED. Наша цель - классифицировать новые наблюдения по мере их поступления, то есть нужно решить к какому классу они принадлежат, используя информацию о принадлежности классам уже имеющихся в нашем распоряжении объектов.

Так как объектов типа GREEN в два раза больше объектов типа RED, разумно предположить, что шансы принадлежности вновь поступившего наблюдения классу GREEN в два раза больше шансов принадлежать классу RED. В терминах байесовского анализа это предположение именуется априорной вероятностью. Априорная вероятность определяется накопленным опытом (в нашем случае процентным соотношением объектов типа GREEN и RED). Эта величина обычно используется для предсказания исходов до их реального наступления.

Таким образом, мы можем записать:

Так как общее число объектов - 60, 40 из них принадлежат классу GREEN и 20 - классу RED, то априорная вероятность принадлежности классу будет:

Определив априорную вероятность, мы готовы классифицировать новый объект (белый круг). В силу хорошей группировки объектов, разумно предположить, что чем больше объектов типа GREEN (или RED) попадает в окрестность точки X, тем вероятнее, что новое наблюдение будет принадлежать этому классу. Для вычисления степени правдоподобия, проведем окружность с центром в точке X, которая охватит априорно выбранное число точек безотносительно к их классовой принадлежности. Затем подсчитывается число точек каждого типа. По этим данным вычисляем степень правдоподобия:

На вышеприведенной иллюстрации видно, что степень правдоподобия принадлежности X классу GREEN ниже соответствующего значения для класса RED, так как окружность заключает 1 объект типа GREEN и 3 объекта типа RED. Следовательно:

Хотя априорная вероятность указывает на возможную принадлежность наблюдения X классу GREEN (объектов типа GREEN в два раза больше объектов типа RED), величина меры правдоподобия приводит к противоположному заключению: X принадлежит классу RED (в окрестности точки X объектов типа RED больше чем объектов типа GREEN). Конечное классифицирующее решение в байесовском анализе принимается на основе двух источников информации: априорной вероятности и степени правдоподобия. Для определения апостериорной вероятности применяется правило Байеса (названо в честь Thomas Bayes 1702-1761).

В результате мы классифицируем X как объект типа RED, так как апостериорная вероятность принадлежности этому классу имеет наибольшего значения.

 

– Конец работы –

Эта тема принадлежит разделу:

Новые информационные технологии

Лекция Основные классы естественно языковых систем Системы.. Новые информационные технологии..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Правило Байеса.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Структура коммуникационного акта.
В конце 40-х гг. американский математик Клод Шеннон [2] ввёл модель коммуникации (рис. 2.4). Рис. 2.4. Информационно-кодо

Структура приемника информации – машины
Для решения задачи коммуникации со стороны машины должны быть реализованы те же функции, что и со стороны человека – реципиента речевой посылки. Следовательно, и архитектура ее алгоритмов должна бы

Системы покомандного распознавания
Имеется три основных подхода к покомандному распознаванию речи. 1. Подход, основанный на распознавании образов. 2. Акустико-фонетический (структурный) подход. 3. Искусств

Системы распознавания слитной речи
Имеется три основных подхода к распознаванию слитной речи. 1. Подход, основанный на распознавании образов. 2. Искусственно-интеллектуальный (структурный) подход. 3. Подхо

Сравнение эффективности распознавания человеком и искусственными системами.
Из таблицы ниже хорошо видно уменьшение точности распознавания речи машиной по сравнению с человеком, у которого в любой акт распознавания включены источники знаний всех уровней.  

Промышленные системы распознавания речи
Исследования по распознаванию речи проводятся уже на протяжении 50 лет. В ряде сообщений прессы предполагалось, что такие исследования привели к созданию коммерческих систем распознавания речи. Общ

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги