рефераты конспекты курсовые дипломные лекции шпоры

Раздел Философия
/
Понятие совместной энтропии.

Реферат Курсовая Конспект

Выберите учебное заведение

Понятие совместной энтропии.

Понятие совместной энтропии. - раздел Философия, Дисциплина Теория информации Тема №2: Меры информации Для Двух Источников, Образующих Объединенную Вероятностную Схему, Используя П...

Для двух источников, образующих объединенную вероятностную схему, используя понятие совместной вероятности пары событий p(a_i,b_j), можно определить среднюю информацию всех пар событий:

H(AB) = E– совместная энтропия двух дискретных источников

Не сложно доказать, что

H(AB)=H(A)+H(B/A)=H(B)+H(A/B)

Если источники независимы, справедливо:

H(A/B)=H(A), H(B/A)=H(B)., тогда очевидно, что для связанных источников

H(A/B)H(A); H(B/A)H(B).

Поэтому в общем случае справедливо соотношение:

Сведем все проведенные рассуждения в единую таблицу характеристик пары дискретных источников:

Развернуть

Открыть в широком формате

– Конец работы –

Эта тема принадлежит разделу:

Дисциплина Теория информации Тема №2: Меры информации

Тамбовский государственный технический университет... Кафедра Информационные системы... Дисциплина Теория информации...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Понятие совместной энтропии.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Энтропия вероятностной схемы. Основные свойства энтропии. Аксиомы Хинчина и Фадеева.
Простейший дискретный источник сообщений X в каждый фиксированный момент времени выдает некоторый символ из коне

Взаимная информация и ее свойства. Условная энтропия.
Рассмотрим два дискретных источника A и B. Объединим их события в пары (ai,bj) объединенной вероятностной схемой C=AB. Мы получим простейшую модель связанных источников (рис.1

Свойства взаимной информации.
1. Взаимная информация - величина положительная. 2. Взаимная информация симметрична относительно пары вероятностных схем A и B. I(А;B)=I(B;A) 3. Если сообщение A и B неза

Характеристики пары источников дискретных сообщений
Вероятностные характеристики источника Информация Энтропия Вероятность отдельного символа (события) — априорная вероят