рефераты конспекты курсовые дипломные лекции шпоры

Раздел Философия
/
Характеристики пары источников дискретных сообщений

Реферат Курсовая Конспект

Выберите учебное заведение

Характеристики пары источников дискретных сообщений

Характеристики пары источников дискретных сообщений - раздел Философия, Дисциплина Теория информации Тема №2: Меры информации Вероятностные Характеристики Источника ...

Вероятностные характеристики источника	Информация	Энтропия
Вероятность отдельного символа (события) — априорная вероятность p(a_i)=p_i p(b_j)=q_j Источник задается вероятностной схемой	Информация отдельного символа (события) I(a_i)=-log₂p_i[бит] I(b_j)=-log₂q_j[бит]	Энтропия ансамбля событий H(A)=-∑pilog₂p_i [бит] H(B)=-∑q_jlog₂q_j [бит]
Совместная вероятность двух символов (пары событий) p(a_i, b_j)=p(ij) Связанные источники задаются объединенной вероятностной схемой	Информация пары символов (событий) I(a_i, b_j)=-log₂p(ij) [бит]	Совместная энтропия связанных источников (средняя совместная информация по объединенной вероятностной схеме) H(AB)=EI(a_i,b_j)=-∑∑p(ij)log₂p(ij) [бит]
Условная вероятность символов (событий) — апостериорная вероятность p(a_i/b_j)=p_ji=p(ij)/q_j p(b_j/a_i)=p_ij=p(ij)/p_i	Условная информация пары символов (событий) I(a_i/b_j)=-log₂p_ji [бит] I(b_j/a_i)=-log₂p_ij [бит]	Условная энтропия связанных источников (средняя условная информация на объединенной вероятностной схеме) H(A/B)=EI(a_i/b_j)=-∑∑p(ij)log₂p_ji [бит] H(B/A)=EI(b_j/a_i)=-∑∑p(ij)log₂p_ij [бит]
	Взаимная информация пары символов: I(a_i; b_j)=log₂(апостериорная вероятность/априорная вероятность)=log₂(p(a_i/b_j)/p_i)=log₂(p_ji/p_i)= log₂(p(b_j/a_i)/q_j)=log₂(p_ij/q_j) [бит]
	Средняя взаимная информация объединенной вероятностной схемы: I(A;B)=EI(a_i;b_j)=∑∑p(ij)log₂((p_ji)/p_i)=∑∑p(ij)log₂((pij)/q_j) [бит]
Информационные соотношения в связанных источниках: H(AB)=H(A)+H(B/A)=H(B)+H(A/B); H(AB)≤H(A)+H(B); H(A/B)≤H(A); H(B/A)≤H(B) I(A;B)=H(A)-H(A/B)=H(B)-H(B/A)

Замечание: Взаимная информация не имеет аналога в теории вероятности. Это совершенно новое понятие теории информации, играющее центральную роль в информационной технике. Взаимная информация связывает понятие канала с возможностью передачи информации по нему, т.е. с его пропускной способностью.

Развернуть

Открыть в широком формате

– Конец работы –

Эта тема принадлежит разделу:

Дисциплина Теория информации Тема №2: Меры информации

Тамбовский государственный технический университет... Кафедра Информационные системы... Дисциплина Теория информации...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Характеристики пары источников дискретных сообщений

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Энтропия вероятностной схемы. Основные свойства энтропии. Аксиомы Хинчина и Фадеева.
Простейший дискретный источник сообщений X в каждый фиксированный момент времени выдает некоторый символ из коне

Взаимная информация и ее свойства. Условная энтропия.
Рассмотрим два дискретных источника A и B. Объединим их события в пары (ai,bj) объединенной вероятностной схемой C=AB. Мы получим простейшую модель связанных источников (рис.1

Свойства взаимной информации.
1. Взаимная информация - величина положительная. 2. Взаимная информация симметрична относительно пары вероятностных схем A и B. I(А;B)=I(B;A) 3. Если сообщение A и B неза

Понятие совместной энтропии.
Для двух источников, образующих объединенную вероятностную схему, используя понятие совместной вероятности пары событий p(ai,bj), можно определить среднюю информацию всех пар