Избыточность

Считают, что имеется избыточность, если количество информации, содержащейся в сигнале (энтропия сигнала), меньше того количества, которое этот сигнал мог бы содержать по своей физической природе.

Пусть сигнал длиной символов содержит количество информации ; кроме того, наибольшее количество информации, которое может содержаться в данном сигнале с учетом наложенных ограничений (таких, как основание кода, заданная средняя мощность сигнала и т.п.), равно . Тогда количественной мерой избыточности является величина:

 

.

(1.9)

Причина избыточности – статистические связи между символами сигнала и неэкстремальность распределения вероятностей отдельных символов. Введение избыточности приводит к удлинению сигнала, но повышает его информационную устойчивость при воздействии помех.

Статистические связи между сигналами наблюдаются в случае ИДС с памятью: здесь вероятность выдачи им очередного элемента сообщения зависит от того, какие элементарные сообщения были выданы ранее.

Примером ИДС с памятью является источник связного русского текста, где в качестве элементарных сообщений выступают буквы. Сочетание ‘ар’ будет встречаться чаще, чем ‘аъ’.

Избыточность показывает, какая доля максимально возможной при заданном объеме алфавита неопределенности (энтропии) не используется источником.

 

Пример

Дан ансамбль: .

Символы в последовательности независимы. Найти энтропию источника и вычислить избыточность.

 

Решение

Энтропия: .

Избыточность за счет неоптимальности (не равновероятности) распределения элементарных сообщений в источнике: , где .●

Пример

Алфавит источника состоит из трех букв . Определить энтропию на 1 букву текста для следующих случаев:

(а) появление букв не равновероятно: , а символы в последовательности на выходе источника статистически зависимы. Условные вероятности переходов заданы таблицей:

i – индекс предыдущей буквы	j – индекс последующей буквы
	0.4	0.2	0.4
	0.0	0.6	0.4
	0.3	0.0	0.7

(б) вероятности букв те же, что и в пункте (а), но символы независимы;

(в) символы в последовательности независимы, а вероятности букв одинаковы.

Вычислить избыточность источника для случаев (а) и (б).

 

Решение

(а) В случае не равновероятных и зависимых сообщений энтропию текста будем считать по свойству 1) условной энтропии, где

а условную энтропию по формуле (8):

Энтропия на один символ:

 

(б) При не равновероятных, но независимых сообщениях энтропия по свойству 2) условной энтропии:

Избыточность, обусловленная статистической зависимостью:

=.

 

(в) В случае равновероятных и независимых сообщениях энтропия:

.

 

Избыточность, обусловленная неоптимальностью распределения:

.

 

Полная избыточность (за счет неоптимальности распределения и наличия статистических зависимостей):

.●