Анализ избыточности дискретных сообщений

 

Цель - исследование избыточности источников дискретных сообщений с памятью и без памяти.

 

Постановка задачи

 

Память троичного стационарного источника с символами х₁,х₂,х₃ простирается на два соседних символа и, следовательно, дискретная последовательность символов, выдаваемых источником, описывается простой односвязной цепью Маркова с матрицей переходных вероятностей

где p_ij- вероятность передачи символа x_i при условии, что ему предшествовал символ x_j (i = 1,2,3; j = 1,2,3).

Поскольку после передачи любого символа x_j будет передан один из возможных символов x_i, сумма переходных вероятностей по столбцам равна 1, т.е.

Требуется исследовать избыточность источника при различных вероятностях появления символов.

 

Подготовка к выполнению практического задания

 

Ознакомиться с лекционным материалом по данной тематике, изучить содержание раздела 3 данного пособия, а также соответствующие разделы в литературных источниках [2,3,4].

 

 

Порядок выполнения задания

 

1.Определить энтропию источника дискретных сообщений с памятью

,

(lb x = log₂ x).

2.Определить коэффициент избыточности источника дискретных сообщений с памятью

k_n = (H_max(x) - H_n(x))/ H_max(x).

3.Определить энтропию

источника сообщений без памяти, но с теми же значениями вероятностей передачи символов. Учесть, что безусловные вероятности появления символов источника определяются через условные:

При вычислении безусловных вероятностей систему из трех уравнений дополнить четвертым уравнением p₁+p₂+p₃=1, а затем, одно из трех первоначально полученных уравнений из системы исключить.

4.Определить коэффициент избыточности источника дискретных сообщений без памяти

k_б = (H_max(x) - H_б(x))/ H_max(x).

 

Состав отчета по заданию 2

1. Постановка задачи.

2. Расчет энтропии источника дискретных сообщений с памятью.

3. Pасчет коэффициента избыточности источника дискретных сообщений с памятью.

4. Расчет энтропии источника дискретных сообщений без памяти.

5. Расчет коэффициента избыточности источника дискретных сообщений без памяти.

6. Выводы по работе.

 

 

Варианты исходных данных

Таблица 2

Значения переходных вероятностей

 

Вариант	p11	P21	p12	p22	p13	p23
	0,1	0,3	0,2	0,2	0,3	0,2
	0,2	0,2	0,2	0,1	0,4	0,1
	0,1	0,3	0,2	0,3	0,3	0,3
	0,3	0,1	0,3	0,2	0,3	0,4
	0,2	0,4	0,1	0,5	0,3	0,4
	0,5	0,1	0,4	0,3	0,1	0,6
	0,1	0,2	0,3	0,4	0,5	0,4
	0,2	0,3	0,4	0,5	0,1	0,8
	0,8	0,1	0,4	0,4	0,3	0,6
	0,6	0,2	0,3	0,4	0,6	0,3
	0,3	0,4	0,6	0,1	0,7	0,2
	0,1	0,5	0,4	0,2	0,5	0,3
	0,3	0,2	0,6	0,1	0,7	0,2
	0,5	0,1	0,6	0,2	0,2	0,5
	0,3	0,4	0,5	0,1	0,8	0,1
	0,6	0,2	0,1	0,2	0,3	0,4
	0,3	0,3	0,5	0,2	0,7	0,1
	0,2	0,4	0,6	0,2	0,3	0,4
	0,3	0,6	0,1	0,7	0,5	0,1
	0,4	0,3	0,5	0,2	0,7	0,1