Задание №1. Определение энтропии. Задание №2. Определение информационных потерь при передаче сообщений по каналам связи с шумами. Варианты заданий для выполнения п. а задачи №1 Практическое занятие №2

Практическое занятие №2

Задание №1. Определение энтропии.

Сообщение состоит из N символов. Имеется m1 типов символов (количество букв алфавита). Определить энтропию пакета сообщения: а) если вероятности появлений каждого символа одинаковы (данные варианта приведены в таблице 1) , б) если заданы вероятности появления каждого из символов (данные варианта приведены в таблице 2) .

Задание №2. Определение информационных потерь при передаче сообщений по каналам связи с шумами.

Определить среднее количество информации, содержащееся в принятом пакете сообщений относительно первичного алфавита, если сообщение составлено из алфавита . При этом вероятность появления символов алфавита на выходе источника (Приведены в таблице 3). Условные вероятности приёма символов алфавита выглядят следующим образом (приведены в таблице 3): (сумма вероятностей по строкам равна 1).

  1. Определяем количество информации, при передаче пакета сообщений ;
  2. Определить безусловные вероятности совместного появления символов алфавита и событий:
  3. Заполняется вторая матрица безусловных вероятностей совместного появления символов алфавита. Сумма элементов в главной диагонали должна быть равна 1;
  4. Вероятность появления каждого из символов входе приемника будет равна сумме элементов каждого из столбцов матрицы безусловных вероятностей совместного появления символов алфавита.
  5. Определяем среднее количество информации в принятом пакете сообщений.
  6. Определяем условную энтропию
  7. Определяем энтропию сообщений на выходе канала связи .
  8. Определяем энтропию объединения
  9. Определяем потери информации в канале связи:

Таблица 1.

Варианты заданий для выполнения п. а) задачи №1


№ варианта Количество символов алфавита Количество символов в сообщении

 

Таблица 2.

Варианты к выполнению п. б) задачи №1

№ варианта Количество сообщений в пакете Количество символов алфавита Вероятности появления символов алфавита
0,3 0,1 0,5 0,1        
0,2 0,3 0,1 0,15 0,25      
0,15 0,2 0,25 0,1 0,1 0,2    
0,4 0,2 0,1 0,05 0,03 0,02 0,2  
0,1 0,15 0,18 0,12 0,05 0,2 0,15 0,05
0,2 0,5 0,1 0,2        
0,1 0,15 0,25 0,3 0,2      
0,12 0,29 0,09 0,3 0,18 0,02    
0,1 0,2 0,4 0,26 0,01 0,02 0,01  
0,05 0,08 0,26 0,21 0,25 0,05 0,06 0,04
0,25 0,5 0,2 0,05        
0,3 0,1 0,5 0,07 0,03      
0,26 0,45 0,15 0,05 0,06 0,03    
0,6 0,02 0,08 0,2 0,03 0,06 0,01  
0,3 0,2 0,1 0,05 0,24 0,06 0,02 0,03
0,3 0,1 0,5 0,1        
0,2 0,3 0,1 0,15 0,25      
0,15 0,2 0,25 0,1 0,1 0,2    
0,4 0,2 0,1 0,05 0,03 0,02 0,2  
0,1 0,15 0,18 0,12 0,05 0,2 0,15 0,05
0,2 0,5 0,1 0,2        
0,1 0,15 0,25 0,3 0,2      
0,12 0,29 0,09 0,3 0,18 0,02    
0,1 0,2 0,4 0,26 0,01 0,02 0,01  
0,05 0,08 0,26 0,21 0,25 0,05 0,06 0,04
0,25 0,5 0,2 0,05        
0,3 0,1 0,5 0,07 0,03      
0,26 0,45 0,15 0,05 0,06 0,03    
0,6 0,02 0,08 0,2 0,03 0,06 0,01  
0,3 0,2 0,1 0,05 0,24 0,06 0,02 0,03

 


 

Таблица 3.

Варианты к выполнению задачи №2

№ варианта Количество символов алфавита Вероятности появления символов Условные вероятности принятия символов
0,2 0,95 0,02 0,03  
0,4 0,01 0,97 0,02
0,4 0,007 0,003 0,99
0,23 0,97 0,01 0,015 0,005  
0,45 0,01 0,96 0,02 0,01
0,12 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,2 0,95 0,02 0,01 0,005 0,015  
0,3 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,25 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,36 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,18 0,01 0,005 0,96 0,005 0,015 0,005
0,12 0,01 0,02 0,01 0,95 0,007 0,003
0,05 0,01 0,02 0,026 0,0004 0,94 0,0036
0,03 0,02 0,03 0,03 0,006 0,004 0,91
0,21 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,31 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,25 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,07 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,04 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,08 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98
0,3 0,95 0,02 0,03  
0,5 0,01 0,97 0,02
0,2 0,007 0,003 0,99
0,5 0,97 0,01 0,015 0,005  
0,1 0,01 0,96 0,02 0,01
0,2 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,3 0,95 0,02 0,01 0,005 0,015  
0,4 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,15 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,18 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,35 0,01 0,005 0,96 0,005 0,015 0,005
0,07 0,01 0,02 0,01 0,95 0,007 0,003
0,04 0,01 0,02 0,026 0,0004 0,94 0,0036
0,1 0,02 0,03 0,03 0,006 0,004 0,91

 

 

0,23 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,65 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,02 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,01 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,03 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,02 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98
0,2 0,95 0,02 0,03  
0,4 0,01 0,97 0,02
0,4 0,007 0,003 0,99
0,23 0,97 0,01 0,015 0,005  
0,45 0,01 0,96 0,02 0,01
0,12 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,2 0,95 0,02 0,01 0,005 0,015  
0,3 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,25 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,36 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,18 0,01 0,005 0,96 0,005 0,015 0,005
0,12 0,01 0,02 0,01 0,95 0,007 0,003
0,05 0,01 0,02 0,026 0,0004 0,94 0,0036
0,03 0,02 0,03 0,03 0,006 0,004 0,91
0,21 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,31 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,25 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,07 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,04 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,08 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98
0,3 0,95 0,02 0,03  
0,5 0,01 0,97 0,02
0,2 0,007 0,003 0,99
0,5 0,97 0,01 0,015 0,005  
0,1 0,01 0,96 0,02 0,01
0,2 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,3 0,95 0,02 0,01 0,005 0,015  
0,4 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,15 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,18 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,35 0,01 0,005 0,96 0,005 0,015 0,005
0,07 0,01 0,02 0,01 0,95 0,007 0,003
0,04 0,01 0,02 0,026 0,0004 0,94 0,0036
0,1 0,02 0,03 0,03 0,006 0,004 0,91

 

  0,23 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,65 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,02 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,01 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,03 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,02 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98
0,2 0,95 0,02 0,03  
0,4 0,01 0,97 0,02
0,4 0,007 0,003 0,99
0,23 0,97 0,01 0,015 0,005  
0,45 0,01 0,96 0,02 0,01
0,12 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,2 0,95 0,02 0,01 0,005 0,015  
0,3 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,25 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,36 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,18 0,01 0,005 0,96 0,005 0,015 0,005
0,12 0,01 0,02 0,01 0,95 0,007 0,003
0,05 0,01 0,02 0,026 0,0004 0,94 0,0036
0,03 0,02 0,03 0,03 0,006 0,004 0,91
0,21 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,31 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,25 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,07 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,04 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,08 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98
0,3 0,95 0,02 0,03  
0,5 0,01 0,97 0,02
0,2 0,007 0,003 0,99
0,5 0,97 0,01 0,015 0,005  
0,1 0,01 0,96 0,02 0,01
0,2 0,05 0,05 0,89 0,01
0,2 0,04 0,03 0,03 0,9
0,3 0,95 0,02 0,01 0,005 0,015  
0,4 0,01 0,93 0,02 0,03 0,01
0,1 0,01 0,005 0,97 0,012 0,003
0,15 0,01 0,02 0,01 0,94 0,02
0,05 0,05 0,03 0,02 0,05 0,85
0,18 0,89 0,01 0,02 0,03 0,035 0,015  
0,26 0,05 0,85 0,05 0,02 0,026 0,004
0,35 0,01 0,005 0,96 0,005 0,015 0,005
0,07 0,01 0,02 0,01 0,95 0,007 0,003
0,04 0,01 0,02 0,026 0,0004 0,94 0,0036
0,1 0,02 0,03 0,03 0,006 0,004 0,91

 

0,23 0,9 0,03 0,03 0,01 0,015 0,005 0,01
0,65 0,03 0,95 0,005 0,005 0,003 0,004 0,003
0,02 0,02 0,01 0,93 0,01 0,02 0,005 0,005
0,01 0,03 0,01 0,01 0,92 0,002 0,008 0,02
0,03 0,03 0,01 0,03 0,015 0,91 0,002 0,003
0,02 0,01 0,005 0,002 0,004 0,006 0,97 0,003
0,04 0,01 0,005 0,001 0,002 0,001 0,001 0,98