Дискретные каналы

 

2.1.Собственная информация. Взаимная информация

 

2.1.1.2 бит. 2.1.2. 1 бит. 2.1.3. 2,58 бит. 2.1.4. 0,415 бит. 2.1.5. 1,78 бит. 2.1.6. 8,5 бит. 2.1.7. 0,18 бит. 2.1.8. а) 2,18 бит; б) 3,7 бит.

2.1.9. 1) а) 1 бит.; б) 0 бит.; в) -¥; 2)-log 5/2 бит. 2.1.10. 26,9×10⁸ бит.

2.1.11. I(x₁;y₂) = - 0,585 бит; I(x₂;y₂) = 0,52 бит; I(x₃;y₁) = -0,07 бит.

2.1.12.I(x₁;y₃) = - 1,8 бит; I(x₃;y₁) = -1 бит.

2.1.13.I(x₁;y₃) = - 0,58 бит; I(x₂;y₂) = 0,52 бит.

2.1.14.I(x₁;0) = 0,42 бит; I(x₂;1/0) = 1,58 бит; I(x₂;0/01) = 1 бит.

2.1.15. I(x₃;1) = 2 бит; I(x₃;0/1) = 0 бит; I(x₃;1/10) = 1бит.

2.1.16. 1.42 бит.

 

2.2.Средняя собственная информация (Энтропия)

 

2.2.1. 5 бит. 2.2.2. 1,84 бит; 0,08. 2.2.3. » 4. 2.2.4. 1,5 бит.

2.2.5. a)б) 1,81 бит.

2.2.6. Н₁<Н₂ . 2.2.7. Н = 0,88 бит; R = 0,12. 2.2.8.Н=1,685 бит; R = 0,16. 2.2.9. 814 бит. 2.2.10. 296 бит/с. 2.2.11. 92,2 бит. 2.2.12.0,837 бит.

2.2.1.Указание. Воспользоваться неравенством Иенсена.

2.2.2.Н_А<H_В , т.е. степень определённости качества связи с узлом А больше, чем с узлом В.

2.2.3.139 км. 2.2.16. 44 % .2.2.17. а) 15 ноября; б) 15 июня.

 

 

2.3.Средняя взаимная информация

 

2.3.1.0,21 бит/букву. 2.3.2. 2,8 бит/букву. 2.3.3. 2,2 бит.

2.3.4. 0,91 бит/симв. 2.3.5. а) 0,484 бит/симв.; б) 0,205 бит/симв.

2.3.6.0,11 бит.

2.3.7.а) I(X;Y) = - [(1- a)(1- l)+a(1- b)] log [(1- a)(1- l)+a(1- b)]-

-ab+(1- a)l] log [ab+(1- a)l]+a[b log b+(1- b)log (1- b)]+

+ [(1- a) l log l +(1- l)log (1- l)]; б) 0,12 бит/символ.

2.3.8.0,2 бит. 2.3.9. 15 октября. 2.3.10. 0,04 бит. 2.3.11.0.3.12.0,84 бит. 2.3.13. 0,21 бит. 2.3.14. 0,13 бит.

2.3.14. а) 2^-n+1 ;

так как первые n-1 символов статистически независимы, а последний n-й символ полностью определяется предыдущими.

2.3.17. I(X;Y) = - 0,9 [p log p + (1-p) log(1-p)] бит/символ, где р – вероятность символа x₁ на входе.

 

2.4.Энтропийные и информационные характеристики случайных последовательностей

 

2.4.1.а)2,58 бит/симв =0,516 бит/с; б) 0,86 бит/симв =0,516 бит/с;в)31 бит.

2.4.2.36,2. 2.4.3.а)10 бит/симв; б) 1бит/симв; в) 1бит/симв; г)10 бит/симв;

д)0,9886 бит/симв. 2.4.4.а) 0,333 бит/симв; б) 0,99994 бит/симв.

2.4.5.а) 0,52 бит/симв. 2.4.6. 1,585 бит/симв. 2.4.7. 1,37 бит/симв.

2.4.8.а) 1,56 бит/симв; б) H=0,661 бит/симв.; R=58%.

2.4.9.I=0,2 бит; R=80%. 2.4.10.0,881 бит/сообщение.