Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность . Будем считать, сигнал в канале не искажается, если . Тогда для канала без шумов справедливо выражение
(4.9)
Из выражения (**.9) следует, , т.е. пропускная способность канала связи равна
= (4.10)
Если используется код с основанием D ,то энтропия ансамбля достигает наибольшего значения при . Тогда пропускная способность канала равна
. (4.11)
Теорема Шеннона о кодирование источника независимых сообщений для канала без шумов. (Шеннон, стр. 270)
Пусть источник имеет энтропию , а канал имеет пропускную способность . Тогда можно закодировать сообщения таким образом, что можно передавать их со средней скоростью
, где .
Передавать сообщения со скоростью большей, чем , невозможно.
Доказательство. Будем считать источник сообщений согласованным с каналом по скорости передачи информации, если . Тогда
. (4.12)
Энтропия не превышает . Запишем
=,. (4.13)
где .
Подстановка (4.13) в (4.12) позволяет получить
, (4.14)
где .
Если принять , то, т.е. не имеет смысла передавать сообщения.