Ввиду того, что канал связи считается стационарным, на вход канала поступает последовательность символов , где каждый символ , образует n-разрядный код. Количество комбинаций, которое можно образовать с использованием кода с основанием D, равно . Множество этих комбинаций образует пространство значений кодовых комбинаций . Символы при ансамбле Y обозначают моменты времени реализации величины . Например, для двумерного ансамбля c основанием кода, равным D=3, имеем
.
На выходе канала имеем последовательность символов , где каждый символ . Точно так же можно образовать множество кодовых комбинаций, составляющих пространство .
Последовательность символов поступает в канал в течение .
Количество информации, которое передается по каналу связи, за время наблюдения согласно (1.18) равно
. (4.2)
Скоростью передачи информации по каналу связи называется величина
. (4.3)
Скорость передачи информации R отражает среднюю скорость передачи информации в единицу времени.
Максимальная скорость передачи информации называется пропускной способностью канала связи
. (4.4)
Рассмотрим в выражении (1.18) разность . Чем больше энтропия , тем больше пропускная способность канала связи. Величина определяет среднюю неопределённость, содержащуюся в ансамбле Y, которая зависит от распределения вероятности элементов ансамбля Y. Поэтому максимизация скорости передачи информации происходит по распределению вероятности элементов ансамбля Y.
Упростим выражение (4.2).
. В силу того, что канал - стационарный и реализации элементов ансамблей и в моменты времени и независимы. Тогда
.
Но ансамбли за время передачи информации неизменны, т.е. . Тогда имеем
(4.5)
Условная энтропия в (4.2) представляется как
==
=.
Воспользуемся условием независимости символов попарно на входе и выходе канала связи, а также стационарностью канала. Тогда соответствующие вероятности и условная энтропия будут равны
= ,
= ,
==
==. (4.6)
Если отсчёты во времени эквидистантны, то , где - интервал дискретизации по времени. Подставив (4.5), (4.6) и в (4.4), получим
. (4.7)
Введём скорость передачи символов
.
Тогда пропускную способность можно записать как
(4.8)
В таблице 4.1 представлены характеристики источника сообщений, кодера источника и канала связи.
Таблица 4.1 | ||