Передача информации от дискретного источника.

Выясним, насколько будет изменяться неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи. Алфавиты передаваемых и принимаемых элементов сообщения считаем идентичными.

Вследствие воздействия помех полученный элемент сообщения в общем случае отличается от переданного. Подчеркнем это различие. Обозначив принимаемые эле­менты сообщения другими буквами: w₁, ..., w_i, ..., w_n-

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно состояния источника не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого опыта он знает вероятности их появления. Считая, что состояния источника реализуются независимо, априорная частная неопределенность появления элемента сообщения z_i,

где p(z_i) — априорная вероятность появления элемента сообщения z_i.

Предполагаются также известными некоторые сведения относительно помехи в канале связи. Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей p(z_i/w_j) (1£ i£ N, 1£ j£ N) того, что вместо элемента сообщения z_i будет принят элемент сообщения w_j.

При получении конкретного элемента сообщения w_j адресату становится известным значение условной вероятности p(z_i/w_j), называемой апостериорной (послеопытной) вероятностью реализации источником элемента сообщения z_i. Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата относительно выдачи источников элемента сообщения z_i после получения конкретного элемента сообщения w_j.

 

H(z_i/w_j)=-log p(z_i/w_j)

 

Поскольку получение информации мы связываем с уменьшением неопределенности, естественно определить частное количество информации I(z_i), получаемое при приеме элемента сообщения w_j относительно некоторого реализованного источником элемента сообщения z_i как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения (априорной и апостериорной):

 

I(z_i) = H(z_i) – H(z_i/w_j) =

Анализ формулы позволяет сделать следующие заключения:

1) частное количество информации растет с уменьшением априорной и увеличением апостериорной вероятностей реализации элемента сообщения источником, что находится в полном соответствии с нашими интуитивными представлениями;

2) частное количество информации об элементе сообщения z_i может быть не только положительным, но и отрицательным, а также нулем, что зависит от соотношения априорной p(z_i) и апостериорной p(z_i/w_j) вероятностей. Если вероятность того, что источником был реализован элемент сообщения z_i,- увеличилась после приема элемента сообщения w_j т. е. p(z_i/w_j) > p(z_i), то полученное частное количество информации положительно. Если эта вероятность не изменилась, т. е. p(z_i/w_j) = p(z_i), то имевшая место неопределенность тоже не изменилась и частное количество информации равно нулю.

Наконец, случай p(z_i/w_j) < p(zi) соответствует увеличению неопределенности относительно реализации z_i после получения элемента сообщения w_j, и, следовательно, частное количество информации отрицательно;

3) в случае отсутствия помехи апостериорная вероятность p(z_i/w_j) = 1. При этом частное количество информации численно совпадает с частной априорной неопределенностью реализации данного элемента сообщения z_i:

 

 

I(z_i) =H(z_i)=-log p(z_i)

 

Это максимальное частное количество информации, которое можно получить об элементе сообщения z_i;

4) частное количество информации относительно реализации источником элемента сообщения z_i, содержащееся в принятом элементе сообщения w_j, равно частному количеству информации относительно w_j, содержащемуся в элементе сообщения z_i

Хотя имеют место случаи, где важно оценить частное количество информации I(z_i w_j), для задач анализа и оптимизации функционирования информационных систем более рациональны усредненные характеристики, отражающие статистические свойства источника информации и канала связи.

Найдем среднее количество информации, содержащееся в любом принятом элементе сообщения относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, имеющаяся у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Ее называют априорной энтропией источника.

Средняя неопределенность относительно любого состояния источника, остающаяся у адресата после получения конкретного элемента сообщения w_j, характеризуется частной условной энтропией H_wj(z):

Это случайная величина, зависящая от того, какой конкретно элемент сообщения принят.

Средняя неопределенность по всему ансамблю принимаемых элементов сообщений равна условной энтропии источника H_w(Z):

или

Эту условную энтропию называют апостериорной энтропией источника информации.

Таким образом, при наличии помех среднее количество информации, содержащееся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропии источника:

Представив априорную и апостериорную энтропии соответственно выражениями (3.6) и (3.50) и проведя несложные преобразования, получим формулу для коли­чества информации непосредственно через вероятности:

Если частный характер количества информации специально не оговаривается, мы всегда имеем дело с количеством информации, приходящимся в среднем на один элемент сообщения. Поэтому указание об усреднении опускается.