Взаимная информация

 

Рассмотрим два ансамбля сообщений: . – ансамбль сообщений на входе системы, – на выходе. Естественно, что они зависимы.

В результате опыта (приема символа ) апостериорная вероятность появления символа изменяется в сравнении с априорной. Тогда количество информации символа сообщения , доставляемое символом , можно определить как логарифм отношения апостериорной вероятности к априорной:

 

.

(1.2)

 

Это и есть определение взаимной информации.

 

Свойства взаимной информации:

1. .

Если , то считается, что наступление события делает наступление события менее вероятным, чем оно было априори до наблюдения .

2. , – взаимная информация не превышает свою собственную.

При данном взаимная информация достигает своего максимума, когда принятый символ однозначно определяет переданный символ .

При этом и это максимальное значение равно , то есть собственной информации, определяемой только априорной вероятностью символа .

3. Симметрия: . Информация, содержащаяся в относительно , равна информации, содержащейся в относительно . Поэтому – это именно взаимная информация.

4. Аддитивность: , только при условии, что ансамбли независимы от .

 

Информация, содержащаяся в реализации принятого сигнала относительно ансамбля передаваемых сообщений , определяется следующей формулой:

 

(1.3)

Наконец, средняя взаимная информация между ансамблем принимаемых сигналов и ансамблем передаваемых сообщением определяется формулой (4):

 

(1.4)

 

то есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов относительно ансамбля передаваемых символов .

Пример.

По дискретному каналу передаются сообщения и . Вследствие шумов на выходе канала появляются сигналы . Вероятности их совместного появления заданы в таблице:

	1/4	1/16	1/8
	1/8	3/16	1/4

Необходимо найти взаимную информацию и .

 

Решение

.

, .

. Значит, .

Аналогично: .●

 

Пример

Дан ансамбль сообщений:

	1/2	1/4	1/8	1/32	1/32	1/32	1/32
Код	001	010	100	011	101	110	111

Сообщение поступило в кодер. Вычислить дополнительную информацию об этом сообщении, доставляемую каждым последующим символом на выходе кодера.

Решение

Найдем взаимную информацию, содержащуюся в первом кодовом символе ‘1’ относительно сообщения : (см. следующий рисунок).

 

1

?

?

Кодовое слово на выходе:

 

, где – это гипотеза о том, что было передано 4-ое сообщение.

– это вероятность появления ‘1’ на первом месте в кодовом слове.

.

Таким образом, .

Информация, содержащаяся во втором кодовом символе ‘0’ при условии, что первый кодовый символ равен ‘1’:

, где

.

 

1

0

?

Кодовое слово на выходе:

 

Информация, содержащаяся в третьем кодовом символе ‘1’ при условии, что первые два кодовых символа равны ‘10’:

.

1

0

1

Кодовое слово на выходе:

 

Так как сообщение и кодовые слова однозначно связаны, то

.

 

По свойству 2) получаем тот же ответ: .●

 

Заметим, что среднее значение, или математическое ожидание, вычисленные по ансамблю, будут характеристикой информативности всего ансамбля: для этого вводят понятие энтропии.