Собственная информация

Очевидно, что задача количественного измерения информации возникла при решении конкретных практических задач. Например, можно стремиться уменьшить количество электрических сигналов, необходимых для передачи сообщения по каналам связи. Поэтому разумной мерой информации, содержащейся в сообщении, является мера, монотонно связанная с затратами на передачу сообщения.

Собственная информация сообщения , выбираемого из дискретного ансамбля – это:

 

.	(1.1)

 

Если , то количество информации измеряется в битах; – натах; –ди/хартли (Хартли впервые предложил эту формулу в виде в 1928 г.).

 

Свойства собственной информации:

1. .

2. Монотонность: если , то .

3. Аддитивность: (для независимых сообщений) .

 

Пример

Дан ансамбль: . Кодирование будем производить, используя 0 и 1.

.●

 

Видно, что чем выше вероятность появления символа в сообщение (чем чаще он появляется), тем меньшим числом бит его надо кодировать, чтобы сэкономить на длине закодированного сообщения.

Таким образом, собственная информация характеризует степень неожиданности появления конкретного сообщения.

 

Пример

Определить собственную информацию, содержащуюся в изображении, при условии, что оно состоит из 500 строк по 500 элементов в каждой строке. Яркость каждого элемента передается 8 уровнями. Яркости различных элементов независимы.

 

Решение

Случайная величина – яркость одного элемента изображения. .

. Изображение содержит элементов. Так как яркости элементов независимы, то .●

 

 

Пример

На экране радара полос; изображение появляется в виде яркой отметки. Все положения равновероятны. Определить количество собственной информации, содержащейся в сообщениях: (а) объект находится в 46 квадранте, (б) объект находится в 5-ой горизонтальной строке.

 

Решение

(а) .

(б) .●