Количество информации, получаемой в процессе сообщения

До сих пор мы приводили формулы для расчета энтропии (неопределенности) H, указывая, что H в них можно заменять на I, потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Но неопределенность может быть снята только частично, поэтому количество информации I, получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения.

 

(4)

 

Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:

 

(5)

 

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если , то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.

Если , то - неопределенности не изменилась, следовательно, информации получено не было.

Если , то => , если , => . Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.

Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е. , то I=log₂(2)=1 бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.

Рассмотрим в качестве примера опыт с колодой из 36 карт.

Рис. 12. Иллюстрация к опыту с колодой из 36-ти карт.

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (2), составляет H=log₂(36)@5,17 бит. Вытянувший карту сообщает нам часть информации. Используя формулу (5), определим, какое количество информации мы получаем из этих сообщений:

 

Вариант A. “Это карта красной масти”.

I=log₂(36/18)=log₂(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

 

Вариант B. “Это карта пиковой масти”.

I=log₂(36/9)=log₂(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

 

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log₂(36)–log₂(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

 

Вариант D. “Это одна карта из колоды".

I=log₂(36/36)=log₂(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

 

Вариант D. “Это дама пик".

I=log₂(36/1)=log₂(36)=5,17 бит (неопределенность полностью снята).