КОЛИЧЕСТВО ИНФОРМАЦИИ

В основе теории информации лежит открытие, что информация допускает количественную оценку. В простейшей формулировке идея эта выдвинута еще в 1928 г. Хартли, но завершенный и общий вид придал ей Шэннон в 1948 г.

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СНЯТОЙ НЕОПРЕДЕЛЕННОСТИ

Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала. Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях:

1) полезный (отправляемый) сигнал является последовательностью статистически независимых символов с вероятностями р(х;), i = ;

2) принимаемый сигнал является последовательностью символов утого же алфавита;

3) если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправляемым у= х;

4) если шум имеется, то его действие приводит к тому, что данный символ может быть либо остаться прежним (i-м), либо быть подмененным любым другим (k-м) символом, вероятность этого равна р(у| х);

5) искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа унеопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия она вообще исчезает, а при наличии шума мы не можем быть уверены, что полученный нами символ и есть отправленный, и возникает неопределенность, характеризуемая апостериорной энтропией Н(Х| у) = H() > О. В среднем после получения очередного символа энтропия Н(Х|Y) = MH(X|у)

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропий этого объекта.

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СООТВЕТСТВИЯ СЛУЧАЙНЫХ ОБЪЕКТОВ

(1)

Эта формула означает, что количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте Х. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле (1), есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой — как следствие; это никак не учитывается при введенном количественном описании информации.

СВОЙСТВА КОЛИЧЕСТВА ИНФОРМАЦИИ

Отметим некоторые важные свойства количества информации.

1. Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х:

I(X, Y) =I(Y, Х). (2)

2. Количество информации неотрицательно:

I(X, Y)О. (3)

3. Для дискретных Х справедливо равенство I(X,X) = Н(Х).

4. Преобразование одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:

I ((X),Y)I(X,Y). (4)

5. Для независимых пар величин количество информации аддитивно:

I ( ) = (5)

ЕДИНИЦЫ ИЗМЕРЕНИЯ ЭНТРОПИИ И КОЛИЧЕСТВА ИНФОРМАЦИИ

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи — одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

Н (Х) = - . (6)

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства вытекает, что р= р= 1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица ("нит") получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.