Синтаксическая мера информации

Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.

Объем данных V_д в сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит название бит (от слов binary digit - двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.

Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.

Количество информации I определяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.

Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения a о системе. Мерой его неосведомленности о системе является функция H(a), которая в то же время служит и мерой неопределенности состояния системы.

После получения сообщения b получатель приобрел в нем информацию I_b(a), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равна H_b(a). Тогда количество информации I_b(a) о системе, полученной в сообщении b, определится как I_b(a) = H(a) - H_b(a) .

Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.

Если конечная неопределенность H_b(a)обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_b(a) = H(a). Иными словами, энтропия системы H(a) может рассматриваться как мера информации.

Энтропия системы H(a), имеющей N возможных состояний, согласно формуле Шеннона равна

,

где P_i - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны ,

энтропия определяется соотношением

.

Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = mⁿ ,

где N - число всевозможных отображаемых состояний;

m - основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число символов в сообщении.

Приведем пример. По каналу связи передается n - символьное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N = mⁿ , то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равно I = log N = n log m.

Эта формула известна как формула Хартли. Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = V_д , полученных по каналу связи. Для неравновероятных состояний системы всегда I < V_д = n.

Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.

Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.

, причем 0 < Y < 1 .

C увеличением Y уменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.