Математические меры информации.

Информационные меры, как правило, рассматриваются в двух аспектах синтаксическом и семантическом.

В синтаксическом аспекте сообщения рассматриваются как символы, абстрагированные от содержания и какой-либо ценности. Предметом анализа и оценивания являются частота появления символов, связи между ними, порядок следования, правила построения сообщений. В таком рассмотрении наиболее широко используют структурные и вероятностные (статистические) меры.

Структурные меры оценивают строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

При статистическом подходе используется понятие энтропии как ме­ры неопределенности, учитывающей вероятность появления и информативность того или иного сообщения. Статистический подход учитывает конкретные условия применения информационных систем.

Семантический подход позволяет выделить полезность или ценность информационного сообщения (в настоящем пособии не рассматривается).

При синтаксическом анализе информация определяется как мера уменьшения неопределенности знаний о каком-либо предмете в познавательном процессе. Если H₁ – исходная (априорная) неопределенность до передачи сообщения, а H₂ –остаточная (апостериорная) неопределенность, характеризующая состояние знания после получения сообщения, то содержащаяся в этом сообщении информация определяется их разностью

I=H₁ – H₂. (1.3)

Известно достаточно большое количество различных мер, различающихся подходом к определению неопределенности в (1.3). Далее рассматриваются только две из них – структурная аддитивная мера Хартли и вероятностная мера, называемая энтропия, предложенная К.Шенноном.

 

1.3. Структурная мера информации. Аддитивная мера Хартли.

 

Аддитивная мера (мера Хартли) использует понятия глубины q и длины n числа.

Глубина q числа — количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина n числа — количество позиций, необходимых и достаточных для представления чисел заданной величины.

Эти понятия могут быть распространены и на вариант нечислового сообщения. В этом случае глубина числа тождественна размеру алфавита, а длина числа – разрядности слова при передаче символьного сообщения.

Если сообщение – число, понятие глубины числа будет трансформировано в понятие основания системы счисления. При заданных глубине и длине числа количество чисел, которое можно представить, N = qⁿ.

Величина N не удобна для оценки информационной емкости. Исходная неопределенность по Хартли характеризуется логарифмической функцией

H₁ = log_a N. (1.4)

Неопределенность после получения сообщения, остаточная неопределенность,

H₂ = log_a n, (1.5)

где n – число возможных значения принятого символа после получения сообщения. В случае измерительного опыта, число n-характеризует число возможных значений величины после измерения, характеризующее погрешность. Если передается символ некоторого алфавита, n определяет возможную неоднозначность приема символа за счет искажений в канале связи.

Очевидно, что должно быть n < N, аn = 1 только в идеальном случае передачи сообщения без потери информации или, что тоже самое, измерения некоторой физической величины без ошибок. Количество информации по Хартли оценивается как

I=H₁ – H₂ = log_a N - log_a n = log_a N_/n. (1.6)

Основание логарифма в 1.5 определяет только единицы измерения неопределенности. При a=2 это двоичная единица информации, называемая бит. При a = 10 десятичная (дит), при a =e натуральная (нит). Далее мы будем всегда пользоваться двоичной единицей.

Логарифмическая мера, позволяющая, вычислять количество информации, содержащейся в сообщении, переданном числом длиной n и глубиной q:

I(q),=log₂N=n log₂ q , бит. (1.7)

Следовательно, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Количество информации при этом эквивалентно количеству двоичных символов 0 или 1.

Логарифмическая мера для неопределенности и информации выбрана не случайно. Она оказывается удобной при описании сложных опытов. Допустим, что задача состоит в одновременном приеме информации от двух источников, не зависящих друг от друга. При этом N₁ и n₁ – число возможных сообщение до и после приема информации от первого источника, а - N₂ и n₂ от второго. Пусть H₁₁иH₁₂ – исходная неопределенность знания первого и второго сообщения, соответственно, первого и второго источника. Естественно потребовать, чтобы общая неопределенность знания о двух сообщениях определялась суммой неопределенностей каждого, т.е. мера должна обладать свойством аддитивности

H = H₁₁ + H_12.

 

Число возможных сочетаний двух независимых величин из множеств N₁ N₂

N = N₁ N_2.

Тогда исходная неопределенность H = H₁₁ + H_12, ,аналогично остаточная неопределенностьH = H₂₁ + H₂₂.При наличии нескольких источников информации общее количество информации

I(q₁, q₂, ...,q_n)= I(q₁)+ I(q₂)+...+I(q_n), (1.8)

где I(q_k) — количество информации от источника k.

Логарифмическая мера информации позволяет измерять количество информации и широко используется на практике. Однако всегда надо учитывать, что все сообщения в этой мере полагаются равновероятными и независимыми. Эти допущения приводит на практике к существенно завышенным оценкам.