ИЗМЕРЕНИЕ ИНФОРМАЦИИ.

Существует несколько способов оценивания информации: алфавитный (объемный или технический), алгоритмический, комбинаторный, вероятностный. Наибольшую практическую ценность имеют алфавитный и вероятностный.

 

Алфавитный способ измерения информации.

Единицы измерения.

В вычислительной (компьютерной) технике широко используется алфавитный способ измерения информации. Суть этого способа состоит в том, что носителем информации считают слово, которое является последовательностью символов (букв) и каждый новый символ увеличивает количество информации в слове (безотносительно к содержанию), которое представлено в выбранном алфавите. Для измерения количества информации нужно выбрать соответствующий эталон (как выбрать метр, килограмм и т.д.). Эталоном для подсчета информации, представленной конечной последовательностью символов, логично считать слово минимальной длины – которое складывается из одного символа (буквы). Количество информации, которое содержится в слове из одного символа, принимают за единицу измерения. Если строим сообщение, используя двухзначный алфавит {0, 1}, то любой их этих символов становится эталонной единицей измерения информации. Величину, способную принимать только два значения (0 и 1), называют битом. Сравнивая текст с эталоном, можно установить объем (количество) информации. Информационный объем сообщения определяется по формуле

(1.1)

где k – количество символов в сообщении, а l – количество битов в одном символе.

Следует отметить, что этот способ применим для оценивания синтаксической информации, где содержание сообщения игнорируется. К информативности сообщения данная величина может не иметь никакого отношения, поэтому использовать при алфавитном способе оценки информации термин «количество информации» некорректно. Целесообразно говорить об (потенциальном) информационном объеме сообщения, его информационной длине, а не про количество информации.

Алфавитный (объемный) способ измерения информации, благодаря его простоте, широко используется в технике, в частности, компьютерной, поэтому его часто называют техническим. Этот способ измерения информации широко используется для оценивания внутренней и внешней памяти компьютеров, характеристики пропускной возможности компьютерных сетей. При этом используются производные от бита, значительно большие единицы измерения информации:

Байт (1 байт = 8 битов = 2³ битов);

Килобайт (1 Кб = 1024 байт = 2¹⁰ байтов);

Мегабайт (1 Мб = 1024 Кб = 2²⁰ байтов);

Гигабайт (1 Гб = 1024 Мб = 2³⁰ байтов);

Терабайт (1 Тб = 1024 Гб = 2⁴⁰ байтов);

Петабайт (1 Пб = 1024 Тб = 2⁵⁰ байтов).

Теорема 1.

Над алфавитом мощностью m можно создать ровно mⁿ слов длиною n.

Доказательство:

Воспользуемся методом полной математической индукции. Пусть - элементы (буквы) алфавита мощностью . Из этого алфавита можно создать слов длиной 1. Такими словами будут буквы этого алфавита. Для данное утверждение является правильным .

Допустим, что данное утверждение является правильным для , и покажем, что тогда оно выполняется и для . Предположим, число длины равняется . Чтобы создать все возможные слова длины , достаточно к каждому слову длины добавить в его конце последовательно каждую из букв алфавита. Таким образом, из каждого слова длины образуется разных слов длины . Таким образом, получаем все возможные слова длиною . Поскольку слов длиной является , то общее количество слов длиной будет . Таким образом, предположив истинность утверждения для , доказано, что оно является правильным для . Теорема доказана.