Измерение информации

Рассмотрим два способа измерения информации.

Первый способ отражает вероятностный подход к измерению информации.

Рассмотрим некоторый алфавит из N символов, где p_i (i = 1, 2, ..., N) - вероятность выбора из этого алфавита i-ой буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула

.

В случае равновероятных выборов p_i = 1/N. Подставляя это значение в исходное равенство, мы получим

.

Пример. Пусть из набора 32 возможных чисел необходимо выбрать одно определенное число, получая на каждую попытку ответ «да» или «нет». Воспользуемся приведенной выше формулой, чтобы узнать то количество попыток, которое гарантирует нам отгадку нужного числа, т.е. количество информации, необходимое нам для выбора задуманного числа: Н = log₂N = log₂32 = 5.

Рассмотрим еще одну задачу, решение которой связано с вероятностным подходом к измерению количества информации: кодовый замок сейфа должен включать не менее 1000 уникальных комбинаций. Сколько двухпозиционных переключателей необходимо включить в его конструкцию? Решение: Н = log₂1000. Н не является целым числом. Для гарантированного получения 1000 уникальных комбинаций заменим 1000 на 1024 - ближайшую к нему степень числа 2. log₂1024 = 10. Ответ: в конструкцию необходимо включить 10 двухпозиционных переключателей.

Второй способ, так называемый объемный. При алфавитно-цифровом представлении информации любое слово, являющееся последовательностью символов, становится информацией. Число символов в слове называется его длиной. Каждый новый символ увеличивает количество информации, представленной последовательности символов выбранного алфавита. Для измерения количества информации надо выбрать соответствующий эталон. Эталоном для подсчета количества информации, представленной последовательностью символов, логично считать слово минимальной длины, то есть состоящее из одного символа. Количество информации, содержащееся в слове из одного символа, принимают за единицу. Если мы конструируем сообщения, используя двузначный алфавит из двух цифр 0 и 1, то величина способная принимать два различных значения (0 и 1), становится эталонной единицей количества информации, называемой бит (binary digit- двоичный разряд).

В общей теории информации в качестве эталона меры для нее выбирается некоторый абстрактный объект, который может находиться в одном из двух состояний (например, включен / выключен, да / нет, 0 / 1 и т. п.), или, как еще говорят, бинарный объект. Говорят, что такой объект содержит информацию в 1 бит. Данный метод измерения информации во многом был предопределен возможностями ее хранения в различных технических устройствах, где на элементарном уровне информация запоминается с помощью магнитно-электрических устройств, которые могут находиться в одном из двух возможных состояний. Данное решение позволяет гармонично связать методы измерения информации с бинарной (двоичной) организацией системы ее хранения.

Сравнивая с эталоном, можно установить объем информации, содержащейся в слове, записанном в том же двузначном алфавите. Но при представлении информации в виде последовательности слов, составленных из символов двоичного алфавита, становится невозможным раскодирование, то есть понимание полученной информации. Понять ее можно только при условии наличия соглашения о фиксированной длине последовательностей из 0 и 1, составляющих слово в представленной информации. Такой длиной стали считать восемь символов (нулей и единиц) — 8 бит. Величина количества информации в 8 бит называется байтом. При работе с большими объемами информации для подсчета ее количества удобнее пользоваться более крупными единицами. Например, обозначают:

1 килобайт (Кбайт) = 1024 байт = 2¹⁰ байт,

1 мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт,

1 гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт.

В десятичной системе счисления единица измерения - дит (десятичный разряд).

Пример. Сообщение в двоичной системе в виде двоичного кода 10111011 имеет объем данных V_Д= 8 бит = 1 байт. Сообщение в десятичной системе 275903 имеет объем данных V_Д=6 дит.