Существуют меры информации синтаксического, семантического и прагматического уровней. В нашем курсе нас будет интересовать прежде всего мера информации синтаксического уровня.
На этом уровне содержательная сторона информации не имеет значения. Для измерения информации вводятся два параметра: объем информации (данных) V (объемный подход) и количество информации S (энтропийный подход).
При объемном подходе учитывается, что информация (по сути - данные) передается в виде некоторого сообщения, состоящего из совокупности символов какого-либо алфавита. Если количество информации, содержащейся в сообщении из одного символа, принять за единицу, то полное количество информации в сообщении равно количеству символов в нем. В двоичной системе счисления единицей измерения информации является бит (bit – binary digit – двоичный разряд). Тогда сообщение, состоящее из n-разрядного двоичного числа, имеет объем V=n бит.
Энтропийный подход к измерению информации основан на том, что факт получения наблюдателем информации о каком-то источнике этой информации связан, вообще говоря, с уменьшением неопределенности (энтропии) состояния источника с позиции наблюдателя. Пусть источник информации может находиться в N различных равновероятных состояниях. В качестве единицы измерения информации принято такое ее количество, которое уменьшает неопределенность знания о состоянии источника в 2 раза. Такая единица носит уже введенное выше название бит. Тогда
или .
Примеры. 1. Бросание четырехгранной пирамиды. N=4, I=2 бита. Бросок кости сообщает наблюдателю количество информации, равное 2 битам.
2. Шахматный пешечный дебют. N=16, I=4 бита – столько информации несет первый ход.
Байт – 1 байт равен = 8 битам. Слово – 2 взаимосвязанных байта, удвоенное слово- 4 байта, учетверенное слово – 8 байт (64 бита).
Кратные байту единицы - Кбайт, Мбайт, Гбайт, Тбайт.