Измерение информации

Измерение информации. Количество информации - это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей через канал информации не может быть больше его пропускной способности.

А ее определяют по тому, какое количество информации проходит здесь за единицу времени. Одни сведения могут содержать в себе мало информации, а другие - много. Разработаны различные способы оценки количества информации. В технике чаще всего используется способ оценки, предложенный в 1948 году основоположником теории информации Клодом Шенноном. Как было отмечено, информация уничтожает неопределенность. Степень неопределенности принято характеризовать с помощью понятия “вероятность”. Вероятность - величина, которая может принимать значения в диапазоне от 0 до 1. Она может рассматриваться как мера возможности наступления какого-либо события, которое может иметь место в одних случаях и не иметь места в других.

Если событие никогда не может произойти, его вероятность считается равной 0. Так, вероятность события “Завтра будет 5 августа 1819 года” равна нулю в любой день, кроме 4 августа 1819 года. Если событие происходит всегда, его вероятность равна 1. Чем больше вероятность события, тем выше уверенность в том, что оно произойдет, и тем меньше информации содержит сообщение об этом событии.

Когда же вероятность события мала, сообщение о том, что оно случилось, очень информативно. Количество информации I, характеризующей состояние, в котором пребывает объект, можно определить, используя формулу Шеннона [7,131]: I = -(p[1]*log(p[1])+p[2]*log(p[2])+ +p[n]*log(p[n])) , здесь n - число возможных состояний; p[1] p[n] - вероятности отдельных состояний; log( ) - функция логарифма при основании 2. Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение log(p[i]) всегда не положительно.

Компьютер может обрабатывать только информацию, представленную в числовой форме. Обработка информации в ЭВМ основана на обмене электрическими сигналами между различными устройствами машины. Эти сигналы возникают в определенной последовательности.

Признак наличия сигнала можно обозначить цифрой 1, признак отсутствия - цифрой 0. Таким образом, в ЭВМ реализуются два устойчивых состояния. С помощью определенных наборов цифр 0 и 1 можно закодировать любую информацию. Каждый такой набор нулей и единиц называется двоичным кодом. Количество информации, кодируемое двоичной цифрой - 0 или 1 - называется битом. Термин “бит”, которое переводится как “двоичная цифра”. 1 бит информации - количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта (значение 0 или 1). Как правило, команды компьютеров не с отдельными битами, а с восьмью битами срезу.

Восемь последовательных битов составляют байт (т.е. 1 байт = 8 бит). Например, русская буква А - байт 10. Любую комбинацию битов можно интерпретировать как число. Например, 110 означает число 6, а 01101100 - число 108. Число может быть представлено несколькими байтами. Более крупные единицы информации составляют килобайт (Кбат), равный 1024 байта, мегабайт (Мбайт) равен 1024 килобайтам и гигабайт (Гбайт) равен 1024 мегабайтам [9, 22]. .