Ко второй половине ХХ века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. А потом добавились еще и ЭВМ - переработчики информации.
И тут сказался двойственный характер информации. При проектировании систем связи кроме физических и энергетических позиций инженеру необходимо было обратить внимание на то, какое количество информации пройдет через эту передающую систему. Т. е. появилась необходимость измерить информацию.
Каждое сообщение несет четко определенное количество информации, независимо от ее ценности. Передающей системе важно одно: передать нужное количество информации за определенное количество времени. В этом случае человеческая оценка информации полностью игнорирована, а присутствует только количественный подход к передаче информации.
Но существует и другая сторона оценки количества информации. Как можно вычислить количество информации в конкретном сообщении? Одно и то же сообщение несет для разных объектов разное количество информации, т.к. уровень новизны и ценности полученной информации для них разный. В этом случае количество информации можно определить как уменьшение неопределенности об интересующем предмете.