Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет меньшую энтропию, количество находящейся в нем информации падает, а поскольку размер сообщения может оставаться прежним, говорят о его избыточности.
Различают 2 вида избыточности – абсолютную и относительную.
Абсолютная избыточность Dabs находится в виде разности между максимально возможной Hmax и действительной энтропией H сообщения:
Dabs = Hmax ─ H .
Относительная избыточность D находится как отношение абсолютной избыточности Dabs к максимальной энтропии Hmax:
.
Избыточность иногда вредна, а иногда полезна. Ее вредность заключается в том, что она обуславливает увеличение объема передаваемых сообщений, что излишне загружает каналы связи, увеличивает необходимый для их хранения размер запоминающих устройств. С другой стороны, избыточность, если ею правильно распорядиться, может быть использована для увеличения надежности передачи и хранения информации.