Пусть алфавит данного множества дискретных сообщений состоит из т символов, а разрядность сообщений – из n позиций. Будем рассуждать так. Если наше множество сообщений имеем алфавит m и разрядность n=1 (т.е. каждое сообщение этого множества состоит из одной позиции), то любое наугад выбранное из него сообщение будет состоять из одного из символов алфавита /н, занимающего и ли ни ионную позицию сообщения. Очевидно, всего будетт таких однопозиционных сообщений.
Если множество имеет алфавит т и разрядность n=2, то каждое сообщение этого множества будет иметь две позиции и, следовательно, число возможных сообщений в нем будет N = m×n = m2.
В общем случае, когда сообщения множества имеют алфавит т, разрядность п и вероятность появления в любой позиции « каждого из символов т алфавита одинакова, будем иметь: N = mn.
Это – число возможных сообщений в рассматриваемом множестве, определяющее информационную емкость или максимально возможное число сообщений, которые способна выдать, передать или хранить в себе система, оперирующая алфавитом из т символов и разрядностью из n позиций.
Такой системой может быть источник сообщений, канал связи или запоминающее устройство.
Пример 2.
Пусть m = 30 букв. Из них можно составить 301 = 30 однобуквенных слов (n = 1), 302 = 900 двухбуквенных (n = 2), 303 = 27000 трехбуквенных (n = 3), 304 = 81000 четырехбуквенных (n = 4) и т.д. Между тем в действительности язык содержит примерно 50000 слов.
Информационную емкость принято, однако, оценивать логарифмом числа возможных сообщений: Q = log2N log2mn = nlog2m.
Применение логарифмической меры для измерения объемов информации и других измерений количеств информации оправдано тем, что она обладает рядом преимуществ, делающих удобными математические расчеты, в частности, математическим свойством аддитивности, благодаря которому, например, объемы информации различных источников сообщений могут суммироваться.
Так, если мы имеем два источника сообщений с емкостями Q1 = n1log2m1 и Q2 = n2log2m2, то при этом общий объем информации Q = Q1 + Q2 = n1log2m1 +n2log2m2