Предположим, имеется сообщение, состоящее из n букв: , где j=1, 2, …, n ─ номера букв в сообщении по порядку, а i1, i2, … ,in номера букв из алфавита.
Если буквы в сообщении статистически независимы друг от друга, то вероятность P получения этого сложного многобуквенного сообщения вычисляется через произведение вероятностей получения составляющих его букв: , где ─ вероятность появления i-й буквы алфавита, стоящей на j-м месте в сообщении.
Энтропия всего сообщения по определению находятся по формуле:
(1.1)
Пусть сообщение сформировано с помощью алфавита объема m. Обозначим ki, – количество i-й буквы алфавита в сообщении. Тогда, если сгруппировать слагаемые в формуле (1) из нее можно получить:
(1.2)
Чтобы получить среднюю энтропию, приходящуюся на 1 букву сообщения, разделим левую и правую части формулы (1.2) на количество m букв в сообщении и устремим m к бесконечности:
В результате нами получена известная формула среднего значения энтропии, приходящейся на 1 букву сообщения.