Рассмотрим алфавит из восьми букв. Ясно, что при обычном (не учитывающем статистических характеристик) кодировании для представления каждой буквы требуется три символа.
Наибольший эффект сжатия получается в случае, когда вероятности букв представляют собой целочисленные отрицательные степени двойки. Среднее число символов на букву в этом случае точно равно энтропии. Убедимся в этом, вычислив энтропию: и среднее число символов на букву где n(Zi) —число символов в кодовой комбинации[14], соответствующей букве Zi. Характеристики такого ансамбля и коды букв представлены в таблице 3.4.
Таблица 3.4.
| Буквы | Вероятности | Ступени разбиения | Кодовые комбинации | ||||||
| Z1 | 1/2 | ||||||||
| Z2 | 1/4 | ||||||||
| Z3 | 1/8 | ||||||||
| Z4 | 1/16 | ||||||||
| Z5 | 1/32 | ||||||||
| Z6 | 1/64 | ||||||||
| Z7 | 1/128 | ||||||||
| Z8 | 1/128 |
В более общем случае для алфавита из восьми букв среднее число символов на букву будет меньше трех, но больше энтропии алфавита H(Z). Для ансамбля букв, приведенного в таблице 3.5, энтропия равна 2,76, а среднее число символов на букву 2,84.