Как в физическом, так и в информационном смысле величина энтропии характеризует степень разнообразия состояний системы.
Формула Шеннона совпадает с формулой Больцмана для энтропии физической системы. По Второму закону термодинамики энтропия замкнутой системы молекул:
- общее число молекул,
- количество молекул в интервале со скоростями - +d,
- вероятность такого состояния.
Максимальное значение энтропии при равновероятных состояниях растет с ростом этих состояний.
Энтропия объединения нескольких независимых источников равна сумме энтропий исходных источников.