ЭНТРОПИЯ В ИНФОРМАТИКЕ И ФИЗИКЕ.

Как в физическом, так и в информационном смысле величина энтропии характеризует степень разнообразия состояний системы.

Формула Шеннона совпадает с формулой Больцмана для энтропии физической системы. По Второму закону термодинамики энтропия замкнутой системы молекул:

- общее число молекул,

- количество молекул в интервале со скоростями - +d,

- вероятность такого состояния.

Максимальное значение энтропии при равновероятных состояниях растет с ростом этих состояний.

Энтропия объединения нескольких независимых источников равна сумме энтропий исходных источников.