Свойства энтропии

 

1. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –pilog pi положительно.

2. Энтропия ограничена сверху значением 1.

3. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).

4. Энтропия максимальна, когда все состояния источника равновероятны. При этом Hmax(UN) = log2 N.

5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.

8. Энтропия как мера неопределенности согласуется с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.