Если число состояний системы равно N, то это равносильно информации, даваемой I ответами типа «ДА-НЕТ» на вопросы, поставленные так, что «ДА» и «НЕТ» одинаково вероятны.
N=2I; log2N=Ilog22; log2N=I; I=log2N;
Количество информации I, минимально необходимой для устранения неопределенности H, равно двоичному логарифму числа возможных состояний системы N.
При реализации конкретного события (состояния) количество единиц полученной информации I равно энтропии H. При этом неопределенность полностью снимается.
I=H=log2N;
ЧИСЛО СОСТОЯНИЙ СИСТЕМЫ N И КОЛИЧЕСТВО ИНФОРМАЦИИ I.
| Разряды двоичного слова | N | I | ||||
| I | … | N=2I | I=log2N | |||
| 21=2 | 1=log22 | |||||
| 22=4 | 2=log24 | |||||
| 23=8 | 3=log28 |
| … | 2I | I=log2N |