Существует несколько видов статистических мер информации. В дальнейшем будем рассматривать только одну их них ─ меру Шеннона. Мера Шеннона количества информации тесно связана с понятием неопределенности ситуации ─ энтропии ─ и равна уменьшению этой неопределенности после получения сообщения, т.е. разности априорной (до получения сообщения) и апостериорной (после получения сообщения) энтропии.
Если произошло событие (например вы получили сообщение), в результате чего неопределенность была полностью снята, априорная вероятность возникновения которого Р, количество информации по Шеннону, которое вы при этом получаете, равно
I = - log2 P
Если же событие не произошло, но вам известна вероятность его появления, вы имеете дело с неопределенностью в отношении этого события - энтропией, которая вычисляется по аналогичной формуле:
H = - log2 P
В зависимости от происхождения и, соответственно, смысла, который вкладывается в вероятность, которая используется для вычисления количества информации и энтропии, меняется смысл получаемой информации и энтропии. Если же после получения сообщения неопределенность снимается не полностью, количество информации измеряется как разность между априорной энтропией (неопределенностью до получения сообщения) и апостериорной энтропией (неопределенностью после получения сообщения):
I = Наприорная - Напостериорная .
Надо при этом иметь в виду, что как информация, так и энтропия ─ понятия относительные и имеют смысл по отношению к некоторым определенным событиям, вероятности которых используются в соответствующих формулах.