Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят не только от исходного количества рассматриваемых вариантов N,но и от вероятностей реализации каждого из вариантов P: {p0, p1, …pN-1}, т. е.:

H = F(N, P)

Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году:

Рассмотрим, что такое логарифм log2(p), называемый двоичным логарифмом:

Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

log2(1) = 0 => 20 = 1

log2(2) = 1 => 21 = 2

log2(8) = 3 => 23 = 8

log2(10) = 3,32 => 23,32 = 10

Логарифм по основанию 10 называется десятичным:

log10(100) = 2 => 102 = 100

log10(2) = 0,301 => 100,301 = 2

Отношение двоичного логарифма к десятичному: