В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят не только от исходного количества рассматриваемых вариантов N,но и от вероятностей реализации каждого из вариантов P: {p0, p1, …pN-1}, т. е.:
H = F(N, P)
Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году:
Рассмотрим, что такое логарифм log2(p), называемый двоичным логарифмом:
Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.
log2(1) = 0 => 20 = 1
log2(2) = 1 => 21 = 2
log2(8) = 3 => 23 = 8
log2(10) = 3,32 => 23,32 = 10
Логарифм по основанию 10 называется десятичным:
log10(100) = 2 => 102 = 100
log10(2) = 0,301 => 100,301 = 2
Отношение двоичного логарифма к десятичному: