Чаще используется единица 1 байт = 8 бит.
Пример: Подсчитать количество информации, которую несет одна буква русского алфавита. Приближенно будем считать N = 32 и использование каждой буквы равновероятно. J = log232 = 5 бит.
Следовательно, каждая буква русского алфавита несет информацию в 5 бит, если считать использование всех букв равновероятным. Но сообщение, полученное от какого-либо объекта, является случайным явлением. Так, например, буква А в любом тексте встречается чаще, чем буква Ы. В медицине сообщение зависит от многих явлений и процессов, протекающих в организме человека и в окружающей среде. Поэтому для количественной оценки информации используется теория информации.
Преобразуем: J = logN = -log1/N
1/N - это вероятность появления одного сообщения Аi, поэтому, J = -logP(Ai) - информация любого сообщения (основание логарифма не ставим, всегда считая его равным двум). Если в некотором опыте возможно появление нескольких сообщений А1, А2, А3, ... Аi (симптомы, анализы) и мы проводим опыты п раз (n - больных с одним диагнозом). Причем, А1 появляется m1, раз, А2 - m2раз, А3 - m3 раз и т.д., то общая информация подсчитывается по формуле:
J = - m1logP(A1) - m2logP(A2) - m3logP(A3)-... = - ∑m1 logP(Ai),
а среднее значение информации на одно сообщение:
J = - ∑P(Ai)logP(Ai), т.к. m1/n = P(Al ), m2/n = P(А2), ..., mi/n = P(Аi)
Эту же формулу можно получить, проделав ряд преобразований:
J = - log1/N, J = - N1/N log1/N, J = - ∑P(Ai)logP(Ai)
Пример: Т.к. использование букв русского алфавита события не равновероятные и зависимые, то реальное количество информации, приходящееся на одну букву, составляет около 4 бит.
Величину H = ∑P(Ai)logP(Ai) называют информационной энтропией. Энтропия характеризует степень неопределенности системы. Т.к. J и Н имеют различные знаки (J = - Н), то получение информации от системы уменьшает ее степень неопределенности. Кроме величины информации и энтропии, в информатике введено понятие - ценность информации.