Где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

 

За единицу количества информациипринимается та­кое количество информации, которое содержит сооб­щение, уменьшающее неопределенность знания в два раза. Такая единица названа бит.

Битв теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).