Прежде, чем перейти к мерам информации, укажем, что источники информации и создаваемые ими сообщения разделяются на дискретные и непрерывные. Дискретные сообщения слагаются из конечного множества элементов, создаваемых источником последовательно параллельно или последовательно-параллельно во времени. Набор элементов называется алфавитом источника, а элементы ─ буквами. Понятие буква в данном случае шире, чем в письменности, Оно может включать в себя цифры, буквы и другие знаки. Число букв в алфавите называется объемом алфавита. Источник дискретных сообщений называется дискретным, в противном случае ─ непрерывным.
Дискретный источник за конечное время создает конечное множество сообщений. Типичным дискретным сообщением являются текст, записанный с помощью какого-либо алфавита, последовательность чисел, представленных знаками.
Непрерывные сообщения отражаются какой-либо физической величиной, изменяющейся в заданном интервале времени. Получение конечного множества сообщений за конечный промежуток времени в данном случае достигается путем дискретизации по времени и по уровню.