Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина описывается непрерывным множеством реализаций, принимающих значения в интервале . На этом интервале задается плотность распределения вероятности . Положим, произведено квантование значений с шагом . Вероятность того, что случайная величина принадлежит интервалу , равна
(2.12)
При довольно малом значении Вероятность будет равна
, где . (2.13) Произведённое преобразование позволило перейти от непрерывного распределения к дискретному. Количество информации, содержащееся в случайной величине, принадлежащий интервалу , равно
.
Энтропия ансамбля после квантования согласно ( .6) равна
. (2.14)
Первая сумма аналогична энтропии дискретного распределения и при , она сходится к интегралу .
Вторая сумма при стремится к бесконечности.
Поэтому на практике она имеет смысл при конечных значениях . В этом случае
при довольно малых значениях имеем .
В теории связи энтропия используется как мера неопределённости ансамбля, элементы которой передаются по каналу связи, и вторая сумма не оказывает влияния на качество передаваемой информации, что будет показано далее. Поэтому меру неопределённости (энтропию), содержащуюся в непрерывном ансамбле будем определять как [***]
(2.15)
и называется она дифференциальной энтропией.
Энтропия произведения непрерывных ансамблей и вводится как и для дискретных ансамблей. Без доказательства запишем
=
=. (2.16)