Реферат Курсовая Конспект
Непрерывный канал передачи информации - раздел Философия, ТЕОРИЯ ИНФОРМАЦИИ Непрерывный Канал Передачи Информации Описывается Одномерными...
|
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.
Совместная вероятность появления символа на входе канала и символа на выходе канала равна
,
где и -значения y и z, удовлетворяющие условиям , , и - границы i-го и j-го интервалов квантования соответственно для y и z
Вероятность появления символа на выходе канала при условии, что на вход подан символ, равна
.
Количество информации, содержащееся в символе , равно
.
Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля , равно
.
Тогда количество информации, содержащееся в элементе относительно элемента , равно
.
Как видно из последнего выражения, интервалы квантования и не влияют на количество информации, содержащееся в элементе относительно элемента .
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно
.
Осуществляя в предыдущем выражении предельный переход , , получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле относительно непрерывного ансамбля
=
.
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно количеству взаимной информации, содержащееся в ансамбле относительно ансамбля .
Выразим количество взаимной информации через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу
,
где - дифференциальная энтропия на один отсчёт процесса ,
- условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте .
Точно так же можно показать, взаимная информация равна
,
где - дифференциальная энтропия на один отсчёт процесса ,
- условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте называется ненадёжностью канала связи.
Рассмотрим - энтропию помехи в непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью , в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия имеет вид:
.
Положим, плотность распределения вероятности шума известна и равна . В условной плотности вероятности величина y считается известной. Тогда случайная величина при известной величине y зависит только от шума и имеет место , откуда получим
.
Из этого выражения видно, что условная плотность зависит только от шума. В результате получим
,
т.е. условная энтропия на один отсчёт равна энтропии шума на один отсчёт.
2.3.3 Эпсилон-энтропия (ε-энтропия)
Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние между элементами ансамблей и . Мерой идентичности ансамблей и наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей и :
В качестве критерия «сходства» ансамблей и примем выполнение неравенства
(2.21)
где - заранее заданная допустимая мера отклонения «сходства» ансамблей и .
Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации . Ввиду того, что
,
a при отсутствии шума, то необходимо минимизировать по всем возможным распределениям плотности вероятности .
Минимальное значение меры информации при выполнении условия называется эпсилон-энтропией (ε-энтропия) непрерывного ансамбля
.(2.22)
Понятие -энтропия введено Колмогоровым А.Н. [Колмогоров А. Н. Теория информации и теория алгоритмов.— М.: Наука, 1987.-304 с.(стр.46)
Если на входе канала связи мощность сигнала ограничена величиной , значения сигнала находятся в интервале , то энтропия не превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна . Условная энтропия зависит только от шума и принимает максимальное значение при нормальном распределении шума мощностью, не превышающей . Учитывая значения безусловной и условной энтропий, получим
.
Положим, источник генерирует сообщения со скоростью [].
Тогда ε-призводительностьюисточника сообщений называется величина
. (2.23)
Если учесть, что интервал дискретизации есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим
, (2.24)
где - полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт.
Максимальная ε-призводительностьисточника сообщений будет тогда, когда значения сигнала распределены по нормальному закону с известной дисперсией ,
,
.
Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .
– Конец работы –
Эта тема принадлежит разделу:
Мера информации Мера информации по Шеннону Сообщения могут быть... Количество взаимной информации... Дискретный канал передачи информации Рассмотрим...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Непрерывный канал передачи информации
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Твитнуть |
Новости и инфо для студентов