Энтропия непрерывного ограниченного ансамбля - раздел Философия, ТЕОРИЯ ИНФОРМАЦИИ
Энтропия Ансамбля ...
Энтропия ансамбля после квантования была записана как
.
Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования
.
Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно .
Определим плотность распределения вероятности , обеспечивающий максимум энтропии , при и ограничении
. (2.17)
Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал
.
Приведём его к виду
.
Определим производную , которая будет равна
,
и приравняем её нулю
Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем
= 0.
Разрешая полученное уравнение относительно , получим
. (2.18)
Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований
,
.
После подстановки значения параметра в (2.18) получим
,
.
Вывод.
Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности равномерный закон распределения вероятности обладает наибольшей энтропией.
Если число ограничений увеличивается , то вид плотности распределения вероятности изменится Положим, известно, что случайная величина принимает значения в интервале , математическое ожидание равно нулю и её дисперсия ограничена величиной .Далее покажем, что наибольшую энтропию даёт нормальный закон распределения.
Мера информации Мера информации по Шеннону Сообщения могут быть... Количество взаимной информации... Дискретный канал передачи информации Рассмотрим...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:
Энтропия непрерывного ограниченного ансамбля
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Теорема Котельникова
Согласно теореме Котельникова, если спектр сигнала ограничен полосой
Квантование сигнала по уровню
Положим, дискретизация сигналов по времени произведено, и необходимо передавать сигналы в дискретные моменты времени. Можно передавать сигналы, используя амплитудно-импульсную модул
Мера информации по Шеннону
Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский алфавит имеет 33 символа, двоичный к
Энтропия непрерывного ансамбля сообщений
Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина
Непрерывный канал передачи информации
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выход
Метод кодирования равномерным кодом
Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. За
Метод кодирования Шеннона-Фано
При кодировании по методу Шеннона следует придерживаться следующих правил.
1. Все сообщения
Метод кодирования Хафмана
Правило образования кодов состоит из следующих пунктов.
1. Все сообщения ансамбля
Канал связи
Под каналом связи понимается среда, в которой перемещается сигнал. В зависимости от типа сигнала каналы разделяются на непрерывные и дискретные.
Предполагается, что сигнал, передаваемый по
Пропускная способность канала связи
Ввиду того, что канал связи считается стационарным, на вход канала поступает последовательность символов ,
Канал без шумов
Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность
Канал с шумами
Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную
Непрерывный канал связи
Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества. Примером такого канала является пе
Частотно ограниченного канала
Передача информации тесно связана с использованием физических сигналов. Свойства сигналов определяют канал связи. Известно, сигнал может быть представлен во времени и через спектрал
Кодирование в канале
Ранее были определены операции кодирования источников сообщений. Если полученную последовательность сигналов передавать через канал потребителю, то часть сигналов может быть искажен
Систематические коды
Для передачи информации используются разнообразные методы кодирования, зависящие от требований к восстанавливаемой информации, а также от свойств линий передачи информации. На рисун
Образование систематического кода
Обычно для построения кодов необходимо знать длину кодовой комбинации , кратность обнаруживаемых ошибок
Циклические коды
Циклические коды являются разновидностью систематических кодов. Они получили широкое распространение из-за простоты кодирования и декодирования. Все разрешённые кодовые комбинации п
Обнаружение однократной ошибки
Циклический код относится к классу систематических кодов. Ранее было показано, что при обнаружении одиночной ошибки минимальное кодовое расстояние равно
Исправление однократной ошибки
Исправление одиночной ошибки связано с определением разряда, в котором произошла ошибка. Это производится на основании анализа остатков от деления многочленов ошибок
Хотите получать на электронную почту самые свежие новости?
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
после квантования была записана как
.
.
, области определения значений случайного сигнала и априорных сведений относительно 
, при 
и ограничении
. (2.17)
.
.
, которая будет равна
,
= 0.
, получим
. (2.18)
, используем ограничение (2.17) и сделаем ряд преобразований
,
.
,
.
, математическое ожидание равно нулю и её дисперсия ограничена величиной 
.Далее покажем, что наибольшую энтропию даёт нормальный закон распределения.
Новости и инфо для студентов