рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Метод кодирования равномерным кодом

Метод кодирования равномерным кодом - раздел Философия, ТЕОРИЯ ИНФОРМАЦИИ   Чтобы Уменьшить Избыточность, Содержащуюся В Ансамбле X...

 

Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбля Y составляются сообщения из ансамбля X.

Рассмотрим модель передачи информации с использованием кодера и декодера источника сообщений. Источник генерирует сообщения из ансамбля , состоящего из элементов ., образующих полную группу событий и появляющихся с некоторыми вероятностями . Кодер источника использует ансамбль Y, состоящий из двух символов - (0, 1).

Существуют различные методы кодирования. Одним из них является метод, когда все элементы ансамбля X представлены одним и тем же числом элементов


ансамбля Y. Такое кодирование называется равномерным. Число возможных сообщений, которые кодируются двоичным разрядным кодом, равно . Например, при кодировании четырёхразрядным кодом можно закодировать 16 сообщений. Кодовое дерево (граф ) изображено на рисунке 3.2.

 

Однако число кодируемых сообщений может быть меньше, чем . Тогда используются не все коды и возникает избыточность при кодировании равномерным кодом. С другой стороны, не учитываются вероятности реализации сообщений , составляющих ансамбль .

Пример 3.2.равномерного кодирования приведён в таблице 3.2. Все элементы ансамбля X расположены в первой колонке. Во второй колонке записаны вероятности реализаций соответствующих сообщений . В третьей колонке количество информации, содержащееся в сообщении . В четвёртой колонке представлены двоичные коды, соответствующие сообщениям . В пятой колонке записаны условные вероятности появления символа «1» при реализации соответствующего сообщения

,

где - общее число символов, употребляемых для кодирования -го сообщения,

- число «1» в -ом сообщении.

Для того чтобы закодировать двоичным кодом девять сообщений необходимо четыре двоичных разряда, (; m = 4 ).

Таблица 3.2  
Анс-ль Вер. Коды Условн. вер.
0.20 2.32193 1/4
0.2 2.32193 1/4
0.19 2.39593 2/4
0.15 2.73697 1/4
0.10 3.32193 2/4
0.08 3.64386 2/4
0.06 4.05889 3/4
0.01 6.64386 1/4
0.01 6.64386 2/4
  2.79465    
           

 

Кодовое дерево, отображающее коды при равномерном кодировании, представлено на рисунке 1.2.

Максимальная энтропия ансамбля X , в соответствии с теорией, равна

= 3.16993.

Энтропия ансамбля X равна =2.79465 .

Коэффициент избыточности ансамбля X равен

== 0.881615 ,

коэффициент сжатия ансамбля X равен

= 0.118385.

 
 

Рассмотрим ансамбль . Максимальная энтропия ансамбля Y равна

 

= 1.

 

Используя формулу полной вероятности, вычисляется вероятность реализации символа «1» при кодировании элементов ансамбля X ‘символами ансамбля Y.

= 0.375.

Вероятность реализации символа «0» равна соответственно

 

=0.625.

 

Количество информации, содержащееся в каждом символе ансамбля Y равно соответственно

1.41504, 0.678072.

Энтропия ансамбля Y равна

 

= 0.954434.

 

Соответственно коэффициент сжатия и коэффициент избыточности будут равны

= 0.954434, = 0.045566

Из cравнения коэффициентов сжатия и коэффициентов избыточности ансамблей X и Y видно, произошло увеличение коэффициента сжатия и уменьшение избыточности ансамбля Y. Относительные величины равны соответственно

 

= 1.0826 , = 2.59809.

 

– Конец работы –

Эта тема принадлежит разделу:

ТЕОРИЯ ИНФОРМАЦИИ

Мера информации Мера информации по Шеннону Сообщения могут быть... Количество взаимной информации... Дискретный канал передачи информации Рассмотрим...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Метод кодирования равномерным кодом

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Теорема Котельникова
  Согласно теореме Котельникова, если спектр сигнала ограничен полосой

Квантование сигнала по уровню
  Положим, дискретизация сигналов по времени произведено, и необходимо передавать сигналы в дискретные моменты времени. Можно передавать сигналы, используя амплитудно-импульсную модул

Мера информации по Шеннону
  Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский алфавит имеет 33 символа, двоичный к

Энтропия дискретного ансамбля сообщений
Среднее количество информации, содержащееся в ансамбле , определяется математическим ожиданием &nbs

Энтропия непрерывного ансамбля сообщений
  Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина

Энтропия непрерывного ограниченного ансамбля
  Энтропия ансамбля после квантования была записана как

Дискретный канал передачи информации
  Рассмотрим модель канала передачи информации  

Непрерывный канал передачи информации
  Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выход

Кодирование источника информации
  Источник информации может быть составлен из различных элементов. В частности это могут

Метод кодирования Шеннона-Фано
  При кодировании по методу Шеннона следует придерживаться следующих правил. 1. Все сообщения

Метод кодирования Хафмана
  Правило образования кодов состоит из следующих пунктов. 1. Все сообщения ансамбля

Независимых сообщений.
  При заданном ансамбле из N независимых сообщений с энтропией

Канал связи
Под каналом связи понимается среда, в которой перемещается сигнал. В зависимости от типа сигнала каналы разделяются на непрерывные и дискретные. Предполагается, что сигнал, передаваемый по

Пропускная способность канала связи
Ввиду того, что канал связи считается стационарным, на вход канала поступает последовательность символов ,

Канал без шумов
Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность

Канал с шумами
  Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную

Непрерывный канал связи
  Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества. Примером такого канала является пе

Частотно ограниченного канала
  Передача информации тесно связана с использованием физических сигналов. Свойства сигналов определяют канал связи. Известно, сигнал может быть представлен во времени и через спектрал

Знак равенства будет в том случае, когда значения сигнала распределены по нормальному закону.
  Согласно определению пропускной способности  

Кодирование в канале
  Ранее были определены операции кодирования источников сообщений. Если полученную последовательность сигналов передавать через канал потребителю, то часть сигналов может быть искажен

Систематические коды
  Для передачи информации используются разнообразные методы кодирования, зависящие от требований к восстанавливаемой информации, а также от свойств линий передачи информации. На рисун

Образование систематического кода
Обычно для построения кодов необходимо знать длину кодовой комбинации , кратность обнаруживаемых ошибок

Систематический код Хемминга
Соотношение между числом информационных символов , числом исправляемых ошибок

Циклические коды
  Циклические коды являются разновидностью систематических кодов. Они получили широкое распространение из-за простоты кодирования и декодирования. Все разрешённые кодовые комбинации п

Обнаружение однократной ошибки
  Циклический код относится к классу систематических кодов. Ранее было показано, что при обнаружении одиночной ошибки минимальное кодовое расстояние равно

Исправление однократной ошибки
Исправление одиночной ошибки связано с определением разряда, в котором произошла ошибка. Это производится на основании анализа остатков от деления многочленов ошибок

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги