ТЕОРИЯ ИНФОРМАЦИИ - раздел Философия,
Теория Информации...
ТЕОРИЯ ИНФОРМАЦИИ
Согласно теореме Котельникова, если спектр сигнала ограничен полосой , то сигнал может быть восстановлен по своим отсчётам , разделёнными интервалом… , (1.1)
где .
Положим, дискретизация сигналов по времени произведено, и необходимо передавать сигналы в дискретные моменты времени. Можно передавать сигналы,… Для этого все возможные непрерывные значения параметра сигнала разбиваются на…
Мера информации
Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский… Совокупность различных символов, составляющих основание кода, назовем… Пусть - основание кода и передается последовательность , где - один из символов из алфавита. Число всевозможных…
. (2.6)
Величина называется энтропией ансамбля и имеет размерность . Под термином сообщение понимается элемент ансамбля : это…
Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная… (2.12)
При довольно малом значении Вероятность будет равна
Энтропия ансамбля после квантования была записана как
.
Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это…
Количество взаимной информации
Рассмотрим модель канала передачи информации
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество… Совместная вероятность появления символа на входе канала и символа на выходе… ,
Источник информации может быть составлен из различных элементов. В частности это могут быть результаты измерений непрерывных величин, это может… Если под сообщениями подразумеваются измерения непрерывных величин, необходимо… Если имеется дискретный ансамбль, составляющий полную группу событий, то из него образуется алфавит, характеризующий…
Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к… Рассмотрим модель передачи информации с использованием кодера и декодера… Существуют различные методы кодирования. Одним из них является метод, когда все элементы ансамбля X представлены одним…
При кодировании по методу Шеннона следует придерживаться следующих правил.
1. Все сообщения ансамбля ранжируются в порядке убывания вероятности… 2. Сообщения делятся на две группы сообщений, приблизительно одинаковые по вероятности.
Правило образования кодов состоит из следующих пунктов.
1. Все сообщения ансамбля ранжируются в порядке убывания вероятности… 2. Последние два сообщения объединяются в одно сообщение с вероятностью реализации, равной сумме вероятностей,…
Теорема оптимального кодирования источника
При заданном ансамбле из N независимых сообщений с энтропией возможно так закодировать сообщения ансамбля посредством последовательности символов,… ,(3.1)
где - основание кода. Среднее число символов на сообщение не может быть сделано меньше, чем .
Предполагается, что сигнал, передаваемый по каналу связи, дискретный как по времени, так и по своим состояниям, и сообщения, генерируемые… Дискретный канал связи описывается ансамблем входных символов с распределением… (4.1)
Скорость передачи информации и
.
На выходе канала имеем последовательность символов , где каждый символ . Точно… Последовательность символов поступает в канал в течение .
(4.9)
Из выражения (**.9) следует, , т.е. пропускная способность канала связи… = (4.10)
Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную энтропию Шеннон назвал ненадёжностью канала, так как она… Пусть дискретный канал обладает пропускной способностью , а дискретный… Нет доказательства
Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества.… , (4.15)
где - шум в канале с известной плотностью вероятности ,
Теорема Шеннона о пропускной способности
Передача информации тесно связана с использованием физических сигналов. Свойства сигналов определяют канал связи. Известно, сигнал может быть… 1) Положим, сигнал определён в интервале и задана полоса частот , занимаемая… , (4.26)
Согласно определению пропускной способности
Ранее были определены операции кодирования источников сообщений. Если полученную последовательность сигналов передавать через канал потребителю, то… Для восстановления первоначального кода служит декодер канала. На рисунке 5.1… Помехи могут исказить символов в кодовом слове. Если искаженные символы независимы и…
Для передачи информации используются разнообразные методы кодирования, зависящие от требований к восстанавливаемой информации, а также от свойств… Систематические коды – это коды, в которых проверочные символы представляют линейную комбинацию информационных…
1. все исходные комбинации должны быть различны,
2. нулевая комбинация не должна входить в число исходных комбинаций,
3. исходные кодовые комбинации должны быть линейно независимыми,
. (5.15)
Таблица 5.2*
n
k
… Это предложение выполняется только для определённых соотношений , и . В… Коды имеют минимальное кодовое расстояние и позволяют исправить одиночную ошибку. Коды имеют минимальное кодовое…
Циклические коды являются разновидностью систематических кодов. Они получили широкое распространение из-за простоты кодирования и декодирования. Все… Любой -разрядный код можно представить в виде полинома степени
,
Циклический код относится к классу систематических кодов. Ранее было показано, что при обнаружении одиночной ошибки минимальное кодовое расстояние… Код однократной ошибки представляет полином вида , где . Код ошибки… . (5.17)
Боузом и Чоудхури доказано[20], что существует циклический код разрядности
, (5.18)
где m = 1, 2, 3, …,
Новости и инфо для студентов