Теоремы Шеннона о кодировании для канала передачи информации.

Для эффективного использования канала (повышения коэффициента нагрузки λ→1) необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов без помех, так и с помехами, на основании теорем кодирования для канала, предложенных Шенноном.

Теорема о кодировании для канала без помех.

Если источник сообщений имеет производительность [бит/сек], а канал связи – пропускную способность [бит/сек], то можно закодировать сообщение таким образом, чтобы передавать информацию по каналу связи со средней скоростью, сколь угодно близкой к величине , но не превзойти её.

Шеннон предположил и метод такого кодирования, который получил название оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмана. В настоящее время такие коды широко используются на практике (эффективное и оптимальное кодирование).

Прямая теорема Шеннона о кодировании для канала с помехами.

При любой производительности источника сообщения [бит/сек] меньшей, чем пропускная способность [бит/сек], существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений со сколь угодно малой вероятностью ошибки ε.

Обратная теорема кодирования для канала с помехами.

Не существует способа кодирования, позволяющего вести передачу информацию со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Доказательство теоремы кодирования для канала с помехами довольно объемно математически, поэтому ограничимся общим обсуждением физических аспектов её практического применения:

1. Теорема устанавливает теоретический предел возможной эффективности системы при достоверной передаче информации. Из теоремы следует, что помехи в канале не накладывают ограничений на точность передачи. Ограничения накладываются только на скорость передачи, при которой может быть достигнута сколь угодно высокая достоверность передачи.

При этом достоверность дискретного канала обычно оценивается значением вероятности ошибочного приема одного символа. Чем меньше вероятность ошибки, тем выше достоверность канала. Достоверность в свою очередь характеризует помехоустойчивость информационной системы.

Скорость передачи информации характеризует эффективность системы.

2. Теорема не затрагивает вопрос о путях построения кодов, обеспечивающих указанную идеальную передачу. Обосновав принципиальную возможность такого кодирования, она мобилизовала усилия ученых на разработку конкретных кодов.

3. При любой конечной скорости передачи информации, вплоть до пропускной способности, сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительностей кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически. Обеспечение передачи информации с весьма малой вероятностью ошибки и с достаточно высокой эффективностью возможна при кодировании чрезвычайно длинных последовательностей знаков.