Теоретическое обоснование таких систем дал в своих работах К. Шеннон. Рядом теорем он показал эффективность введения кодирующих и декодирующих устройств, назначение которых состоит в согласовании свойств источника информации со свойствами канала связи. Одно из них (кодирующее устройство, или кодер) должно обеспечить такое кодирование, при котором путем устранения избыточности информации ,существенно снижается среднее число символов, приходящееся на единицу сообщения. При отсутствии помех это непосредственно дает выигрыш по времени передачи или в объеме запоминающего устройства. Такое кодирование называют эффективным (или оптимальным), так как оно повышает эффективность системы. При наличии помех в канале передачи оно позволяет преобразовать входную информацию в последовательность символов, наилучшим образом отвечающую задачам дальнейшего преобразования. Другое кодирующее устройство (кодер канала) обеспечивает заданную достоверность при передаче или хранении информации путем введения дополнительно избыточности информации. Такое кодирование называют избыточным или помехоустойчивым. Помехоустойчивость достигается учётом не только интенсивности помехи, но и её статистических закономерностей.
Если избыточность источника сообщений мала и помехи в канале связи практически отсутствуют, то введение как кодера источника, так и кодера канала нецелесообразно. Если избыточность источника сообщений высока, а помехи весьма малы, то целесообразно ввести кодер источника. Если избыточность источника мала, а помехи велики, то целесообразно ввести кодер канала. При большой избыточности и высоком уровне помех целесообразно ввести оба дополнительных кодирующих (и декодирующих) устройства. Большинство кодов, используемых при кодировании информации без учета статистических свойств источника и помехи в канале связи, основано на системах счисления.
1.6. Передача информации
Современные вычислительные средства (персональные ЭВМ, микро-, мини- и макси ЭВМ) часто используются в составе вычислительных систем или сетей. В этих случаях необходимо решать вопросы не только эффективного представления информации, но также вопросы передачи информации по каналам связи без искажений. В качестве каналов связи могут использоваться: непосредственная связь НС пользователя вычислительными средствами, телефонный канал ТлК, телеграфный канал ТгК, радиоканал РК, телевизионный канал ТвК, другие виды связи. Вид канала определяет характер и величину помех, которые при этом появляются. Поэтому инженер-проектировщик ЭВМ должен учитывать эти обстоятельства при разработке технических, математических и программных средств.