КОЛИЧЕСТВО ИНФОРМАЦИИ

Передача информации инициируется либо самим источником информации, либо осуществляется по запросу. Она диктуется желанием устранить неопределенность относительно последовательности состояний, реализуемых некоторым источником информации. Обычно запрос обусловлен отсутствием возможности наблюдать состояния источника непосредственно. Поэтому абонент обращается к информационной системе, которая извлекает интересующую его информацию из источника посредством некоторого первичного преобразователя и направляет ее по каналу связи абоненту.

Информация проявляется всегда в форме сигналов. Сигналы z, поступающие с выхода первичного преобразователя источника информации на вход канала связи, принято называть сообщениями в отличие от сигнала u, формирующегося на входе линии связи. В зависимости от формы создаваемых сообщений различают источники дискретных и непрерывных сообщений.

Отдельные первичные сигналы с выхода источника дискретных сообщений называют элементами сообщения. Каждому элементу сообщения соответствует определенное состояние источника информации. В случае параллельной реализации источником информации множества состояний, как это имеет место, например, в документах с печатным текстом, первичный преобразователь, в част­ности, обеспечивает их последовательное отображение элементами сообщения. Таким преобразователем может быть как автоматическое читающее устройство, так и человек.

Основное понятие теории информации — количество информации — рассматривается в данном параграфе применительно к передаче отдельных статистически не­связанных элементов сообщения. Дискретный источник сообщений при этом полностью характеризуется ансамблем

 

 

а непрерывный — одномерной плотностью распределения случайной величины — z – p(z).