Формула Шеннона.

I_ср=-(p₁log₂p₁+p₂log₂p₂+…p_Nlog₂p_N),

где р_i – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

К. Шеннон назвал полученную величину энтропией.Обозначают, как правило, буквой Н. Впервые понятие энтропии было введено в 1865г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе.

Энтропия обладает следующими свойствами:

• энтропия всегда неотрицательна, так как значения вероятностей выражаются величинами, не превосходящими единицу, а их логарифмы − отрицательными числами или нулём;
• энтропия равна нулю в том крайнем случае, когда одно из p_i равно единице, а все остальные равны нулю;
• энтропия имеет наибольшее значение, когда все вероятности равны между собой;
• энтропия объекта АВ, состояния которого образуются совместной реализацией состояний А и В, равна сумме энтропий исходных объектов А и В.

Если все события равновероятны и статистически независимы, то оценки количества информации по Хартли и Шеннону совпадают (полное использование информационной ёмкости системы). В случае неравных вероятностей количество информации по Шеннону, меньше информационной ёмкости системы. Максимальное значение энтропии достигается при р = 0.5, когда два состояния равновероятны. При р = 0 или р = 1, что соответствует полной невозможности или полной достоверности события, энтропия равна нулю. Количество информации только тогда равно энтропии, когда неопределённость ситуации снимается полностью. В общем случае можно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого – либо другого акта познания. Наибольшее количество информации получается тогда, когда полностью снимается неопределённость, причём эта неопределённость была наибольшей.

Практически одновременно такие же исследования по теории передачи информации велись в СССР. Например, в том же 1948 г. вышла работа советского математика А.Н. Колмогорова «Математическая теория передачи информации».

Помимо рассмотренных подходов к определению количества информации существуют и другие. Например, структурная мера информации. В структурном аспекте рассматривается строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом.

Итак, в качестве единицы информации условились принять один бит. Это, то количество информации, которое необходимо для различения двух равновероятных событий. В вычислительной технике бит (разряд) – это наименьший объем памяти, необходимый для хранения одного из двух чисел «0» или «1».

На практике применяется более крупная единица измерения – байт. Отметим, что байт – это наименьшая адресуемая единица информации. Для современных ЭВМ 1 байт = 8 битам.

Широко используются еще более крупные единицы информации:

1 Килобайт(Кбайт)=1024 байт=2¹⁰ байт

1 Мегабайт(Мбайт)=1024 Кбайт=2²⁰ байт

1 Гигабайт(Гбайт)=1024 Мбайт=2³⁰ байт

1 Терабайт(Тбайт)=1024 Гбайт=2⁴⁰ байт

1 Петабайт(Пбайт)=1024 Тбайт=2⁵⁰ байт.

Не следует путать понятия «количество» информации и «объем» информации. Поясним на примере различие этих понятий. Два ученика набирали в текстовом редакторе сочинение. Количество страниц у них получилось одинаковым. Но один ученик изложил свои мысли, а второй заполнил все листы символом «*». Объем информации в этих двух сочинениях одинаков, а вот количество информации различно. Страницы, заполненные символом «*» не несут никакой информации.

Рассмотрим практический пример использования формулы Хартли.

Задача 1.

В корзине с фруктами лежит 8 яблок, 6 груш и 2 персикa. Какое количество информации содержит сообщение о том, что из корзины случайно взяли одно яблоко, либо одну грушу, либо один персик?

Решение.

Определим количество фруктов в корзине: N=8+6+2=16.

Для каждого из событий «взять яблоко», взять «грушу», взять «персик» определим его вероятность:

р₁=8/16 =1/2 - вероятность события «случайно взять яблоко»;

р₂=6/16=3/8 – случайно взять грушу;

р₃=2/16=1/8 – случайно взять персик.

Для решения задачи воспользуемся формулой: I=log(1/p). Подставим в формулу вероятности событий, получим:

I₁=-log₂(1/2)=1

I₂=-log₂(3/8)=1.415

I₃=-log₂(1/8)=3 .

Ответ: I₁=1 бит, I₂=1.415 бит, I₃= 3 бита.

Задача 2.

В коробке лежит 16 шариковых ручек. Ручки либо с синей пастой, либо с черной пастой. Сообщение о том, что вынули ручку с синей пастой, несет 2 бита информации. Определить, сколько в коробке ручек с синей пастой.

Дано: N=16;

Ic=2 бита.

Найти: количество ручек с синей пастой.

Решение.

Пусть х – искомое число синих ручек.

Определим вероятность того, что вынута синяя ручка: р=х/16.

Воспользовавшись формулой I=log₂(1/p), найдем х.

I=log2(1/p) ® 2=log₂(1/p) ® 2²=16/x ®x=4.

Ответ: в коробке 4 синих ручки.

 

1.4 Преобразование информации

 

Информация передаётся в виде сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Информационные сообщения подразделяются на дискретные и непрерывные. Дискретные сообщения состоят из конечного множества элементов, создаваемых источником последовательно во времени. Набор элементов (символов) составляет алфавит источника. Непрерывные сообщения задаются какой – либо физической величиной, изменяющейся во времени. Получение конечного множества сообщений за конечный промежуток времени достигается путём дискретизации ( во времени), квантования (по уровню). В большинстве случаев информация о протекании того или иного физического процесса вырабатывается соответствующими датчиками в виде сигналов непрерывно изменяющихся во времени. Переход от аналогового представления сигнала к цифровому, даёт в ряде случаев значительные преимущества при передаче, хранении и обработке информации. Преобразование осуществляется с помощью специальных устройств – преобразователей непрерывных сигналов и может быть выполнено дискретизацией во времени и квантованием по уровню. Операцию, переводящую информацию непрерывного вида в информацию дискретного вида, называют дискретизацией. Квантование по уровню состоит в преобразовании непрерывного множества значений сигнала в дискретное множество значений. В результате дискретизации непрерывная информация заменяется совокупностью отдельных значений. По совокупности дискретных значений (сигналов) можно восстановить исходное непрерывное сообщение, но с некоторой погрешностью.

1.5 Формы представления информации

Информация может существовать в виде:

· текстов, рисунков, чертежей, фотографий;

· световых или звуковых сигналов;

· радиоволн;

· электрических и нервных импульсов;

· магнитных записей;

· жестов и мимики, и т.д.

Информация всегда представляется в виде сообщения, которое передается некоторой физической средой. Носителем информации может быть любая предметная среда, которая меняет состояние в зависимости от передаваемой информации. Это может быть бумага, на которой информация изображается либо знаками, либо специальными отметками (например, перфорация); магнитный материал (лента, диск и т. п.).

Различают две формы представления информации: статическую I_с, и динамическую I_д Возможность передачи сообщения посредством электрического сигнала реализуется с помощью канала связи, соединяющего источник и приемник информации. Чтобы передать информацию, необходимо ее предварительно преобразовать. Кодирование — преобразование сообщения в форму, удобную для передачи по данному каналу.

В качестве простого примера можно привести передачу сообщения в виде телеграммы. Все символы кодируются с помощью телеграфного кода.

Из существующих возможных методов кодирования вероятно наиболее простым является метод алфавитного кодирования. Знаки первичного алфавита кодируются комбинациями символов двоичного алфавита. Длина кодов и, соответственно, длительность передачи отдельного кода, могут различаться. Длительности элементарных сигналов при этом одинаковые.

Декодирование — операция восстановления принятого восстановления сообщения. В систему связи необходимо ввести устройства для кодирования и декодирования информации . Информационную модель канала связи с шумами можно представить следующим образом: