Вероятностный подход к определению количества информации. Понятие энтропии. - раздел Информатика, Основы информатики Если Обратить Внимание На Разговорные Языки, Например Русский, То Можно Сдела...
Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто (т.е. равновероятно) и после каждой буквы может стоять любой другой символ, то, используя двоичную логарифмическую меру измерения информации Хартли, можно определить количество информации в каждом символе русского языка как:
I= log2 32=5.
Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие — гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:
| В русском языке:
| В английском языке:
|
| О 110, Е 87, А 75, И 75, Т 65...
| Е 131, Т 105, А 86, О 80, N 71, R 68…
|
Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. По этим причинам количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать двоичной логарифмической мерой Хартли.
Какое количество информации тогда содержится, к примеру, в тексте романа "Война и мир", во фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации? К задачам подобного рода относятся также следующая:
Пример: Являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно помещении идет речь. Если это, например, вестибюль станции метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
Для задач такого рода используется общая оценка количества информации Шеннона. Американский учёный Клод Шеннон в 1948 г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Он использовал применяемую в математике и гидродинамике вероятностную меру неопределенности (энтропию) для того, чтобы в полной мере оценить состояние изучаемой системы и получить максимально возможную информацию о протекающих в этой системе процессах. Эта оценка количества информации, по-существу, является вероятностной мерой, и, как оценка неопределенности, она
Вывод: отражает способность какого-либо ис-точника проявлять все новые и новые состояния и таким образом отдавать информацию.
Шеннон энтропию определил как среднюю логарифмическую функцию множества вероятностей возможных состояний системы (возможных исходов опыта)[5]). Для расчета энтропии HШеннон предложил следующее уравнение:
H= –( p1log2 p1+p2 log2 p2+. . .+pN log2 pN),
где p i — вероятность появления i-е события в наборе из N событий.
Тогда количество информации, полученное исследователем после опыта будет не что иное, как разность между энтропией системы до H0и после H1опыта, или
I= H0–H1,
причем если неопределенность в результате опыта снимается полностью имеем:
I= – H1или I= Σ (p i log2 p i), i= 1,…,N .
Если события равновероятны, то количество информации определяется по формуле Хартли:
i =log2 N.
Пример: После экзамена по информатике, который сдавали студенты, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегося A, который выучил лишь половину билетов, и сообщение об оценке учащегося B, который выучил все билеты..
Опыт показывает, что для учащегося A все четыре оценки (события) равновероятны, а для для учащегося B наиболее вероятной оценкой является «5» (p1 = 1/2), вероятность оценки «4» в два раза меньше (p2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p3 = p4 = 1/8).
Тогда, количество информации, которое несет сообщение об оценке учащегося А, равно (на основании формулы Хартли)
i =log2 4= 2,
а количество информации, содержащее в сообщении об оценке ученика В, есть
I=–(1/2 log21/2+1/4 log21/4+1/8 log21/8+1/8 log21/8)=1,75.
Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.
Все темы данного раздела:
Издательство СПбГПУ
УДК 681.3 (075)
Рекомендовано к изданию
Научно-методическим советом
Псковского государственного политехнического института
Рецензенты:
- Ил
Часть. 1. Основы информатики
1. Информация и информационные процессы
Основные понятия:
информация, информационные процессы, информационное общество, и
Часть 2. Информационные технологии
7. Технологии обработки текстовой информации
Основные понятия:
текстовый редактор и процессор, Формат текстового файла, Т
Понятие информации. Информация и информационные процессы.
Понятие информация достаточно широко используется в обычной жизни современного человека, поэтому каждый имеет интуитивное представление, что это такое. Слово информация
Свойства информации.
К информации предъявляется ряд требований, т.е. любая информация должна обладать определенными свойствами:
§ Полнотаиликачество информации,
Методы обработки данных.
Для того, чтобы на основе полученных данных, то есть зарегистрированной информации, принять какое-нибудь решение, необходимо произвести с да
Структуры данных.
Работа с большими наборами данных автоматизируется проще, когда данные упорядочены, то есть образуют заданную структуру. Различают три основных вида структур: линейн
Информационные процессы.
Определение. Информационный процесс – это процесс восприятия, накопления, хранения, обработки и передачи информации.
§ Процессы восприятия, храненияи
Информационные основы процессов управления.
Чтобы говорить об процессах управления необходимо понять, что из себя представляет система управления.
Определение. Система – это упорядоченная совокупность разнородных эл
Информационная деятельность человека. Основные характерные черты информационного общества.
Развитие науки, образования обусловило быстрый рост объема информации, знаний человека. Если в начале прошлого века общая сумма человеческих знаний удваивалась приблизительно каждые пятьдесят лет,
Язык как способ представления информации. Количество информации.
Напомним одно из определений понятия «Информация».
Определение. Информация — это содержание сообщения, сигнала, памяти и т.д.
Примечание.
Аналоговая (непрерывная) и дискретная формы представления.
Информация — очень емкое понятие, в которое вмещается весь мир: все разнообразие вещей и явлений, вся история, все тома научных исследований, творения поэтов и прозаиков. И все это
Вывод: Любую непрерывную (аналоговую) величину можно представить в дискретной форме. И механизм такого преобразования очевиден.
Определение. Процесс преобразования непрерывной (аналоговой) величины в дискретную форму называется аналого-дискретным преобразованием.
Примечание.
Возн
Десятичная и двоичная формы представления.
Как уже отмечалось, дискретность— это случай, когда объект или явление имеет конечное (счетное) число разнообразий. Чтобы выделить конкрет
Экспоненциальная формы представления информации.
Для представления очень маленьких или очень больших чисел их стандартное позиционное представление становится нечитаемым и трудно употребимым для проведения вычислительных действий над такими числа
Кодирование информации. Двоичное кодирование. Единицы измерения количества информации.
Для автоматизации работы с информацией, относящейся к различным типам, очень важно унифицировать форму представления, т.е. надо преобразовать символьную, текстовую и графическую информацию таким об
Системы счисления.
Определение. Системой счисления называется совокупность символов (цифр) и правил их использования для представления чисел.
Существует два вида систем счисления:
§
Системы счисления, используемые в компьютере.
Позиционный принцип используется и при записи двоичных чисел. В этом случае коэффициентами при степенях числа 2 будут двоичные цифры 0 и 1. Число 5279 в двоичной системе счисления
Перевод чисел из десятичной системы счисления в систему счисления с произвольным основанием.
Для того чтобы перевести число в десятичную систему счисления, запишем его в виде полинома
As = anSn+ an-1
Преобразования чисел из двоичной в восьмеричную, шестнадцатеричную системы счисления и обратно.
Эти действия осуществляются по упрощенным правилам с учетом того, что основания этих систем счисления кратны целой степени 2, т.е. 8 = 23, а 16 = 24. Это означает, что при пре
A Max(N)=2N–1
§ Целые числа со знаком — Добавление отрицательных значений приводит к появлению некоторых новых свойств. Ровно половина из всех 2N чисел теперь
A=(± M) · 2 ±P, причем ½ ≤ M <1.
Пример: –310 = –0,11·210, где M = 0,11 и P = 10
Двоичное сложение.
Сложение двоичных чисел подобно сложению десятичных. В обоих случаях операции начинаются с обработки наименьших значащих цифр, расположенных в крайней справа позиции. Если результат сложения наимен
Двоичное вычитание.
Двоичное вычитание подобно десятичному вычитанию. Как и в случае сложения, различие выполнения вычитания в двоичной и десятичной форме состоит лишь в особенностях поразрядных операций.
Выч
Двоичное умножение.
Двоичное и десятичное умножение, так же, как двоичное и десятичное сложение или вычитание, во многом похожи. Умножение – это быстрый способ сложения нескольких одинаковых чисел. Умножение выполняет
Двоичное деление.
Деление — это операция, обратная умножению. Иначе говоря, при делении операцию вычитания повторяют до тех пор, пока уменьшаемое не станет меньше вычитаемого. Число этих повторений показывает, сколь
Двоичное вычитание с использованием дополнительных кодов.
При реализации двоичной арифметики в современных процессорных элементах ЭВМ необходимо учитывать, что возможности аппаратной «двоичной электроники» не позволяют непосредственно осуществлять операци
Логические выражения.
С помощью основного набора булевых операций можно построить более сложные логические высказывания.
Пример: Построим логическое выражение из простых логических опера
Логический элемент ИЛИ-НЕ.
Логический элемент ИЛИ-НЕреализует сложную двухступенчатую логическую операциюдля двух сигналов и обозначается на схеме сл
Построение сумматоров на логических элементах.
Наличие логических элементов, реализующих логические операции, позволяет реализовать простейшие операции двоичной арифметики, а именно операции сложения и вычитания (через сложение с использованием
Архитектура компьютера.
Определение. Компьютер [13]) (от англ. computer— вычислитель) — это программируемое электронное устройство, способное обрабатывать данн
Базовая аппаратная конфигурация персонального компьютера (ПК).
Рассмотрим устройство компьютера на примере самой распространенной компьютерной системы — персонального компьютера.
Определение. Персональным компьютером (ПК) называют сра
Системный блок.
Основным аппаратным компонентом компьютера является системная или материнская (MotherBoard) плата. На системной плате реализована магистраль обм
Микропроцессоры ПК.
Определение. Центральный процессор (CPU, от англ. Central Processing Unit) — это основной рабочий компонент компьютера, который выполняет арифметические и логическ
Оперативная память
Определение. Оперативная память (ОЗУ—оперативное запоминающее устройство, от англ. RAM—Random Access Memory—память с прои
Магнитные накопители.
Умагнитныхнакопителей принцип записи информации основан на явлении намагничивания ферромагнетиков магнитным полем, хранение информации связано с длительным сохранением этой намагн
Оптические накопители.
Оптическийпринцип записи и считывания информации основан на изменении угла отражения лазерного луча от поверхности оптическогодиска (поэтому оптич
Клавиатура.
Определение. Клавиатура— это устройство для ввода информации в компьютер и подачи управляющих сигналов. Содержит стандартный набор клавиш печатной машинки и некоторые дополнительны
Манипуляторы.
Для ввода графической информации и для работы с графическим интерфейсом программ используются координатные устройства ввода информации: манипуляторы (мышь, трекбол и др.), джойстики, сен
Аудиоадаптер.
Определение. Аудиоадаптер (Sound Blasterилизвуковая плата) это специальная электронная плата, которая позволяет записывать звук, воспроизводить его и создавать про
Монитор.
Определение. Монитор — это универсальное устройство вывода информации, подключаемое к видеокарте (видеоадаптеру). Видеокарта непосредственно упра
Принтер.
Принтер предназначен для вывода на бумагу (создание «твердой копии») числовой, текстовой и графической информации. По пр
Прикладное ПО.
Прикладное программное обеспечение предназначено для разработки и выполнения конкретных задач (приложений) пользователя. Прикладное ПО работает под управлением
Файловая система и файловая структура.
Все программы и данные хранятся на устройствах внешней памяти компьютера в виде файлов.
Определение. Файл (file – папка) — это им
Правовая охрана программ и данных.
4.9.1.Лицензионные, условно бесплатные и бесплатные программы,
Программы по их юридическому статусу можно разделить на три большие группы: лицензионные, у
Моделирование как метод познания.
В своей деятельности, художественной, научной, практической человек часто создает некий заменитель той системы, процесса или явления, с которым ему приходиться иметь дело. Целью подобной замены явл
Понятие о технологии информационного моделирования.
Бурное развитие компьютерных технологий, расширение возможностей средств вычислительной техники, появление быстродействующих вычислительных систем, новых языков программирования с расширенными вычи
Алгоритм. Формальное исполнение алгоритмов.
Любая задача характеризуется известными величинами (исходными данными) и отношениями между ними, и величинами или отношениями, значения которых неизвестны и должны быть определены
Свойства алгоритмов.
Все алгоритмы обладают рядом свойств. Приведем основные свойства алгоритмов [21]):
§ Массовость алгоритмаопределяет возможност
Способы записи алгоритма.
Существуют три основных способа записи или представления алгоритма:Словесное описание, Описание на алгоритмическом языке, Структурная схема (графическая схема) [22])
Алгоритм 2.
алг
нач
если корень слова начинается со звонкой согласной
I то на конце приставки написать «з»
I иначе на конце приставки напи
Основные алгоритмические конструкции. Детализация алгоритмов.
Алгоритмические конструкции можно разделить на три основных типа: линейная, разветвляющаясяициклическая.
§ Наиболее простым является линейный а
Методы разработки алгоритмов.
Существуют два основных метода разработки алгоритмов — метод последовательной детализациии сборочный метод,
§ Метод последовательной детализаци
Средства создания программ.
Исходная программа является обычным текстом, поэтому для ее записи используются текстовые редакторы.
Чтобы получить работающую программу, надо этот текст либо автоматическ
Базовые элементы алгоритмических языков программирования.
Любой язык программирования характеризуется определенным набором конструктивных элементов. К таким базовым элементам, в частности, относятся: Алфавит и служебные слова, Структура программы,
Основные типы данных.
Данные могут быть простымиисложными. Типы данных подразделяются на простыеиструктурированныеилиструктуры
Подпрограммы.
Если группа одних и тех же действий повторяется в разных местах программы, то целесообразно их выделить в подпрограмму.
Определение. Подпрограмма— это часть программы, офо
Технологии программирования.
Определение. Технология программирования — это система методов, способов и приемов разработки и отладки программы.
В настоящее время нашли широкое применение следующие тех
Пособие для поступающих в вуз.
Под общей редакцией к.т.н., доцента В.С. Белова
Технический редактор В.С. Белов
Компьютерная верстка: авторский коллектив
Новости и инфо для студентов