Измерение информации - Лекция, раздел Информатика, Информатика. Лекция 1. Информация и информационные процессы Различают Меры Информации Синтаксического, Семантического И Прагматического У...
Различают меры информации синтаксического, семантического и прагматического уровней. Рассмотрим меру информации синтаксического уровня. Мера информации синтаксического уровня не связана с содержательной стороной информации, а оперирует только с обезличенной информацией, не выражающей смыслового отношения к объекту. Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации - (объемный подход) и количество информации – (энтропийный подход).
Объем информации (объемный подход). Сообщение представляет собой совокупность символов какого-либо алфавита. При этом каждый новый символ в сообщении увеличивает объем информации, представленной последовательностью символов данного алфавита. Если теперь объем информации, содержащейся в сообщении из одного символа, принять за единицу объема, то объем информации будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов), то единица представления информации будет меняться.
Так в десятичной системе счисления единицей измерения информации будет дит (десятичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем дит. Например, число 2010 имеет объем дит.
В двоичной системе счисления единицей измерения информации является бит (bit – binary digit – двоичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем бит. Например, код 11001011 имеет объем бит. Также имеются производные единицы измерения информации:
1 байт = 8 бит
1 Кбайт (Килобайт) = 1024 (210) байт;
1 Мбайт (Мегабайт) = 1024 (210) Кбайт;
1 Гбайт (Гигабайт) = 1024 (210) Мбайт;
1 Тбайт (Терабайт) = 1024 (210) Гбайт;
1 Пбайт (Петабайт) = 1024 (210) Тбайт.
Количество информации (энтропийный подход). В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.
Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и др.) неопределенности. При этом в качестве меры неопределенности вводится энтропия, H, а количество информации I равно:
– начальная энтропия о состоянии исследуемой системы.
– конченая энтропия о состоянии исследуемой системы.
Когда в ходе испытания имевшаяся неопределенность снята (получен конечный результат , количество полученной информации совпадает с начальной энтропией, т.е.
Рассмотрим в качестве исследуемой системы систему, имеющую конечное множество возможных состояний. Система может в каждый момент времени случайным образом принять одно из возможных состояний. Если система приняла некоторое состояние, говорят, что произошло событие. Вероятность – это числовая характеристика степени возможности наступления того или иного события. Вероятность достоверного события (которое обязательно произойдет) равна 1, невозможного события (которое не произойдет никогда) равна 0. Вероятность случайного события (которое может произойти или не произойти) находится в интервале [0, 1].
Например, подбрасывается монета. При этом возможны два события: А – при подбрасывании монеты выпал «орел» или В – при подбрасывании монеты выпала «решка». Эти события равновероятны. Вероятность выпадения «орла» при бросании монеты равна ½, вероятность выпадения «решки» так же равна ½.
Для снятия неопределенности в ситуации из двух равновероятных событий необходим один опыт и соответственно один бит информации. При неопределенности, состоящей из четырех равновероятных событий, достаточно двух бит информации, чтобы угадать искомый факт. При неопределенности, состоящей из восьми равновероятных событий, достаточно трех бит информации и т.д. Таким образом, если сообщение указывает на одни из n равновероятных вариантов, то оно несет количество информации, равное . Эта формула была предложена американским инженером Р.Хартли в 1928 г.
Формула Хартли: .
Рассмотрим пример. Загадано число в диапазоне от 1 до 8, т.е. имеется 8 равновероятных событий (загадано число 1, загадано число 2 и т.д.). Нужно отгадать, какое число загадано. Хартли рассматривал процесс отгадывания следующим образом: необходимо задать вопрос, предполагающий ответ в форме «Да/Нет» (т.е. в двоичной форме), и уменьшающий неопределенность ситуации в два раза. Допустим, загадано число 5. Пытаясь выяснить это, задаются вопросы:
- Число находится в интервале от 1 до 4? Нет
- Число находится в интервале от 7 до 8? Нет
- Это число 6? Нет
Следовательно, загадано число 5.
В результате отгадывания было задано 3 вопроса, каждый из которых привел к получению 1 единицы информации, т.е. было получено количество информации равное 3. Это же количество информации мы получим и по формуле Хартли: , т.е. сообщение о верно угаданном числе содержит количество информации равное 3.
Определим теперь, являются ли равновероятными события «первой вышла из дверей здания женщина» или «первым вышел из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Например, если зданием является военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины, а если речь идет о станции метро, то вероятность может быть одинаковой. Для задач такого рода американский ученый К.Шеннон предложил в 1948 г. другую формулу, учитывающую возможную неодинаковую вероятность событий.
Формула Шеннона:
Где - вероятность того, что именно i-е состояние выбрано из набора n состояний.
Если вероятности равны, то каждая из них равна 1/n.
Чем выше вероятность события, тем меньшее количество информации возникает после его осуществления, и наоборот.
Рассмотрим пример. В классе четыре ученика: Антон, Владимир, Николай, Петр. Учитель обязательно спросит одного из них, при этом вероятность того, что спросят Антона, равна 0.5, вероятность того, что спросят Владимира – 0.2, вероятность того, что спросят Николая – 0.1, вероятность того, что спросят Петра – 0.2.
Учитель спросил ученика. Каково количество информации в этом сообщении? Рассчитаем его по формуле Шеннона:
Мера информации семантического уровня определяется способностью пользователя принимать поступившее сообщение.
Мера информации прагматического уровня определяется полезностью информации (ценностью) для достижения пользователем поставленной цели.
Лекция Информация и информационные процессы... План... Понятие информации Измерение информации...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:
Измерение информации
Что будем делать с полученным материалом:
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Понятие информации
Люди ежедневно общаются друг с другом, передают в тои или иной форме какие-то сведения, осмысливают полученные факты, делают определенные умозаключения, т.е. работают с информацией.
Термин
Свойства информации
Как и всякий объект, информация обладает свойствами. Характерной отличительной особенностью информации от других объектов природы и общества, является дуализм: на свойства информации влияют как сво
Информация в общении людей
Формы представления информации в современном мире разнообразны. Рассмотрим, каким образом происходит обмен информацией среди людей.
Информация, получаемая посредством визуального наблюдени
Понятие системы счисления
Компьютер может обрабатывать информацию, представленную только в числовой форме. Вся другая информация (тексты, графика, звуки) для обработки на компьютере должна быть преобразована в числовую форм
Перевод десятичного числа в другую систему счисления
Для перевода целой части числа применяется следующее правило: нужно разделить число на основание той системы счисления, в которую осуществляется перевод, выделить целую часть частного и остаток от
Логические элементы ЭВМ
Основу любого дискретного вычислительного устройства составляют элементарные логические схемы. Работа этих схем основана на правилах алгебры логики.
Создателем алгебры лог
Получение информации
Информацию мы получаем всевозможными способами: в процессе разговора, посредством печатных изданий и различных средств коммуникации – радио, телевидения, компьютера и др.
Рассмотрим класси
Передача информации
Информация передается в виде сообщений от некоторого источника информации к ее получателю посредством канала связи между ними.
Канал связи (англ. channel, data line
Обработка информации
Обработка информации – это процесс получения одних информационных объектов из других путем выполнения некоторых алгоритмов. При этом, информационный объект – обобщающее понятие, оп
Накопление и хранение информации
Понятие хранения информации всем знакомо: мы все храним семейные документы, письма, фото. В каждом доме набираются немалые стопки журналов, газет и т.п. Хранение информации – это процесс накопления
Первое поколение ЭВМ
· Период времени – 1946 – 1959.
· Элементная база – электронные лампы.
· Основные устройства ввода – пульт, перфокарточный, перфоленточный ввод.
· Основные устройства выв
Второе поколение ЭВМ
· Период времени – 1960 – 1969.
· Элементная база – полупроводники (транзисторы).
· Основные устройства ввода – добавилась клавиатура.
· Основные устройст
Третье поколение ЭВМ
· Период времени – 1970 – 1979.
· Элементная база – интегральные схемы.
· Основные устройства вывода – добавился графопостроитель и принтер.
· Ключевые ре
Четвертое поколение ЭВМ
· Период времени – с 1980.
· Элементная база – большие интегральные схемы.
· Устройства ввода – добавились сканер, мышь.
· Устройства вывода – добавился ц
Суперкомпьютеры
Традиционной сферой применения суперкомпьютеров всегда были научные исследования:
· Физика плазмы и статическая механика, молекулярная и атомная физика, теория элементарных частиц, теория
Мини-ЭВМ
Мини-ЭВМ (малые ЭВМ) – надежные, недорогие и удобные в эксплуатации компьютеры, обладающие несколько более низкими по сравнению с мэйнфреймами возможностями. Используются для управления производств
Микро-ЭВМ
Микро-ЭВМ классифицируют следующим образом:
· Универсальные. Многопользовательские микро-ЭВМ, оборудованные несколькими видеотерминалами и функционирующие в режиме разделе
Базовое ПО
В базовое ПО входя:
· базовая система ввода-вывода (BIOS – Basic Input/Output System);
· операционная система (сетевая операционная система);
· операционные оболочки.
Сервисное программное обеспечение
Расширением базового ПО является набор сервисного, дополнительно устанавливаемого ПО. В сервисное ПО входят:
· Программы контроля, тестирования и диагностики, которые испо
Инструментарий технологии программирования
В настоящее время бурно развивается направление, связанное с технологией создания программного обеспечения. Это связано с переходом на промышленную технологию производства программ, стремлению к со
Прикладное программное обеспечение
Прикладное ПО предназначено для решения функциональных задач и является самым много численным классом программных продуктов.
Пакет прикладных программ (ППП) – комплекс вза
Понятие модели и моделирования
Слово «модель» (лат. modelium) означает «мера», «способ», «сходство с какой-то вещью».
Модель – это упрощенное представление, аналог реального объекта, процесса или явлени
Аспекты моделирования
Моделировать можно внешний вид, структуру, поведение объекта, а также все возможные их комбинации.
Структурой объекта называют совокупность его элементов, а также существу
Основные этапы построения моделей
Процесс моделирования можно разбить на следующие этапы:
· Постановка цели моделирования (цель должна уточнять какой из аспектов изучаемого объекта представляет интерес: внешний вид, структ
Этапы решения задач на компьютере
При решении любой задачи с помощью компьютера предполагается, что информация подвергается обработке по предварительной составленной инструкции, называемой программой. Поэтому под решением задач на
Основы алгоритмизации
«Алгоритм» является базовым основополагающим понятием информатики, а алгоритмизация (программирование) – основным разделом курса информатики. Понятие алгоритма, ка
Способы представления алгоритмов
Существует несколько способов представления алгоритмов.
Словесный способ. Описание алгоритма состоит из словесного перечня действий. Например:
Циклический алгоритм
Алгоритмы, определенные действия в которых многократно повторяются, называются алгоритмами циклической структуры. Многократно повторяющиеся действия составляют тело цикла. Существует несколько видо
Технология программирования
Программирование — создание компьютерных программ с помощью языков программирования. В общем смысле слова, программирование – формализация предопределенного состояния, по реакции н
Структурное программирование
Структурное программирование — методология разработки программного обеспечения, в основе которой лежит представление программы в виде иерархической структуры блоков. Предложена в 7
Объектно-ориентированное программирование (ООП)
Объектно-ориентированное программирование (ООП) — методология программирования, в которой основными являются понятия «объект» и «класс».
Основные принципы ООП: абстракция,
Языки программирования
Язык программирования– формализованный язык для описания алгоритма решения задачи на компьютере.
Языки программирования делятся на языки низкого и
Системы программирования
Система программирования (programming system) – это комплекс средств, предназначенных для создания и эксплуатации программ на конкретном языке программирования на ЭВМ определенного
Понятия база данных, система управления базами данных
В широком смысле слова база данных – это совокупность сведений о конкретных объектах реального мира в какой-либо предметной области. Информация об объекте или отношениях объектов, выраженная в знак
Иерархическая модель данных
В иерархической модели данные представлены в виде древовидной (иерархической) структуры (см. Рисунок 1).
Основные понятия модели: атрибут, узел, уровень, групповое отношение
Сетевая модель
Основные понятия как в иерархической модели данных. Основное различие этих моделей состоит в том, что в сетевой модели узел может быть членом более чем одного группового отношения. Согласно этой мо
Реляционная модель данных
Понятие реляционный (relation – отношение) связано с работами британского ученого Эдгара Кодда, работы которого стали основой теории реляционных баз данных. Реляционная модель ориентирована на орга
Общая характеристика
Коммуникационная сеть – система, состоящая из объектов, осуществляющих функции генерации, преобразования, хранения и потребления продукта, называемых пунктами (узлами) сети, и лини
Компьютерная сеть
На самом обобщенном уровне сеть – это система, которая позволяет производить обмен информацией. Минимальный набор компонентов, составляющих базовую коммуникационную модель, состоит из источника, пр
Адресация в локальной сети
Каждый узел локальной сети идентифицирован своим логическим IP-адресом, который определяет положение компьютера в сети.
Каждый IP-адрес состоит из идентификатора сети (ID сети) и идентифик
Способы подключения к Интернету
Существует несколько основных способов подключения к Internet:
- Коммутируемый доступ по телефонной линии при помощи модема. Моде́м (аббревиатура, составленная из сло
Интернет-провайдеры
Доступ в Internet предоставляют Интернет-провайдеры. Интернет-провайдер (Internet Service Provider, ISP) — организация, предоставляющая услуги доступа к Интернету и иные, связанные с Интернетом усл
Структура поисковой системы
Все поисковые системы Internet состоят из трех базовых компонентов:
· Веб-паук (web spider);
· Индексатор;
· Поисковая машина.
Веб-паук представ
Правила поиска
1. Вводите слова поискового запроса по возможности без ошибок.
Если Вы ошиблись в написании слова или словосочетания, поисковая система поможет Вам скорректировать запрос при помощи ассоци
Закачка файлов
Каждый браузер имеет собственный модуль закачек, позволяющий скачивать информацию из Internet. Но в случае обрыва связи приходится повторно выполнять скачивание, кроме того скачивание проходит медл
Хотите получать на электронную почту самые свежие новости?
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Новости и инфо для студентов