Меры информации - раздел Компьютеры, Хранение данных в компьютере Понимая Информацию Как Один Из Стратегических Ресурсов Общества, Необходимо У...
Понимая информацию как один из стратегических ресурсов общества, необходимо уметь его оценивать как с качественной, так и с количественной стороны. Здесь возникают проблемы из-за нематериальной природы этого ресурса и субъективного восприятия конкретной информации каждым конкретным человеком.
Для измерения информации вводятся два параметра: количество информации I и объем данных Vд. Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой меры количества информации и объема данных.
Синтаксическая мера информации. Эта мера оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:
- в двоичной системе счисления единица измерения – бит (bit – binary digit) или более укрупненная единица байт, равная 8 бит. Сообщение, записанное двоичным кодом 10111011, имеет объем данных 8 бит или 1 байт.
- в десятичной системе счисления единица измерения – дит (десятичный разряд). Сообщение, записанное числом 275903 имеет объем данных 6 дит.
Количество информации I на синтаксическом уровне определяется с помощью понятия неопределенности состояния (энтропии) системы.
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы. После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала Hβ(α). Тогда количество информации Iβ(α) о системе, полученной в сообщении β, определится как Iβ(α) = H(α) - Hβ(α), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.
Если конечная неопределенность Hβ(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Iβ(α) = H(α). Иными словами, энтропия системы H(α) может рассматриваться как мера недостающей информации.
Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна
где Pi – вероятность того, что система находится в i-состоянии.
Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi=1/N, ее энтропия определяется соотношением.
Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения
N = mn,
где N – число всевозможных отображаемых состояний;
m – основание системы счисления (разнообразие символов, применяемых в алфавите);
n – число разрядов (символов) в сообщении.
Пример. По каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N = mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I = log N = n log m – формула Хартли.
Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = Vд, полученных по каналу связи. Для неравновероятностных состояний системы всегда I < Vд = n.
Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.
Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.
С увеличением Y уменьшаются объемы работы по преобразованию информации, для этого разрабатываются специальные методы оптимального кодирования информации.
Семантическая мера информации. Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используют понятие тезаурус пользователя.
Тезаурус – это совокупность сведений, которыми располагает пользователь или система.
В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.
График зависимости количества семантической информации, воспринимаемой потребителем, от его тезауруса Ic = f(Sp)
Два предельных случая, когда количество семантической информации Ic равно 0:
- при Sp » 0 пользователь не воспринимает, не понимает поступающую информацию;
- при Sp ® ¥ пользователь все знает, и поступающая информация ему не нужна.
Максимальное количество Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp (Sp = Sp opt), когда поступающая информация понятна пользователю и несет ему ранее неизвестные (отсутствующее в тезаурусе) сведения. Следовательно новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. При оценке содержательного аспекта информации необходимо стремиться к согласованию величин S и Sp.
Относительной мерой количества семантической информации может служить коэффициент содержательности C, который определяется как отношение количества семантической информации к ее объему: 
Прагматическая мера информации. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели, Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.
Пример. В экономической системе ценность информации можно определить приростом экономического эффекта ее функционирования, достигнутым благодаря использованию этой информации для управления системой.
| Мера информации
| Единицы измерения
| Примеры (для компьютерной области)
|
| Синтаксическая:
шенноновский подход
компьютерный подход
|
Степень уменьшения неопределенности
Единицы представления информации
|
Вероятность события
Бит, байт, Кбайт и т.д.
|
| Семантическая
| Тезаурус
Экономические показатели
| ППП, ПК, компьютерные сети и т.д.
Рентабельность, производительность, коэффициент амортизации и т.д.
|
| Прагматическая
| Ценность использования
| Емкость памяти, производительность компьютера, скорость передачи данных и т.д.
Денежное выражение
Время обработки информации и принятия решений
|
Все темы данного раздела:
Информатика. Предмет и задачи
Термин информатика возник в 60-х годах во Франции для названия области человеческой деятельности, занимающейся автоматизированной обработкой информации с помощью электронных вычислительных м
Структура информатики
Информатику можно рассматривать с разных позиций. В узком смысле она состоит из трех взаимосвязанных частей – технических (hardware), программных (software) и алгоритмических (brainware) средств. В
Измерение и представление информации
Существование области и предмета информатики немыслимо без ее основного ресурса – информации. Термин информация происходит от латинского слова informatio, что означает осведомление, р
Сигналы ® Данные ® Методы ® Информация
С позиции материалистической философии информация есть отражение реального мира.
Все объекты в окружающем нас мире являются материальными. Материя существует в двух формах: в виде материал
Методы воспроизведения и обработки данных
Естественные методы. Методы, основанные на органах чувств. Логическое мышление. Воображение, сравнение, сопоставление, анализ, прогнозирование и т.п.
Аппаратные методы. Аппар
Информационный процесс
Информация динамична, она существуют непродолжительное время – столько, сколько продолжается взаимодействие данных и методов во время ее создания, потребления или преобразования. Как только взаимод
Единицы измерения информации
В компьютерной технике используется двоичная система счисления. Ее выбор определяется реализацией аппаратуры ЭВМ (электронными схемами), в основе которой лежит использование двоичного элемента хран
Качественные свойства информации
Репрезентативность информации связана с правильностью ее отбора и формирования в целях адекватного отражения свойств объекта.
Содержательность информации отражает семантическ
Хранение информации
Хранение информации — это способ распространения информации в пространстве и времени.
Способ хранения информации зависит от ее носителя (книга — библиотека, картина — музей, фотография — а
Кодирование данных двоичным кодом
Для автоматизации работы с данными, относящимися к различным типам, очень важно унифицировать их форму представления. Для этого обычно используют прием кодирования, т.е. выражение данных одного тип
Системы счисления
При работе с компьютерами приходится параллельно использовать несколько позиционных систем счисления – двоичную, восьмеричную, шестнадцатеричную.
Системы счисления – принятый способ
Перевод из десятичной системы в двоичную
Целая и дробная части переводятся порознь. Для перевода целой части числа необходимо ее разделить на основание системы счисления 2 и продолжать делить частные от деления до тех пор пока частное не
Восьмеричная и шестнадцатеричная системы счисления
Перевод чисел из десятичной системы в восьмеричную производится также как и в двоичную с помощью умножения и деления, только не на 2, а на 8.
Например, 58,32(10)
Кодирование числовых данных
Кодирование числовых данных по сути представляет собой перевод чисел, записанных в общепринятой десятичной системе счисления в двоичную систему счисления. В этом случае двоичную форму записи десяти
Кодирование текстовых данных
Начиная с конца 60-х годов, компьютеры все больше стали использоваться для обработки текстовых данных и в настоящее время большая часть персональных компьютеров в мире (и наибольшее время) занято о
Кодирование графических данных
С 80-х годов интенсивно развивается технология обработки на компьютере графических данных. Компьютерная графика позволяет создавать и редактировать рисунки, схемы, чертежи, преобразовывать изображе
Кодирование звуковых данных
С начала 90-х годов персональные компьютеры получили возможность работать со звуком. Каждый компьютер, имеющий звуковую плату (аудиоадаптер), микрофон и колонки, может записывать, сохранять и воспр
Послесловие к лекции о кодировании данных в компьютере
Каждый новый вид данных, добавляемый к компьютерной обработке, исторически тем или иным способом сводился к числовому представлению.
Исходя из принципов устройства компьютера, можно утверж
Хранение данных в компьютере
Для хранения и обработки данных в компьютере используется совокупность определенного количества разрядов, которая называется разрядной сеткой. При этом число элементарных ра
Представление и обработка числовой информации в компьютере
Представление целых чисел без знака.Целоечисло без знака располагается в регистре (слове, полуслове или двойном слове) так, что его самый младший двоичный разряд записываетс
История развития вычислительной техники
Потребность в автоматизации обработки данных, в том числе вычислений, возникла очень давно. Считается, что исторически первым и, соответственно, простейшим счетным устройством был абак, который отн
Поколения цифровых ЭВМ
Показатель
Поколения
Первое
Второе
Третье
Четвертое
Пятое
1951-1954
Архитектура ЭВМ
Архитектура- это наиболее общие принципы построения ЭВМ, реализующие программное управление работой и взаимодействием основных ее функциональных узлов.
Общие принципы построения ЭВМ
Структура современных ЭВМ
Начало изменений в классической архитектуре относится к 3-му поколению ЭВМ (переход от транзисторов к интегральным схемам). Это было обусловлено возникновением противоречия между высокой скоростью
Тенденции в развитии структуры современных ЭВМ
1. постоянно расширяется и совершенствуется набор внешних устройств, что приводит к усложнению связей между узлами ЭВМ;
2. вычислительные машины перестают быть однопроцессорными, для осуще
Структура и виды команд
Решение задач на компьютере реализуется программным способом, путем выполнения последовательно во времени отдельных операций над данными, предусмотренных алгоритмом решения задачи.
Алго
Состав машинных команд
Стандартный набор современных ПК содержит около 240 машинных команд. Их можно разделить на группы по видам выполняемых операций:
- операции пересылки данных внутри компьютера;
- а
Основной цикл работы компьютера
Вся деятельность компьютера – это непрерывное выполнение тех или иных программ, которые в свою очередь могут загружать новые программы и т.д.
Каждая программа состоит их отдельных машинных
Обработка прерываний
Выполнение основной программы иногда может приостанавливаться для осуществления неотложных действий, связанных, например, с реакцией на щелчок мыши или со сбоем в цепи электропитания. Такой режим р
Аппаратное обеспечение
К аппаратному обеспечению относятся устройства и приборы, образующие аппаратную конфигурацию.
По способу расположения устройств относительно центрального процессорного устройства ра
Системное программное обеспечение
Базовое программное обеспечение (base software) — минимальный набор программных средств, обеспечивающих работу компьютера. Самый низкий уровень программного обеспечения. Отвечает за в
ОС как расширенная машина
ОС ограждает пользователя от непосредственной работы с аппаратурой, составляющей реальную машину. Например, при работе с диском пользователю достаточно представлять его в виде некоторого набора фай
ОС как система управления ресурсами
ОС должна управлять всеми ресурсами компьютера таким образом, чтобы обеспечить максимальную эффективность ее функционирования. Что включает в себя:
- планирование ресурса – кому, когда, а
Функции ОС
Обеспечение интерфейса пользователя. По реализации интерфейса пользователя различают неграфические и графические операционные системы. Неграфические операционные сист
Понятие многозадачности
Работа с приложениями составляет наиболее важную часть работы операционной системы. С точки зрения управления исполнением приложений, различают однозадачные и многозадачные операционные сист
Установка приложений
Для правильной работы приложений на компьютере они должны пройти операцию, называемую установкой. Необходимость в установке связана с тем, что разработчики программного обеспечения не могут
Удаление приложений
Процесс удаления приложений, как и процесс установки, имеет свои особенности и может происходить под управлением вычислительной системы. В таких операционных системах, где каждое приложение самообе
Обслуживание компьютера
Предоставление основных средств обслуживания компьютера – одна из функций операционной системы. Обычно она решается внешним образом – включением в базовый состав операционной системы первоочередных
Прочие функции операционных систем
Кроме основных (базовых) функций операционные системы могут предоставлять различные дополнительные функции. Конкретный выбор операционной системы определяется совокупностью предоставляемых функций
Файловые системы FAT и FAT32
FAT представляет собой простую файловую систему, разработанную для небольших дисков и простых структур каталогов. Ее название происходит от названия метода, применяемого для организации файлов — та
Файловая система NTFS
Файловая система NTFS обеспечивает такое сочетание производительности, надежности и эффективности, которое невозможно предоставить с помощью любой из реализаций FAT. Основными целями разработки NTF
Физическая структура NTFS
Раздел NTFS, теоретически, может быть почти какого угодно размера. Максимальный размер раздела NTFS в данный момент ограничен лишь размерами жестких дисков.
Структура раздела - общий вз
MFT и его структура.
Файловая система NTFS представляет собой выдающееся достижение структуризации: каждый элемент системы представляет собой файл – даже служебная информация. Самый главный файл на NTFS называется MFT,
МОДЕЛИРОВАНИЕ КАК МЕТОД РЕШЕНИЯ ПРИКЛАДНЫХ ЗАДАЧ
Окружающий нас мир состоит из множества различных объектов по своим размерам сравнимых с человеком – это макромир. Макрообъекты разделяются на живые, неживые и искусственные. Макрообъекты со
Моделирование как метод познания
Реальные объекты и процессы бывают столь многогранны и сложны, что лучшим способом их изучения часто является построение модели, отображающей лишь какую-то грань реальности и поэтому многократно бо
Материальные и информационные модели
Все модели можно разбить на два больших класса: материальные и информационные.
Материальные модели. Предметные модели позволяют представить в наглядной материальной форме объекты и
Формализация модели
На начальном этапе моделирования выделяются существенные признаки изучаемого объекта и дается развернутое содержательное описание связей между ними (системный анализ), то есть осуществляется неформ
Математическое моделирование
Основные этапы математического моделирования:
1. Создание качественной модели. Выясняется характер законов и связей, действующих в системе. В зависимости от природы модели эти законы могут
Компьютерное моделирование
Огромный толчок развитию математического моделирования дало появление ЭВМ, хотя сам метод зародился одновременно с математикой тысячи лет назад.
Математическая модель исследуемого процесса
Этапы и цели компьютерного математического моделирования
Общая схема процесса компьютерного математического моделирования
Первый этап – определ
Понятие алгоритма и его свойства
Понятие алгоритма является одним из основных понятий современной информатики. Термин алгоритм происходит от algorithmi – латинской формы написания имени выдающегося математика IX века аль-Хо
Определение алгоритма на основе рекурсивных функций
Рекурсия – процесс определения функции, при котором ее значение для произвольных значений аргументов выражается известным образом через значения функции для меньших значений аргументов.
Способы записи алгоритмов
Существует несколько способов записи алгоритмов, отличающихся друг от друга наглядностью, компактностью, степенью формализации. Наибольшее распространение получили: словесный, графический, программ
Разветвляющийся алгоритм
Разветвляющийся алгоритм (ветвление) обеспечивает выбор между двумя альтернативами. Выполняется проверка, а затем выбирается один из путей.
Подобная структура называется также «ЕСЛИ
Циклический алгоритм
Циклический алгоритм (Цикл) содержит некоторую последовательность операций, выполняемую многократно. Основной блок цикла, тело цикла, производит требуемые вычисления. Остальные блоки организ
Объекты алгоритма
Решение любой задачи предполагает наличие реальных объектов – объектов задачи.
Например. При решении задачи о начислении зарплаты сотрудникам предприятия объектом задачи могут быть: табель
Языки и системы программирования
Программа – это логически упорядоченная последовательность команд, необходимых для управления компьютером (выполнения им конкретных операций), поэтому программирование сводится к созданию по
Алгоритмические (процедурные) языки программирования
Старейшим языком высокого уровня, не утратившим своей актуальности и сегодня, является ФОРТРАН (FORTRAN), хотя от исходной версии в нем мало что сохранилось. Название ФОРТРАН соста
Декларативные (описательные) языки программирования
Предназначены для решения задач искусственного интеллекта, к ним относят такие языки, которые способны в зависимости от набора исходных данных модифицировать алгоритм работы, т.е. «на ходу» менять
Объектно-ориентированные языки программирования
Это направление стало разрабатываться в середине 70-х гг. Керниганом и Риччи. Представляет собой отображение объектов реального мира, их свойств (атрибутов) и связей между ними при помощи специальн
Языки программирования баз данных
Эта группа языков отличается от алгоритмических языков, прежде всего решаемыми задачами. База данных – это файл (или группа файлов), представляющий собой упорядоченный набор записей, имеющих единоо
Языки моделирования
При создании программ и формировании структур баз данных нередко применяются формальные способы их представления – форматные нотации, с помощью которых можно визуально (в виде диаграмм) представить
Поколения языков программирования
Языки программирования принято делить на пять поколений:
- Первое поколение. Начало 50-х годов, когда первые компьютеры только появились на свет. Первый язык ассемблера, соз
Системы программирования и их компоненты
Системы программирования для компилируемых языков. В самом общем случае для создания программы на выбранном компилируемом языке программирования нужно иметь компоненты, способные реализовыва
Архитектура программных систем
В то время как большинство автономных приложений: офисные программы, среды разработки, системы подготовки текстов и изображений – выполняются на одном компьютере, крупные информационные комплексы (
Технологии программирования
Технологией программирования называют совокупность методов и средств, используемых в процессе разработки программного обеспечения. Как любая другая технология она представляет собой набор те
Основные этапы развития технологии программирования
Первый этап – «стихийное» программирование (от появления первых вычислительных машин до середины 60-х годов XX в). Первые программы имели простейшую структуру. Они состояли из собственно про
Модули и их свойства
При проектировании достаточно сложного программного обеспечения после определения его общей структуры выполняют декомпозицию компонентов в соответствии с выбранным подходом до получения элементов,
Нисходящая и восходящая разработка программного обеспечения
При проектировании, реализации и тестировании компонентов структурной иерархии, полученной при декомпозиции, применяют два подхода:
- восходящий;
- нисходящий.
Восходя
Структурное и «неструктурное» программирование
Одним из способов обеспечения высокого уровня технологичности разрабатываемого программного обеспечения является структурное программирование.
Различают три вида вычислительного процесса,
Новости и инфо для студентов