рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

ВЕРОЯТНОСТНЫЙ И ОБЪЕМНЫЙ ПОДХОДЫ К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ.

ВЕРОЯТНОСТНЫЙ И ОБЪЕМНЫЙ ПОДХОДЫ К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ. - раздел Приборостроение, ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ Определить Понятие «Количество Информации» Довольно Сложно. В Решении Этой Пр...

Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а в работах по созданию ЭВМ был развит объемный подход.


ПРИМЕР ВЕРОЯТНОСТНОГО ПОДХОДА.

Определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле Хартли : H=log2 34≈ 5 (бит). Однако, в словах русского языка, равно как и в словах других языков, различные буквы встречаются неодинаково часто. Поэтому для подсчета энтропии H надо использовать формулу Шеннона. При этом: Н≈ 4.72 (бит). Полученное значение энтропии H, меньше вычисленного по формуле Хартли, т. к. при не равновероятных состояниях свобода выбора источника ограничена, что должно привести к уменьшению неопределенности (и количества информации). Так, если источник имеет два состояния с вероятностями 0,99 и 0,01, то неопределенность здесь значительно меньше, чем при равновероятных состояниях с вероятностями 0,5 и 0,5. Мера неопределенности зависит от функции распределения случайной величины.

Величина энтропии H, вычисляемая по формуле Хартли, является максимальным количеством информации, которое могло бы приходиться на один знак при равновероятном появлении знаков.

Частотность букв русского языка (вероятности появления в тексте pi, полученные на основе анализа очень больших по объему текстов) представлена в следующей таблице.

n Симв. pi n Симв. pi n Симв. pi
Пробл 0,175 К 0,028 Г 0,012
О 0,090 М 0,026 Ч 0,012
Е 0,072 Д 0,025 Й 0,010
Ё 0,072 П 0,023 X 0.009
А 0,062 У 0,021 Ж 0.007
И 0,062 Я 0,018 Ю 0,006
Т 0,053 Ы 0,016 Ш 0.006
Н 0,053 0,016 Ц 0.004
С 0,045 Ь 0,014 Щ 0.003
Р 0,040 Ъ 0,014 Э 0,003
В 0,038 Б 0,014 Ф 0.002
Л 0,035            

Аналогичные подсчеты H можно провести и для других языков, использующих латинский алфавит, - английского, немецкого, французского и др. (26 различных букв и «пробел»). По формуле Шеннона для этих языков получим:

H= Iog2 27 = 4,76 бит.

Как и в случае русского языка, частота появления тех или иных знаков не одинакова. В порядке убывания вероятностей получим:

Английский язык: «пробел», Е,Т, А, О, N, R, …

Немецкий язык: «пробел», Е, N, I, S,T, R, …

Французский язык: «пробел», Е, S, A, N, I, T, …

ПРИМЕР ОБЪЕМНОГО ПОДХОДА.

Разработчики компьютеров отдают предпочтение двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния. Примеры: физический элемент, имеющий два различных состояния; намагниченность в двух противоположных направлениях; прибор, пропускающий или не пропускающий электрический ток; конденсатор, заряженный или незаряженный. Наименьшей возможной единицей информации в компьютере является бит (binary digit -двоичная цифра). Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных цифр (битов). При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода). Для удобства введены и более крупные, чем бит, единицы количества информации.

1 байт = 8 бит;

1 килобайт (Кбайт) = 210 бит = 1024 байт;

1 мегабайт (Мбайт) = 1024 килобайт;

1 гигабайт (Гбайт) = 1024 мегабайт:

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в вероятностном смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измерение количества информации в обоих смыслах, то они не обязательно совпадают, при этом вероятностное количество информации не может быть больше объемного.

– Конец работы –

Эта тема принадлежит разделу:

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ... Кафедра ИС Информационное обеспечение робототехнических и мехатронных...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: ВЕРОЯТНОСТНЫЙ И ОБЪЕМНЫЙ ПОДХОДЫ К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

ФОРМУЛА ХАРТЛИ.
Если число состояний системы равно N, то это равносильно информации, даваемой I ответами типа «ДА-НЕТ» на вопросы, поставленные так, что «ДА» и «НЕТ» одинаково вероятны. N=2I

ЭНТРОПИЯ В ИНФОРМАТИКЕ И ФИЗИКЕ.
Как в физическом, так и в информационном смысле величина энтропии характеризует степень разнообразия состояний системы. Формула Шеннона совпадает с формулой Больцмана для энтропии физическ

РАЗЛИЧНЫЕ АСПЕКТЫ АНАЛИЗА ИНФОРМАЦИИ.
Как ни важно измерение информации, к нему не сводятся все связанные с этим понятием проблемы. При анализе информации на первый план могут выступить такие ее свойства как истинность

БУКВА (ЗНАК, СИМВОЛ). АЛФАВИТ.
Информация передается в виде сообщений. Дискретная информация записывается с помощью некоторого конечного набора знаков, которые будем называть буквами, не вкладывая в это слово привычного ограниче

КОДИРОВЩИК И ДЕКОДИРОВЩИК.
В канале связи сообщение, составленное из букв (знаков, символов) одного алфавита, может преобразовываться в сообщение из букв другого алфавита. Кодом называется правило, описывающее однозначное со

МЕЖДУНАРОДНЫЕ СИСТЕМЫ БАЙТОВОГО КОДИРОВАНИЯ.
Информатика и ее приложения интернациональны. Это связано как с объективными потребностями человечества в единых правилах и законах хранения, передачи и обработки информации, так и с тем, что в это

ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ ИНФОРМАЦИИ.
Теория помехоустойчивого кодирования является достаточно сложной, и наши рассуждения носят весьма упрощенный характер. Основным условием обнаружения и исправления ошибок в принимаемых кодовых комби

ПЕРЕДАЧА ИНФОРМАЦИИ.
Теоретической основой передачи информации является Теория сигналов и передачи информации. Теория сигналов и передачи информации изучает процессы формирования, накопления, сбора, измерения, перерабо

ИЗ ИСТОРИИ РАЗВИТИЯ ПЕРЕДАЧИ ИНФОРМАЦИИ.
Проблемы организации связи уходят в глубь веков. Само существо человека требовало общения и обмена информацией. Прообразом линий связи была сигнализация с помощью костров, использование оптических

ТЕОРЕМА КОТЕЛЬНИКОВА.
Теорема Котельникова называется также теоремой отсчетов или теоремой о выборках. Выборкой называется отсчет амплитуды сигнала в

ИНФОРМАЦИОННАЯ ЕМКОСТЬ ДИСКРЕТНОГО СИГНАЛА (СООБЩЕНИЯ). ФОРМУЛА ШЕННОНА.
Уровень шумов (помех) не позволяет точно определить амплитуду сигнала и в этом смысле вносит некоторую неопределенность в значение отсчетов сигнала. Если бы шума не существовало, то число дискретны

РЕГЕНЕРАЦИЯ ДВОИЧНЫХ СИГНАЛОВ.
Сигналы, передаваемые двоичным кодом, удобны во многих отношениях. Как и любые цифровые дискретные сигналы, их можно регенерировать, т.е. восстановить, воссоздать их форму, искаженную помехами. Кос

ПОМЕХОЗАЩИЩЕННОСТЬ ДВОИЧНЫХ СИГНАЛОВ.
Большое достоинство двоичных цифровых сигналов заключается в том, что они требуют минимального отношения сигнал - помеха в канале связи, т.е. являются наиболее помехозащищенными. Поясним, что это т

КОДИРОВАНИЕ ДВОИЧНЫХ СИГНАЛОВ.
Любой сигнал переносится либо энергией, либо веществом. Это либо акустическая волна (звук), либо электромагнитное излучение (свет, радиоволна), либо лист бумаги (написанный текст), либо каменная ск

АНАЛОГОВЫЕ И ДИСКРЕТНЫЕ СИГНАЛЫ.
Чтобы сообщение было передано от источника к получателю, необходима некоторая материальная субстанция - носитель информации. Сообщение, передаваемое с помощью носителя, называется сигналом. В общем

ДИСКРЕТИЗАЦИЯ И КОДИРОВАНИЕ АНАЛОГОВОГО СИГНАЛА.
Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором отрезке [а, Ь]. Непрерывное сообщение можно преобразовать в дискретное (такая процедура называется дискрети

ЦИФРОВАЯ ТЕЛЕФОННАЯ СВЯЗЬ.
Вот как описывал процесс телефонной связи на заре возникновения цифровых телефонных систем автор книги «Посвящение в радиоэлектронику» В.Т. Поляков. «Несколько лет назад мне довелось пройт

ЦИФРОВАЯ ТЕЛЕГРАФНАЯ СВЯЗЬ.
Оценим, каков будет поток информации, если телефонный разговор заменить телеграфной передачей того же текста. При среднем темпе речи человек произносит 1 - 1,5 слова в секунду. Каждое слово состоит

ЦИФРОВОЕ ТЕЛЕВИДЕНИЕ.
Трудности представления телевизионных изображений в цифровой форме очевидны. Пусть на каждый элемент приходится один отсчет сигнала, который необходимо преобразовать в соответствующую кодовую комби

ПАРАМЕТРЫ РАДИОСИГНАЛОВ.
Информация есть совокупность сведений о событиях, явлениях, предметах - одним словом, обо всем, что имеется и происходит в мире. Информацию представляют в виде письменного текста, шифрованной цифро

МНОГОКАНАЛЬНЫЕ ЛИНИИ СВЯЗИ. УПЛОТНЕНИЕ ИНФОРМАЦИИ.
МНОГОКАНАЛЬНЫЕ ТЕЛЕФОННЫЕ ЛИНИИ. В нашей стране развивается и совершенствуется Единая автоматизированная сеть связи (ЕАСС). Ее основу составляют кабельные и радиорелейные линии связи, прич

ИЗ ИСТОРИИ КАБЕЛЬНОЙ СВЯЗИ.
В 1876 г. Александр Белл получил патент на изобретение "Телеграф, при помощи которого можно передавать человеческую речь". Телефон был встречен во всем мире с большим энтузиазмом и через

ПРИНЦИП ОПТОВОЛОКОННОЙ СВЯЗИ.
Благодаря огромной пропускной способности оптический кабель все шире применяется в информационно-вычислительных и телевизионных сетях, где требуется передавать большие объемы информации с исключите

АППАРАТНЫЕ СРЕДСТВА.
Локальные сети (ЛС) объединяют относительно небольшое число компьютеров (обычно от 10 до 100, хотя изредка встречаются и большие) в пределах одного помещения (учебный компьютерный класс), здания ил

КОНФИГУРАЦИЯ ЛОКАЛЬНЫХ СЕТЕЙ.
В простейших сетях с небольшим числом компьютеров они могут быть полностью равноправными; сеть в этом случае обеспечивает передачу данных от любого компьютера к любому другому для коллективной рабо

ОРГАНИЗАЦИЯ ОБМЕНА ИНФОРМАЦИЕЙ.
В любой физической конфигурации поддержка доступа от одного компьютера к другому выполняется программой – сетевой операционной системой, которая по отношению к операционным системам (ОС) отдельных

ОБЩАЯ ХАРАКТЕРИСТИКА СПУТНИКОВОЙ СВЯЗИ.
Идея использования космического пространства давно волновала лучшие умы человечества. Пока не могли вывести на околоземную орбиту летательный аппарат с отражателем на борту, космическая связь остав

ПРИНЦИПЫ СПУТНИКОВОЙ СВЯЗИ.
Рассмотрим некоторые наиболее важные принципы, используемые в спутниковых системах, предназначенных для передачи информации. Остановимся сначала на ретрансляторе информации. Особенность спутниковог

НЕПОЗИЦИОННЫЕ СИСТЕМЫ СЧИСЛЕНИЯ.
В непозиционной системе значение каждого символа в числе не зависит от позиции, которую занимает знак в записи числа (может быть зависимость от места символа по отношению к другому символу.). Наибо

ПОЗИЦИОННЫЕ СИСТЕМЫ СЧИСЛЕНИЯ.
В позиционной системе значение каждого знака в числе зависит от позиции, которую занимает знак в записи числа. Основанием системы счисления называетсяколичество различ

ПЕРЕВОД ЧИСЕЛ ИЗ ДЕСЯТИЧНОЙ СИСТЕМЫ В ДРУГУЮ СИСТЕМУ.
Ø Целая и дробная части переводятся порознь. Ø Чтобы перевести целую часть числа из десятичной системы в систему с основанием В, необходимо разделить ее на В. О

ПЕРЕВОД ЧИСЕЛ В ДЕСЯТИЧНУЮ СИСТЕМУ ИЗ ДРУГИХ СИСТЕМ.
ПЕРЕВОД ЦЕЛЫХ ЧИСЕЛ В ДЕСЯТИЧНУЮ СИСТЕМУ. 23510=2*102+3*101+5*100; 011012=0*24+1*23+1*22+0*

ВЗАИМНЫЕ ПРЕОБРАЗОВАНИЯ ДВОИЧНЫХ, ВОСЬМЕРИЧНЫХ И ШЕСТНАДЦАТЕРИЧНЫХ ЧИСЕЛ.
С практической точки зрения представляет интерес процедура взаимного преобразования двоичных, восьмеричных и шестнадцатеричных чисел. Для перевода целого двоичного числа в восьмеричное нео

ЯЗЫКИ ПРОГРАММИРОВАНИЯ. ОБЩАЯ ХАРАКТЕРИСТИКА.
Языки программирования являются искусственными языками, специально созданными для общения человека с ЭВМ. Языки программирования представляют собой системы обозначений, предназначенные для точного

ЯЗЫК ПРОГРАММИРОВАНИЯ СИ. ИСТОРИЯ СОЗДАНИЯ. ОБЩАЯ ХАРАКТЕРИСТИКА.
Язык программирования C (Си) был разработан Деннисом Ритчи (Dennis Ritchie) в 1972 году как инструмент написания операционной системы (ОС) UNIX для электронной вычислительной машины (ЭВМ) PDP-11 фи

ЯЗЫК ПРОГРАММИРОВАНИЯ СИ. ПРОЦЕСС СОЗДАНИЯ ИСПОЛНЯЕМОГО ФАЙЛА.
· Исходный файл (текст программы на языке программирования Си) создается в редакторе системы программирования, например Borland C++. · Расширенный исходный файл

ЯЗЫК ПРОГРАММИРОВАНИЯ СИ. ОСНОВНЫЕ ПОНЯТИЯ.
Идентификаторы – это имена переменных, констант, функций, меток и т.п. Внешние идентификаторы (имена функций и глобальных переменных, участвующих в процессе компоновки) согласно AN

Базовые типы данных;
· char- символьные; · int - целые; · float – с плавающей точкой; · double – с плавающей точкой двойной длины; · void – пустой, не имеющий значения. Тип

Строковые константы.
Строковые константы определяется как последовательность символов, заключенная в двойные кавычки: ”Строковая константа”. ПРИМЕЧАНИЕ: См. 4. СТРОКИ И СТРОКОВЫЕ КОНСТАНТЫ. Ко

Инициализаторы.
Для присваивания начальных значений переменным при их определении используются инициализаторы. Инициализаторы имеют форму: = значение; = {список значений}; /* сложные зна

ЯЗЫК ПРОГРАММИРОВАНИЯ СИ. СТРУКТУРА ПРОСТОЙ ПРОГРАММЫ.
/* ПРОГРАММА: information.c – пример вывода сообщения. /* 1 */ */ /*#############################################*/ /* 2 */ /*============================= inclu

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги