рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Формула Шеннона

Формула Шеннона - раздел Информатика, «Информатика» Конспект лекций   Энтропия Системы H(A) Согласно Формуле Шеннона Равна: ...

 

Энтропия системы H(a) согласно формуле Шеннона равна:


 

 
 

где H(a) – энтропия системы;

N – число возможных состояний системы;

P(i) –вероятность того, что система находится в i-ом состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi = 1/N, её энтропия определяется соотношением:

 
 

 

Энтропия системы может рассматриваться как мера недостающей информации.

– Конец работы –

Эта тема принадлежит разделу:

«Информатика» Конспект лекций

Федеральное агентство по образованию... Ирбитский мотоциклетный техникум... Информатика...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Формула Шеннона

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Информатика ‑ предмет и задачи
  Термин informatigue (информатика) возник в 60-х гг. во Франции и означает «информационная автоматика или автоматизированная переработка информации». В англоязычных странах эт

Информатизация общества
      &nbs

Понятие информационной системы
Информационная система -это взаимосвязанная совокупность технических средств, программного обеспечения, методов и персонала предназначенная для информационного обслуживания пользов

Понятие информации
Информацию можно определить как набор сообщений об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределен

Способы передачи информации
Сигнал – любой процесс, несущий информацию Носителями информации являются сигналы. Это физические процессы различной природы, например:

Меры информации
  Ко второй половине ХХ века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. А потом добавились еще и ЭВМ - переработчики инфо

Синтаксическая мера информации
Синтаксическая мера информации оперирует с обезличенной информацией (данными), не выражающей смыслового отношения к объекту. Для измерения информации вводится два параметра: • кол

Расчет количества информации по Хартли
Частный случай формулы Шеннона для равновероятных событий:    

Семантическая мера информации
Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со сп

Прагматическая мера информации
  Определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой инф

Язык и информация. Кодирование информации. Алфавит кода
Информация, воспринимаемая человеком в речевой или письменной форме, называется символьной, или знаковой информацией. В письменном тексте со

Представление и кодирование информации в компьютере
  Системы кодирования предназначены для замены названий объектов на условные обозначения (код) для обеспечения удобной и более эффективной работы по обработке информации.

Единицы измерения информации.
Группа из 8 бит называется байтом. Байт – основная единица измерения информации На основании 1 байта, исходя из формулы Хартли, можно получить 256 различны

Кодирование информации
Информация может накапливаться и передаваться физическими средствами лишь с помощью кода.   Примеры систем кодирования: на естественных языках

Кодирование текстовой информации
Для кодирования одного символа требуется 1 байт информации (можно закодировать 256 символов). Каждому символу ставится в соответствие уникальный десятичной

Задача 1.
Размер текстового файла (Vд) 640 Kb. Файл содержит книгу, которая набрана в среднем по 32 строки на странице и по 64 символа в строке. Сколько стр

Задача 2.
Досье на сотрудников занимают 8 Mb. Каждое из них содержит 16 страниц (32 строки по 64 символа в строке). Сколько сотрудников в организации: 256; 512; 1024; 2048? Решение:

Формирование растрового изображения
Графическая информация на экране монитора представляется в виде растрового изображения, которое формируется из определенного количества строк, которые в свою очередь содержат определенное количеств

Задача 3.
Для хранения области экрана монитора размером 256х128 точек выделено 32 Kb оперативной памяти. Количество цветов, максимально допустимое для раскраски каждой точки

Кодирование звуковой информации
Звук представляет собой звуковую волну с непрерывно меняющейся амплитудой и частотой. Чем больше амплитуда сигнала, тем он громче, чем больше частота сигнала, тем выше тон. Преобразование звуковой

История развития. Разнообразие систем счисления.
Когда людям приходилось считать на пальцах очень большие совокупности предметов, к счету привлекали больше участников. Один считал единицы, второй – десятки, а третий – сотни, т.е. десятки десятков

Понятие о системах счисления. Запись систематического числа
Способ записи чисел с помощью символов, имеющих определенные количественные значения называется системой счисления. В основе всякой системы счисления лежит следующи

Запись чисел в разных системах счисления
Алфавитом системы счисления называется совокупность различных символов, с помощью которых записываются числа. Например, в привычной для нас десятичной системе счисл

Перевод числа из одной системы счисления в другую
Перевод числа из десятичной системы в двоичную (8-,16-ричную) При переводе целого десятичного числа в систему с основанием q (q = 2,8,16) его необходимо последовате

Перевод числа из двоичной (8-,16-ричной) системы в десятичную
Для этого число в двоичной (8-,16-ричной) системе надо представить в виде суммы произведений каждой из цифр числа и степеней основания его системы счисления. Примеры: 1011,12

Сложение
1. При сложении многоразрядных чисел может произойти переполнение разряда и перенос в старший разряд. 2. Переполнение разряда наступает тогда, когда величина числа в нем становится равной

Вычитание
При вычитании из меньшего числа большего производится заем из старшего разряда. Примеры:   1110110112 325708 14С5916

Умножение
1. Умножение производят по обычному алгоритму, применяемому в десятичной системе счисления с последовательным умножением множимого на цифры множителя. 2. Полученные при умножении каждой ци

Деление
1. Деление производят по обычному алгоритму, применяемому в десятичной системе счисления. 2. Полученные при умножении цифры произведения представляются в соответствующей системе счисления.

Алгоритм. Основные свойства. Способы представления алгоритмов
Понятие алгоритма – одно из основных понятий математики и вычислитель­ной техники. Алгоритм – это точное предписание по выполнению некоторого процесса обработки данных, который через разумн

В информационной сфере, меры их предупреждения
Информация является объектом правового регулирования. Исторически традиционным объектом права собственности является материальный объект. Информация сама по себе не является материальным о

Информационные процессы. Общность информационных процессов в живой природе, технике, обществе
  Предметы, процессы, явления материального или нематериального свойства, рассматриваемые с точки зрения их информационных свойств, называются информационными объектами

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги