рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Теория информации Шеннона.

Теория информации Шеннона. - раздел Философия, Методологическая классификация автоматизированных информационных систем, направлений и методологий их исследования Точнее Количества Информации, Исходит Из Элементарного Альтернативного Выб...

Точнее количества информации, исходит из элементарного альтернативного выбора между двумя знаками (битами) 0 и 1. Такой выбор соответствует приёму сообщения, состоящего из одного двоичного знака. Количество информации, содержащееся в таком сообщении, принимается за единицу и называется битом.

Если выбор из множества п знаков, где то это можно сделать посредством конечного числа следующих друг за другом альтернативных выборов: данное множество из п знаков разбивается на два (непустых) подмножества, каждое из которых точно так же разбивается дальше, пока мы не получим одноэлементные подмножества.

Часто встречающиеся знаки содержат малое, а редкие знаки — большое количество информации. Надо разбивать исходное множество знаков на равновероятные подмножества, (суммы вероятностей для знаков одного и для знаков другого подмножества были близки друг к другу). Пусть, заданные вероятности позволяют получить точное равенство. Тогда если iзнак выделяется после ki альтернативных выборов, то вероятность его появления рi = . Для выбора знака, который встречается с вероятностью рi требуется ki = (1/рi) альтернативных выборов. Количество информации, содержащейся в знаке, задаваемое частотой появления такого знака (бит).

Тогда среднее количество информации, приходящейся на один произвольный знак, равно (бит).

; Н - количество информации на знак (энтропия источника сообщения).

 

Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:

 

 

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

 

– Конец работы –

Эта тема принадлежит разделу:

Методологическая классификация автоматизированных информационных систем, направлений и методологий их исследования

Рыночные отношения и конкурентная борьба производителей диктуют свои правила организации производства в том числе постоянно расширяющуюся сферу... Отечественный и зарубежный опыт показывает что большой потенциал повышения... CASE технологии Computer Aided Software Engineering которые представляют собой методологию проектирования язык...

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Теория информации Шеннона.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Системная методология; система, заданная на объекте.
Методология разработки программных систем - учение о структуре, логической организации, методах, средствах моделирования, поиска и принятия решений о принципе действия и составе еще не сущес

Блок-схемы
Схемы передач управления. Для изображения передач управления в программном модуле обычно используются структурные схемы программ. На рисунке 3.8 показаны стандартные и нес

Схемы Насси-Шнейдермана
Схемы Насси-Шнейдермана. Способ изображения модуля с помощью схем Насси-Шнейдермана представляет собой попытку использования требований структурного программирования (см. ниже) в с

Таблицы решений
Таблицы решений. Метод проектирования с помощью таблиц решений заключается в перечислении вариантов управляющих решений, принимаемых на основе анализа данных. Поскольку в этих табл

Элементы аналитической теории алгоритмов.
Алгоритм — точный набор инструкций, описывающих порядок действий, ведущих от исходных данных к искомому результату для решения конкретной задачи за конечное время. Свойств

Инженерная психология
Недооценка человеческого фактора нередко приводит, к возникновению разного рода психологических барьеров, мешающих освоению новой технологии и новых организационных структур, что в конечном итоге о

Рекомендации при построении информационных моделей.
Выделим ряд общих требований, рекомендуемых при построении информационной модели: · Информационная модель должна представлять лишь существенные свойства, отношения, связи, взаимодействия у

Назначение, особенности, области применения методов интеллектуального анализа данных.
Интеллектуальный анализ данных (англ. Data Mining) — это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для

Методы оценки качества визуального интерфейса.
Рассмотрим количественные методы оценки проектирования интерфейса [75,79,96]. Важной прерогативой этих методов перед эмпирическими методами является то, что они позволяют раскрыть и формально зафик

Расчеты по модели GOMS
Вычисления времени, необходимого на выполнение того или иного действия (например, «переместить руку с графического устройства ввода на клавиатуру и набрать букву»), с помощью модели GOMS начинаются

Задачи и методы теории распознавания образов.
Теория распознавания образов — раздел кибернетики, развивающий теоретические основы и методы классификации и идентификации предметов, явлений, процессов, сигналов, ситуаций и т. п. объектов, которы

Методы распознавания образов
Для оптического распознавания образов можно применить метод перебора вида объекта под различными углами, масштабами, смещениями и т. д. Для букв нужно перебирать шрифт, свойства шрифта и т. д.

Каскадная, итерационная и спиральная гносеологические модели процесса проектирования ИС.
1. Каскадный (Пк) - предполагает переход на следующий этап после полного окончания работ по предыдущему этапу. Идея – непогрешимость выработанных методи

ISO (International Standart Organization), система сертификации качества.
ISO 9000 — серия международных стандартов, описывающих требования к системе менеджмента качества организаций и предприятий. Важно понимать, что соответствие стандар

Принципы моделирования
Использование языка UML основывается на следующих общих принципах моделирования: абстрагирование - в модель следует включать только те элементы проектируемой системы, которые имеют

Государственные стандарты по разработке автоматизированных систем.
1. ОБЩИЕ ПОЛОЖЕНИЯ   1.1. Создание (развитие) АС представляет собой совокупность упорядоченных во времени, взаимно связанных, объединенных в стадии и этапы работ, выполнение

SADT-технология структурного анализа и проектирования
SADT (Structured Analysis and Design Technique) методология анализа и проектирования систем. С точки зрения SADT модель может основываться либо на функциях системы, либо на ее предметах (п

Генетические алгоритмы.
Генетический алгоритм (англ. genetic algorithm) — это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации и

Прочие стандарты
Схемы алгоритмов, программ, данных и систем. Условные обозначения и правила выполнения.   27. Надежность и качество функционирования АИС: Определение «наде

Стратегия проектирования, ориентированная на структуру данных.
внимание концентрируется прежде всего на структуре данных, в соответствии с которой строится структура управляющей логики. Такой подход может быть назван ориентированным на структуру данных или на

Научное мировоззрение, инженерный подход.
Понятии «научно» обоснованная технология, т.е. на тех видах знания, которые можно формально описать и использовать как научно обоснованную организацию производственного процесса, в основе которой л

Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • Популярное
  • Облако тегов
  • Здесь
  • Временно
  • Пусто
Теги