рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

Лекция 3. Формулы Шеннона и Хартли. Расчёт количества Информации. Кодирование символьных, графических и звуковых данных. Структуры данных

Лекция 3. Формулы Шеннона и Хартли. Расчёт количества Информации. Кодирование символьных, графических и звуковых данных. Структуры данных - раздел Полиграфия, Лекция 3. Формулы Шеннона И Хартли. Расчёт Количества...

Лекция 3. Формулы Шеннона и Хартли. Расчёт количества

Информации. Кодирование символьных, графических и звуковых данных. Структуры данных

Формула Шеннона

H = F(N, P) Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им…

Log22 / log102 = 1 / 0,301= 3,32

Основные свойства логарифмов:

log(ab) = b*log(a)

log(a*b) = log(a) + log(b)

log(a/b) = log(a) - log(b)

log(1/а) = 0 - log(а) = -log(а)

Отсюда знак минус в формуле Шеннона не означает, что энтропия – отрицательная величина. Объясняется это тем, что вероятность pi =< 1по определению, а логарифм числа меньшего единицы - величина отрицательная.

По свойству логарифма , и формулу Шеннона также можно записать и во втором варианте - без минуса перед знаком суммы.

При этом интерпретируется как частное количество информации, получаемое в случае реализации i-ого случайного варианта.

Итак, следует сделать вывод, что энтропию по формуле Шеннона можно считать средней характеристикой – математическим ожиданием распределения случайной величины {I0, I1,… IN-1}.

Пример расчета энтропии по формуле Шеннона: если известно, что мужчин и женщин в учреждении одинаково (два равновероятных варианта), тогда неопределенность, кого вы встретите первым, зайдя в учреждение, составит 1 бит. Проверка этого предположения проведена в таблице 1.

Таблица 1

  pi 1/pi Ii=log2(1/pi), бит pi*log2(1/pi), бит
Ж 1/2 log2(2)=1 1/2 * 1=1/2
М 1/2 log2(2)=1 1/2 * 1=1/2
å     H = 1 бит

Если же в учреждении состав работников распределяется, как: ¾ - женщины, ¼ - мужчины, тогда неопределенность относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в табл. 2.

Таблица 2

  pi 1/pi Ii=log2(1/pi), бит pi*log2(1/pi), бит
Ж 3/4 4/3 log2(4/3) = 0,42 3/4 * 0,42 = 0,31
М 1/4 4/1 log2(4) = 2 1/4 * 2 = 0,5
å     H = 0,81 бит

Как видно, энтропия во втором случае, а, следовательно, и количество информации, получаемой при полном снятии неопределённости, несколько меньше, чем в первом случае, так как вероятность встретить женщину преобладает, и ясно, что скорее вы встретите женщину, чем мужчину.

Формула Хартли

Подставив в формулу Шеннона вместо pi его (в равновероятном случае не зависящее от i) значение pi = 1/N, получим: , таким образом, формула Хартли выглядит очень просто:

I = log2(8) = 3 бита

Количество информации, получаемой в сообщении

Но в общем случае неопределенность может быть снята только частично, поэтому количество информации (I), получаемой из некоторого сообщения,… Для равновероятного случая, используя для расчета информации формулу Хартли, получим:

Кодирование символьных (текстовых и числовых) данных

Для латинской раскладки клавиатуры применяется единая кодировочная таблица во всех странах, поэтому текст, набранный с использованием латинской… Эта кодировочная носит название ASCII. Код ASCII - American Standard Code for Information Interchange - (стандартный код информационного обмена США…

Кодирование графических данных

Изображение, состоящее из отдельных точек, каждая из которых имеет свой цвет, называется растровым изображением. Минимальный элемент такого… Все объекты окружающего мира можно разделить на: излучающие (источники света:… В зависимости от того, является объект излучающим или отражающим свет, для описания его цвета в виде числового кода…

Кодирование звуковых данных

Звуковая информация в двоичном коде представляется с помощью различных кор­поративных стандартов (форматов). Формат WAV использует дискретизацию 22 кГц и 8-разрядную запись. Разрядность… В современных преобразователях принято использовать 20-битное кодирование амплитуды сигналов, что позволяет получать…

Структуры данных

- линейная (или список), в которой адрес элемента задается его уникальным номером, в частности, номером строки. Т. е., уже в линейной структуре… - табличная (матрица) — элемент определяется адресом ячейки - номером каждого… - иерархическая - адрес каждого элемента определяется путем доступа (маршрутом), ведущим от вершины структуры к…

МВ (мегабайт) =1024 KB = 220 В

GB (гигабайт) = 1024 MB = 230 В

ТВ (терабайт) = 1024 GB = 240 В

PВ (петабайт) = 1024 TB = 250 В

Файл - это последовательность произвольного числа байтов, обладающая собственным именем.

Полное имя файла - это собственное имя с путем доступа к файлу и расширением файла, определяющим его формат.

Оно является уникальным, т. е. на одном компьютере не может быть не может быть 2-х файлов с одинаковыми полными именами.

Регистр символов в полном имени значения не имеет.

В интернететакже не может быть 2-х файлов с одинаковымиполными именами, при этом полное имя входит уникальный адрес компьютера. Для интернета регистр символов в полном имени файла может иметь значение

ИТОГИ

2. Данные различаются типами в соответствии с физической природой сигналов (аналоговые и дискретные).

3. С целью унификации приемов и методов работы с данными в вычислительной технике применяется универсальная система кодирования данных - двоичный код, элементарной единицей которого является 1 бит.

4. Наименьшей единицей измерения данных является 8-ми разрядное двоичное число - 1 байт.

5. Основной единицей хранения данных является файл. Полное имя файла, включающее собственное имя файла, путь доступа к нему и расширение файла, является уникальным.

6. Для удобства работы с данными их структурируют (структуры: линейная, табличная и иерархическая различаются методом адресации). При сохранении данных в структуре возникают данные нового типа - адресные.

 

– Конец работы –

Используемые теги: Лекция, формулы, Шеннона, Хартли, расчёт, количества, информации, кодирование, символьных, графических, звуковых, данных, структуры, данных0.228

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Лекция 3. Формулы Шеннона и Хартли. Расчёт количества Информации. Кодирование символьных, графических и звуковых данных. Структуры данных

Что будем делать с полученным материалом:

Если этот материал оказался полезным для Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Еще рефераты, курсовые, дипломные работы на эту тему:

Информации. Кодирование символьных, графических и звуковых данных. Структуры данных
Информации Кодирование символьных графических и звуковых данных Структуры данных Формула... Log log... Основные свойства логарифмов...

Лекция. Работа в Microsoft Excel 2010 Лекция посвящена основам вычислений с использованием формул в Microsoft Excel 2010. 1. Даны определения основных понятий, рассмотрена структура формулы
Операторы сравнения... Операторы сравнения используются для сравнения двух значений Результатом... Текстовый оператор конкатенации...

Практическая работа №1-3 Представление информации в ЭВМ. Кодирование и подсчет количества информации. Приобретение навыков представления двоичной информации в ЭВМ
ЦЕЛЬ РАБОТЫ... Приобретение навыков представления двоичной информации в... ПОРЯДОК ВЫПОЛНЕНИЯ РАБОТЫ...

Лекции 1.ОСНОВНЫЕ ПОНЯТИЯ И КАТЕГОРИЯ ИНФОРМАТИКИ. 2 ЛЕКЦИИ 2. МАТЕМАТИЧЕСКИЕ ОСНОВЫ ИНФОРМАТИКИ. СИСТЕМЫ СЧИСЛЕНИЯ. 12 ЛЕКЦИЯ 3. АППАРАТНОЕ ОБЕСПЕЧЕНИЕ ЭВМ. 20 ЛЕКЦИЯ 4. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ КОМПЬЮТЕРОВ.. 49 Широко распространён также англоязычный вар
gl ОГЛАВЛЕНИЕ... Лекции ОСНОВНЫЕ ПОНЯТИЯ И КАТЕГОРИЯ ИНФОРМАТИКИ... ЛЕКЦИИ МАТЕМАТИЧЕСКИЕ ОСНОВЫ ИНФОРМАТИКИ СИСТЕМЫ СЧИСЛЕНИЯ...

ЛЕКЦИЯ № 1. Факторы выживания в природной среде ЛЕКЦИЯ № 2. Обеспечение водой ЛЕКЦИЯ № 3. Обеспечение питанием ЛЕКЦИИ по ОБЖ
КЛАСС Содержание Стр I четверть ЛЕКЦИЯ Факторы выживания в природной среде ЛЕКЦИЯ... ЛЕКЦИЯ Факторы выживания в природной... ЛЕКЦИЯ Обеспечение питанием...

Учебная программа курса. 4. Лекция 1. История психологии как наука. 5. Лекция 2. Античная философия и психология. 6. Лекция 3. Развитие психологии в Средневековый период. 19. Лекция 16. Тревога и защита
Введение... Учебная программа курса... Рабочая программа курса Лекция История психологии как наука...

Философия лекции. Лекция №110.02.05. Предмет, структура и функции философии. Вопрос 1: Мировоззрение, его структура и исторические типы. Особенности мифологии
Лектор Котельников Михаил Евгеньевич... Лекция Предмет структура и функции философии...

Тема: Основные понятия и методы теории информации и кодирования. Сигналы, данные, информация
Задание... Количество бит одновременно обрабатываемых процессором называется... Ответ...

Лекции по курсу Информатика Лекция 1. Основные понятия и методы теории информатики и кодирования. Информатика как научная дисциплина. Понятие информации и информационных процессов
Лекция Основные понятия и методы теории информатики и кодирования... Информатика как научная дисциплина... Понятие информации и информационных процессов...

Лекция первая. ИСТОРИЯ СОЦИОЛОГИИ КАК ОБЛАСТЬ ЗНАНИЯ Лекция вторая. ИЗ КАКИХ ИДЕЙ РОДИЛАСЬ СОЦИОЛОГИЯ: ИНТЕЛЛЕКТУАЛЬНЫЕ ИСТОКИ НОВОЙ НАУКИ Лекция третья. СОЦИОЛОГИЯ ОГЮСТА КОНТА ЛЕКЦИИ
Оглавление... ОТ АВТОРА... Лекция первая ИСТОРИЯ СОЦИОЛОГИИ КАК ОБЛАСТЬ ЗНАНИЯ Лекция вторая ИЗ КАКИХ ИДЕЙ РОДИЛАСЬ СОЦИОЛОГИЯ ИНТЕЛЛЕКТУАЛЬНЫЕ ИСТОКИ НОВОЙ НАУКИ...

0.083
Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • По категориям
  • По работам