ЛЕКЦИЯ № 1. ТЕМА: ИНФОРМАЦИЯ И ИНФОРМАТИКА

ЛЕКЦИЯ № 1.

ТЕМА: «ИНФОРМАЦИЯ И ИНФОРМАТИКА»

ИНФОРМАТИКА КАК ФУНДОМЕНТАЛЬНАЯ НАУКА.

Затем в процессе становления индустриального общества на первый план вышла проблема овладения энергией – сначала тепловой, затем электрической,… С другой стороны, на протяжении тысячелетий человечество стремилось постичь… В то же время, людям была свойственна потребность выразить и запомнить информацию об окружающем их мире – так…

Четвертая революция (70-е годы XX в.) связана с изобретением персонального компьютера.

Понятие «информация» имеет такую же долгую историю, как и сама жизнь на Земле. Но только с появлением человека возникла потребность в осознании… В зависимости от области знания существуют различные подходы к определению… Вся жизнь человека постоянно связана с получением, накоплением и обработкой информации. Информация является предметом…

РАЗНЫЕ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ. ОСОБЕННОСТИ ИНФОРМАЦИИ.

ИНФОРМАЦИЯ И СООБЩЕНИЯ. НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ.

ПОНЯТИЕ О ДИСКРЕТИЗАЦИИ.

Таким образом, в разных научных дисциплинах и в разных отраслях техники существуют разные понятия информации. Объединяет все эти подходы четыре… Характерные черты информации: 1. Информация приносит знания об окружающем мире, которых не было в рассматриваемой точке до получения информации.

СЕМАНТИЧЕСКИЙ, СИНТАКСИЧНЫЙ И ПРАГМАТИЧНЫЙ.

  Семантическая (содержательная) информация – это информация, основана на…

ИЗМЕРЕНИЕ ИНФОРМАЦИИ.

  Алфавитный способ измерения информации. Единицы измерения.

Пример 1.

Какой является мощность алфавита, с помощью которого записано сообщение, которое содержит 5120 символов, если его информационный объем составляет 2,5Кб?

1. Переведем информационный объем сообщения в биты:

.

2. Определим количество битов, которые приходятся на один символ:

.

3. Определяем мощность алфавита по теореме 1:

Пример 2.

Компьютерный алфавит состоит из 256 символов, которые кодируются равномерным двоичным кодом (каждое кодированное слово равномерного кода имеет одну и ту же длину ). Какая длина кодированного слова?

Согласно теореме 1 . Таким образом, один символ кодируется в компьютерном алфавите одним байтом.

Пример 3.

Сообщение «Розуменко является студентом ПГАСА» содержит, включая и пробелы, 34 символа. Следовательно, его информационный объем в компьютерном алфавите составляет 34 байта.

Пример 4.

Книга содержит 256 страниц. На каждой странице напечатано 64х48 символов. Можно ли записать эту книгу на гибкий магнитный диск объемом 1,44 Мб?

1. Книга содержит 256х64х48=786432 символа. Таким образом, ее информационный объем в компьютерном алфавите составляет 786432 байта.

2. 786432 байта = 786432 : (1024)² = 0,75Мб.

Следовательно, книгу на данный диск записать можно.

Следует отметить, что алфавитный способ измерения информации используется для оценивания информационного объема внутренней и внешней памяти компьютера.

В разных системах передачи информации используется более точный способ измерения информации, разработанный в теории информации английским математиком Робертом Хартли и американским ученым Клодом Шенноном.

 

Вероятность и информация.

В практической жизни постоянно приходится иметь дело со случайными событиями, наступление которых предвидеть наперед трудно.

Вероятность – это числовая характеристика степени наступления случайного события при определенных условиях, отношение числа шансов, которые способствуют наступлению события, к общему числу шансов, которые способствуют или не способствуют наступлению события.

Если число шансов, которые способствуют наступлению события, , а число всех возможных шансов, которые способствуют и не способствуют наступлению события, , то вероятность

(1.2)

Например, если на вечере присутствовали 37 студентов строительного факультета, 43 механика и 20 архитекторов, то вероятность встретить первого студента строительного факультета равняется , механика – , архитектора –

Имеет место теорема сложения вероятностей:

вероятность суммы двух независимых событий равняется сумме вероятностей этих событий, т.е. .

Теорема имеет два важных следствия.

Следствие 1. Если рассматриваемых событий создают полную группу несовместимых событий, то сумма их вероятностей равняется 1, т.е. .

Следствие 2.Если рассматривать два зависимых события, то вероятность их суммы равняется суме вероятностей этих событий без вероятности одновременного их наступления, т.е.

.

Таким образом, в сумме все вероятности дают 1. Значения вероятности изменяется в пределах от 0 до 1: . Вероятность достоверного события (события, которое обязательно совершится) равняется 1; соответственно, вероятность события, которое никогда не наступит, равняется 0. Например, вероятность того, что зима наступит после осени, равняется 1, а вероятность события, что в феврале 30 дней, – 0.

Какая связь существует между вероятностью и информацией? Информация и вероятность соединены между собой обратной связью. Чем меньше вероятность некоторого события, тем больше информации содержится в сообщении, что оно состоялось. Например, сообщение, что после 23 августа наступит 24 августа (День независимости Украины), не содержит никакой информации, поскольку в этом сообщении вероятность равняется 1 (это достоверное событие); но если сообщают, что этот день четверг, то вероятность , поскольку неделя имеет 7 дней, и это сообщение уже содержит определенное количество информации. Реализация менее вероятного события, т.е. большая возможность выбора, дает больше информации. Таким образом, чем больше неопределенность до получения сообщения о событии, меньше вероятность его наступления, тем больше количество информации при получении сообщения.

Проблемы измерения информации изучаются специальным разделом информатики (теория информации) – информметрии. Есть много подходов для решения этой проблемы. Одним из наиболее распространенных и практично приспособленных является вероятностный подход, идеи которого заложил английский ученый Роберт Хартли (1927-1928 гг.), а обобщил и развил американский ученый Клод Шеннон (1948-1949 гг.).

 

Измерение количества информации по Р.Хартли.

Пусть сообщение состоит из элементов, которые последовательно и независимо выбирают из равновероятных элементов. Число возможных сообщений в этом… (1.3) Хартли установил, что в роли меры количества информации, которая имела бы практическую ценность, лучше выбрать не…

Пример 5.

Сколько битов информации несет сообщение о том, что студент живет в 90-квартирном доме?

.

Поскольку всех состояний системы - и все они равновероятны, то вероятность случайного появления какого-нибудь из них , отсюда . Подставив это в формулу (1.6), получим:

. (1.7)

Пример 6.

Сколько битов информации несет сообщение о том, что вероятность появления любого из состояний системы ?

 

Измерение количества информации по К.Шеннону.

Содержание энтропии состоит в том, что увеличение энтропии означает уменьшение упорядоченности системы. Беспорядочной система кажется тогда, когда… По Шеннону количество информации в сообщении равняется (1.8)

Пример 7.

Рассмотрим систему, которая содержит 128 клавиш – символов букв, цифр, математических и служебных знаков. Максимальное количество информации, которую создает эта система, во время нажатия одной клавиши, равняется максимальной энтропии при равномерной частоте нажатия любой клавиши.

.

Допустим, что поступило сообщение: «нажата клавиша управления курсором». Таких клавиш всего 4 и вероятность нажатия каждой из этих клавиш одинакова. После сообщения энтропия системы Тогда, согласно формулы Шеннона (1.8)

Пример 8.

На факультете 875 студентов, среди них 247 студента-разрядника. Какое количество информации принесло сообщение «кубок по волейболу завоевала команда из 8-ми студентов-разрядников»?

Энтропия системы до получения сообщения (по теореме 1 в алфавите мощностью 875 можно построить ровно 875⁸ слов длиною 8). Энтропия системы после получения сообщения . Следовательно, . Данное сообщение несет 14,6 бита информации.

 

Формула Шеннона (мера Шеннона).

(1.9) где - число состояний системы, - вероятность, или относительная частота… .

Пример 9.

Система состоит из 40 красных, 25 зеленых, 20 желтых, 10 голубых и 5 фиолетовых лампочек. Какое количество информации дает визуальное сообщение о вспышке одной лампочки?

1. Определим вероятность вспышки лампочки каждого цвета:

P_к=40/100=0,40; P_з=25/100=0,25; P_ж=20/100=0,20; P_г=10/100=0,10; P_ф=5/100=0,05.

2. Вычислим количество информации по формуле Шеннона (1.8)

I=-(0.40log₂0.40+0.25log₂0.25+0.20log₂0.20+0.10log₂0.10+0.05log₂0.05)=

=-(0.40ln0.40+0.25ln0.25+0.20ln0.20+0.10ln0.10+0.05ln0.05)/ln2=

=2.0411.

Таким образом, данное визуальное сообщение несет 2,04 бита информации.

Измерение информации по Шеннону имеет широкое применение в технических проблемах передачи информации линиями связи, в задачах сохранения и обработки информации с помощью компьютеров.

 

 

 

КОНТРОЛЬНЫЕ ВОПРОСЫ

1. Что такое информатика?

2. Каков объект и предмет исследования информатики?

3. Что общего и в чем различие информатики и кибернетики?

4. Какое место занимает информатика в системе наук?

5. Какова структура современной информатики? Из каких частей и разделов она состоит?

6. Дайте определение понятия «информация».

7. Какие социально-значимые свойства информации можно выделить?

8. В какой форме можно передать информацию от человека к человеку, от чего зависит выбор этой формы?

9. Какие средства для передачи информации возможны?

10. Что такое количество информации?

11. Какой принцип положен в основу измерения информации?

12. Как определяется количество информации в знаковых сообщениях?

13. Как определяется понятие энтропии? Как она связана с информацией?

14. Что принято за единицу измерения количества информации?

15. Чему равен 1 байт информации?

16. Как зависит количество информации от количества возможных событий?

17. В чем состоит функциональная концепция информации?

18. В чем состоит атрибутивная концепция информации?

19. Почему информация является философской категорией?

20. Дайте определение меры неопределенности. Проиллюстрируйте это понятие.

21. Что такое алфавит?

22. Как вы понимаете термин «дискретная информация»?

23. Какие вы знаете способы измерения информации?

24. Почему 1 Кбайт = 1024 байта, а не 1000?

25. Перечислите информационные революции в истории развития цивилизации.

26. Информатика, в основном изучает:

a) методы обработки информации;

b) компьютер;

c) графический редактор;

d) законы накопления информации;

e) текстовую информацию.

27. Что является наиболее общим между папирусом, берестяной грамотой, книгой и дискетой?

a) материал, из которого они изготовлены;

b) способ производства;

c) хранение информации;

d) стоимость;

e) форма.

28. Укажите правильный порядок возрастания единиц измерения количества информации:

a) байт, килобайт, мегабайт, гигабайт;

b) бит, байт, гигабайт, килобайт;

c) килобайт, гигабайт, мегабайт, байт;

d) байт, мегабайт, килобайт, гигабайт.

29. Понятие информации в информатике означает:

a) сведения о чем-либо;

b) уменьшение неопределенности;

c) знания;

d) компьютерную программу;

e) компьютерные сообщения.