Реферат Курсовая Конспект
Измерение количества информации по К.Шеннону. - раздел Информатика, ЛЕКЦИЯ № 1. ТЕМА: ИНФОРМАЦИЯ И ИНФОРМАТИКА Концепцию Выбора Хартли Развил И Обобщил Из Вероятностных Позиций Американски...
|
Концепцию выбора Хартли развил и обобщил из вероятностных позиций американский ученый Клод Шеннон. Он создал в 1948-1949 гг. основы статистической теории информации, основным понятием которой является энтропия. Энтропия в теории информации – мера неопределенности, которая существует при принятии сообщений. Название свое мера неопределенности получила благодаря формальной схожести с термодинамической энтропией, но суть этих понятий совсем разная. Согласно с исходными «положениями» статистической теории информации, любое сообщение, которое необходимо передать, является результатом случайного выбора из совокупности возможных сообщений данного типа. Для получателя сообщения в связи со случайностью выбора существует неопределенность, которая снимается только после получения сообщения. Мера неопределенности для получателя сообщения зависит от того, насколько большим есть выбор из возможного набора сообщений. Информация по Шеннону – это сообщение, которое уменьшает неопределенность системы (явления), которая существовала до получения сообщения. Меру этой неопределенности Шеннон и назвал энтропией.
Содержание энтропии состоит в том, что увеличение энтропии означает уменьшение упорядоченности системы. Беспорядочной система кажется тогда, когда про нее очень мало известно. Энтропия такой системы высока. С получением новых знаний о ней, с получением определенной информации, энтропия системы уменьшается. Таким образом, получение информации способствует уменьшению энтропии, причем это уменьшение пропорционально информации, которая поступает. Следовательно, за меру информации можно взять определенное количество энтропии, которая соответствует этой информации.
По Шеннону количество информации в сообщении равняется
(1.8)
где Н0 – энтропия до получения сообщения, а Н1 – энтропия после получения сообщения. Следует отметить, что Шеннон практически не делает разницы между энтропией и количеством информации. Основоположник кибернетики американский ученый Н.Винер писал, что количество информации, по сути, - некоторая неотъемлемая энтропия.
– Конец работы –
Эта тема принадлежит разделу:
ТЕМА ИНФОРМАЦИЯ И ИНФОРМАТИКА... ИНФОРМАТИКА КАК ФУНДОМЕНТАЛЬНАЯ... РАЗНЫЕ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ ОСОБЕННОСТИ ИНФОРМАЦИИ...
Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: Измерение количества информации по К.Шеннону.
Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:
Твитнуть |
Новости и инфо для студентов