Энтропия и информация

Энтропия и информация.

Одна из теорем Шеннона свидетельствует об уменьшении ин¬формационной энтропии множества АВ, образованного в резуль¬тате взаимодействий двух исходных упорядоченных множеств Либ. H (A,B) ≤ H(A) + H(B) (3.1) В этом соотношении знак равенства относится к случаю отсут¬ствия взаимодействий между множествами А и В . В случае взаимодействий происходит уменьшение энтропии на величину:  H = Н(А) + Н(В) - Н(А,В) (3.2) Согласно негэнтропийному принципу информации (3.4) получаем :  IS =Н(А) +Н(В) - Н(А,В) (3.3) Распространяя рассмотренные Шенноном взаимодействия абстрактных математических множеств на случаи взаимодействий реальных физических систем, можно сделать следующие