Понятие «энтропия» введено в 1865г. Р.Клауэиусом. Статистическая физика рассматривает энтропию как меру вероятности пребывания системы в данном состоянии. Этим понятием широко пользуются в физике, химии, биологии и теории информации.
Энтропия (неопределенность) события, явления, процесса в полной мере существует только до получения сообщения или в общем случае – до проведения опыта. После получения сообщения (выполнения опыта) она исчезает или уменьшается, так как уже имеется определенная информация.
Н = Н' – Н".DЕсли принять, что до получения информации существовала энтропия Н', а после получения информации она уменьшилась до величины Н", то количество полученной информации будет:
Н = Н', т.е. количество информации и в этом случае численно равно энтропии, имевшей местоDЕсли в результате получения информации полностью устранена неопределенность, то до получении информации. Чем в большей степени устранена неопределенность, тем больше полученная информация. Количественное равенство информации и первоначальной энтропии, конечно, не означает тождественности этих понятий. Более того, они противоположны друг другу, ведь информация равна ycтраненной энтропии.
Понятие энтропии применимо не только к сообщениям, но и к их источникам. Так, если источником сообщений является книга, на каждой странице которой повторяются одни и те же, уже известные, истины, то читатель получит мало информации; такая книга будет обладать низкой энтропией. Напротив, когда каждая глава, каждый параграф содержит что-то новое, книга может дать много информации читателю и, следовательно, имеет большую энтропию.
^