Ентропія і інформація

Нехай – випадковий вектор.

Означення 1. Інформацією, яка міститься в координаті Y по відношенню до координати X, називається число И(X,Y), яке визначається формулою

Основні властивості інформації такі:

1) И(X,Y)=И(Y,X); 2) И(X,Y)³0; 3) И(X,Y)=0 Û X та Y незалежні; 4) И(X,Y)£И(X,X). Знак рівності можливий лише тоді, коли випадкові величини X та Y пов’язані функціональною залежністю.

Означення 2. Найбільша інформація И(X,X) відносно координати X називається ентропією H(X) випадкової величини X

Ентропія H(X) показує, скільки потрібно в середньому двійкових знаків для запису можливих значень випадкової величини X.

Ентропія є мірою невизначеності значення випадкової величини до проведення спостереження. Ентропія дорівнює нулю тоді і тільки тоді, коли ймовірність одного із значень дорівнює одиниці і, таким чином, невизначеність в інформації про випадкову величину відсутня. За одиницю вимірювання ступені невизначеності приймають невизначеність для випадкової величини, яка приймає лише два рівноймовірних значення. Ця одиниця вимірювання називається бітом (скорочення англійських слів binary digit=bit). Ентропія дискретної випадкової величини є максимальною, якщо всі її значення рівноймовірні: p₁= p₂=...= p_n=1/n. А саме,

.

Можна показати, що інформація і ентропія пов’язані співвідношенням

И(X,Y)=H(X)+H(Y)–H(X,Y),

де величина H(X,Y), яка називається ентропією вектора , вираховується за формулою

.

Y X	-1
-1	4/15	1/15	4/15
	1/15	2/15	1/15
		2/15

Приклад 1. Знайти: 1) інформацію И(X,Y), яка міститься у координаті Y по відношенню до координати X; 2) ентропії H(X), H(Y), H(X,Y).

Розв’язок. Знайдемо суми по рядках і стовпчиках таблиці:

P{X= –1}=9/15, P{X=0}=4/15, P{X=1}=2/15,

P{Y= –1}=P{Y=0}=P{Y=1}=1/3.

1)

2) ;

;

.

Отже, И(X,Y)=1.34+1.58-2.57=0.35 біт, що співпадає з результатом, одержаним у пункті 1).