| Вероятностные характеристики источника | Информация | Энтропия |
| Вероятность отдельного символа (события) — априорная вероятность p(ai)=pi p(bj)=qj Источник задается вероятностной схемой | Информация отдельного символа (события) I(ai)=-log2pi[бит] I(bj)=-log2qj[бит] | Энтропия ансамбля событий H(A)=-∑pilog2pi [бит] H(B)=-∑qjlog2qj [бит] |
| Совместная вероятность двух символов (пары событий) p(ai, bj)=p(ij) Связанные источники задаются объединенной вероятностной схемой | Информация пары символов (событий) I(ai, bj)=-log2p(ij) [бит] | Совместная энтропия связанных источников (средняя совместная информация по объединенной вероятностной схеме) H(AB)=EI(ai,bj)=-∑∑p(ij)log2p(ij) [бит] |
| Условная вероятность символов (событий) — апостериорная вероятность p(ai/bj)=pji=p(ij)/qj p(bj/ai)=pij=p(ij)/pi | Условная информация пары символов (событий) I(ai/bj)=-log2pji [бит] I(bj/ai)=-log2pij [бит] | Условная энтропия связанных источников (средняя условная информация на объединенной вероятностной схеме) H(A/B)=EI(ai/bj)=-∑∑p(ij)log2pji [бит] H(B/A)=EI(bj/ai)=-∑∑p(ij)log2pij [бит] |
| Взаимная информация пары символов: I(ai; bj)=log2(апостериорная вероятность/априорная вероятность)=log2(p(ai/bj)/pi)=log2(pji/pi)= log2(p(bj/ai)/qj)=log2(pij/qj) [бит] | ||
| Средняя взаимная информация объединенной вероятностной схемы: I(A;B)=EI(ai;bj)=∑∑p(ij)log2((pji)/pi)=∑∑p(ij)log2((pij)/qj) [бит] | ||
| Информационные соотношения в связанных источниках: H(AB)=H(A)+H(B/A)=H(B)+H(A/B); H(AB)≤H(A)+H(B); H(A/B)≤H(A); H(B/A)≤H(B) I(A;B)=H(A)-H(A/B)=H(B)-H(B/A) |
Замечание: Взаимная информация не имеет аналога в теории вероятности. Это совершенно новое понятие теории информации, играющее центральную роль в информационной технике. Взаимная информация связывает понятие канала с возможностью передачи информации по нему, т.е. с его пропускной способностью.