Эргодические источники.

Все дискретные источники без памяти относятся к классу эргодических, т.е. обладают свойством эргодичности.

Эргодичность - это постоянство поведения случайного процесса во времени.

Примером эргодического процесса является бросание монетки или игрального кубика.

Свойство эргодичности процесса позволяет применять операцию усреднения для определения энтропии как среднего количества информации источника.

Другими словами, источник будет называться эргодическим, если его вероятностные параметры можно оценить по одной достаточно длинной реализации, которую он вырабатывает. В этом случае реализации, по которым можно оценить закон распределения, являются типичными. Поэтому эргодическим источником можно назвать источник, который вырабатывает типичные последовательности.

Однако свойством эргодичности могут обладать и источники с памятью. Например, эргодические источники являются наиболее близкими, с вероятностной точки зрения, моделям осмысленных сообщений (литературных текстов и прочее).

А, следовательно, для эргодических источников справедливы все понятия рассмотренной энтропии дискретных источников без памяти, которые являются эргодическими.

Кроме того, понятия энтропии стационарного дискретного источника, , а также совместной и условной энтропий и их свойств, имеют место, если стационарный источник является эргодическим.