Финальные вероятности состояний системы

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей при . В некоторых случаях существуют финальные (предельные) вероятности состояний:

 

, .,

 

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояние в состояние, но вероятности состояний уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности

Таким образом, для системы с состояниями получается система линейных однородных алгебраических уравнений с неизвестными , которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие , пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.

Рассмотрим следующий пример. Имеется размеченный граф состояний системы (рис. 2). Необходимо составить систему дифференциальных уравнений Колмогорова и записать начальные условия для решения этой системы, если известно, что в начальный момент система находилась в состоянии .

 

Рис. 2. Граф состояний системы из примера.

 

Решение. Согласно приведенному выше мнемоническому правилу, система дифференциальных уравнений Колмогорова имеет вид:

 

Начальные условия при : .

При функции стремятся к предельным (финальным) вероятностям состояний системы. Поскольку финальные вероятности не зависят от времени, в системе дифференциальных уравнений Колмогорова все левые части принимаем равными нулю. При этом система дифференциальных уравнений превратится в систему линейных алгебраических уравнений вида:

 

Решая ее с учетом условия , получим все предельные вероятности. Эти вероятности представляют собой среднее относительное время пребывания системы в каждом из состояний.

Финальные состояния марковской системы с непрерывным временем существуют при следующих условиях:

· плотности вероятности всех переходов не должны зависеть от времени ;

· из любого состояния системы возможен переход в любое другое состояние за конечное число шагов.

 

Например, для системы, изображенной на рис. 3, финальные вероятности не существуют

 

Рис. 3. Пример системы, для которой не существует финальных вероятностей.

 

В заключение рассмотрим одну из наиболее простых и часто встречающихся на практике разновидностей дискретных марковских цепей с непрерывным временем – так называемую схему гибели и размножения.