Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей при . В некоторых случаях существуют финальные (предельные) вероятности состояний:
, .,
не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояние в состояние, но вероятности состояний уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.
Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности
Таким образом, для системы с состояниями получается система линейных однородных алгебраических уравнений с неизвестными , которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие , пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.
Рассмотрим следующий пример. Имеется размеченный граф состояний системы (рис. 2). Необходимо составить систему дифференциальных уравнений Колмогорова и записать начальные условия для решения этой системы, если известно, что в начальный момент система находилась в состоянии .
Рис. 2. Граф состояний системы из примера.
Решение. Согласно приведенному выше мнемоническому правилу, система дифференциальных уравнений Колмогорова имеет вид:
Начальные условия при : .
При функции стремятся к предельным (финальным) вероятностям состояний системы. Поскольку финальные вероятности не зависят от времени, в системе дифференциальных уравнений Колмогорова все левые части принимаем равными нулю. При этом система дифференциальных уравнений превратится в систему линейных алгебраических уравнений вида:
Решая ее с учетом условия , получим все предельные вероятности. Эти вероятности представляют собой среднее относительное время пребывания системы в каждом из состояний.
Финальные состояния марковской системы с непрерывным временем существуют при следующих условиях:
· плотности вероятности всех переходов не должны зависеть от времени ;
· из любого состояния системы возможен переход в любое другое состояние за конечное число шагов.
Например, для системы, изображенной на рис. 3, финальные вероятности не существуют
Рис. 3. Пример системы, для которой не существует финальных вероятностей.
В заключение рассмотрим одну из наиболее простых и часто встречающихся на практике разновидностей дискретных марковских цепей с непрерывным временем – так называемую схему гибели и размножения.