Будем рассматривать Марковские процессы с дискретным временем, дискретным пространством состояний и однородные.
Введем следующие обозначения: пусть пространство состояний состоит из чисел
| Pij |
| 0 1 2 3 i j n-1 n |
Чтобы знать распределение вероятностей в момент времени , достаточно знать матрицу вероятностей перехода за один шаг.
– вероятности перехода из состояния в . Зависит от .
В однородной цепи Маркова в зависимость от исчезает.
P – матрица вероятностей перехода.
N×N
Стохастическая матрица характеризуется тем, что сумма вероятностей в каждой строке равна 1.
Пример. Задача мастера игрушек.
Мастер игрушек открывает новое производство. При этом он может находиться в одном из двух состояний (N=2).
Состояние 1: если игрушка, которую мастер делает сейчас, получит большой спрос.
Состояние 2: игрушка не найдет спроса.
Каждую неделю мастер выпускает по одной новой игрушке.
| 0 1 2 |
Если мастер сейчас находится в состоянии 1, то в 50% случаев к концу недели он в нем и останется. Соответственно, в 50% случаев он может перейти в состояние 2.
| 1/2 |
| 1/2 |
Находясь в состоянии 2, мастер может к состоянию 1 вернуться с вероятностью 2/5 и остаться в состоянии 2 с вероятностью 3/5.
| 2/5 |
| 3/5 |
Запишем матрицу вероятностей перехода.
Эта матрица стохастическая. Найдем, с какой вероятностью мы будем находиться в каждом из состояний через недель.
– вероятность того, что мы будем находиться в состоянии i через шагов.
– уравнение Чепмена-Колмогорова.
– вектор
1) Если в нулевой момент времени игрушка пользовалась спросом
| 4/9 5/9 |
| n | |||||
| 0,5 | 0,45 | 0,445 | 0,4445 | ||
| 0,5 | 0,55 | 0,555 | 0,5555 |
2) Если в нулевой момент времени игрушка спросом не пользовалась
| 4/9 5/9 |
| n | |||||
| 0,4 | 0,44 | 0,444 | 0,4444 | ||
| 0,6 | 0,56 | 0,556 | 0,5556 |
С ростом вероятности не зависят от начальных состояний.
Определение. Будем называть эргодическим марковский процесс, для которого предельное распределение вероятностей не зависит от начальных состояний.
– вероятность оказаться в i-м состоянии после достаточно большого количества шагов.
– система для нахождения предельных вероятностей вектора .