– доход, который приносит переход из состояния i в состояние j. Можем ввести матрицу доходов R
Чему равен ожидаемый доход за шагов, если мы находимся в состоянии i?
– ожидаемый доход за шагов, если мы находимся в состоянии i. Если рассматривать , то
– вектор ожидаемых доходов.
Получим рекуррентное соотношение для доходов.
Из состояния i в состояние j можем перейти с вероятностью .
(*) – рекуррентное соотношение для доходов.
Величина называется ожидаемым доходом за один шаг при выходе из состояния i.
Рекуррентное соотношение для доходов в векторной форме.
Пример 1. (продолжение). Мастер игрушек. №1(б)
| n | |||||
| 7,5 | 8,55 | 10,5555 | |||
| -3 | -2,4 | -1,44 | 0,5556 |
| n | ||||||
| 7,5 | 8,55 | 9,555 | 10,5555 | |||
| -3 | -2,4 | -1,44 | -0,444 | 0,5556 | ||
| – | 1,5 | 1,05 | 1,005 | 1,0005 | ||
| – | -3 | 0,6 | 0,96 | 0,996 | 0,996 | |
| 9.9 | 9,99 | 9,999 | 9,9999 |
Тема 4. Анализ марковских процессов с доходами при помощи Z-