Переходной вероятностью называют условную вероятность того, что из состояния в итоге следующего испытания система перейдет в состояние . Таким образом, индекс относится к предшествующему, а - к последующему состоянию.
Будем считать, что число состояний конечно и равно k.
Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:
,
где представляют вероятности перехода за один шаг.
Отметим некоторые особенности матрицы перехода.
· Элементы каждой строки матрицы представляют собой вероятности всех возможных переходов за один шаг из выбранного состояния, в том числе и вероятность отсутствия перехода (элемент строки с равными индексами)
· Элементы столбцов задают вероятности всех переходов системы за один шаг в заданное состояние
· Так как в каждой строке матрицы помещены вероятности событий (т.е. вероятности перехода из состояния в любое возможное состояние ), которые образуют полную группу, то сумма вероятностей этих событий равна единице:
· По главной диагонали матрицы перехода стоят вероятности того, что система не выйдет из состояния, а останется в нем.