10. АНАЛИЗ СИСТЕМ ПО СХЕМЕ МАРКОВСКИХ СЛУЧАЙНЫХ ПРОЦЕССОВ 10.1. Марковские случайные процессы

58
10. АНАЛИЗ СИСТЕМ ПО СХЕМЕ МАРКОВСКИХ СЛУЧАЙНЫХ
ПРОЦЕССОВ
10.1. Марковские случайные процессы
Среди множества видов случайных процессов большое теоретическое и практическое
значение имеют процессы, обладающие следующим свойством:
Для каждого момента времени tį вероятность любого состояния системы в будущем
(при t > ti) зависит только от ее состояния в настоящем (при t = ti) и не зависит от того, когда
и каким образом система пришла в это состояние (т.е. как развивался процесс в прошлом).
Впервые это свойство было сформулировано русским математиком Марковым А.А. в
1906 году, и впоследствии это свойство стало принято называть марковским свойством, а
случайные процессы, обладающие этим свойством, стали называть Марковскими
процессами.
Имеется немало определений марковского процесса, приведем одно из этих
определений.
Случайный процесс X(t) называется марковским, если для любых n моментов времени
t1 < t2 < ...< tn из отрезка [О,Т] условная функция распределения «последнего» значения X(tn)
при фиксированных значениях X(t1), X(t2), ..., X(tn-1) зависит только от X(tn-1), т.е. при
заданных значениях х1, x2, …, xn справедливо соотношение
P{X(tn)  xn/X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} =
(10.1)
= P{X(tn)  xn/X(tn-1) = xn-1}
Приведенное определение заимствовано из работы [62].
Марковский процесс называется процессом без последствия, т.е. будущее развитие
марковского случайного процесса зависит только от настоящего состояния и не зависит от
«предыстории» процесса, другими словами, для Марковского процесса при известном
настоящем будущее не зависит от прошлого.
Применительно к случайным марковским процессам, различают марковские цепи,
марковские последовательности, марковские процессы с конечным и бесконечным числом
состояний, а также смешанные марковские процессы. Характер реализаций четырех
основных видов марковских процессов приведен на рис. 10.1.
59
Рис. 10.1
10.2. Графы состояний
При анализе случайных марковских процессов с дискретными пространствами
состояний удобно пользоваться наглядной геометрической схемой графом состояний.
Графы состояний изображают возможные состояния системы с указанием (в виде стрелок)
возможных переходов из состояния в состояние.
При этом для случая дискретного пространства состояний и дискретного времени (цепь
Маркова) у стрелок проставляются соответствующие вероятности переходов (рис. 10.2).
Такой граф состояний называют размеченным, а величины Pij означают вероятности
переходов из i-го состояния в j-e состояние.
60
Рис. 10.2
Для случайных марковских процессов с дискретными состояниями и непрерывным
временем вместо переходных вероятностей Рij у стрелок указываются плотность
вероятностей переходов ij. (рис. 10.3).
Плотность вероятности перехода ij есть предел отношения вероятности перехода
системы за время t из состояния Si в состояние Sj
ij 
lim Pij (t )
t  0 t
(10.2)
С точностью до бесконечно малых больших порядков вероятность перехода Pij(t) за
время t равна
(10.3)
Pij(t) = ijt
Если плотности вероятностей переходов ij не зависят от времени t, то такой
марковский процесс называется однородным, при наличии зависимости от времени, т.е., если
ij = ij(t), процесс называется неоднородным.
Рис. 10.3
61
10.3. Марковская цепь
Напомним, что марковской цепью называется случайный марковский процесс с
дискретными состояниями и дискретным временем.
Марковская цепь называется однородной, если переходные вероятности не зависят от
номера шага (не зависят от момента времени перехода). При зависимости переходных
вероятностей от номера шага Марковская цепь называется неоднородной.
Для однородной марковской цепи для n состояний системы переходные вероятности Рij
могут быть записаны в виде квадратной матрицы
P11 P12 ... P1j ... P1n
Pij 
P12
P22 ... P2j ... P2n
...
...
...
Pi1
Pi2
... Pij
... Pin
...
...
...
...
...
...
...
...
(10.4)
...
Pn1 Pn2 ... Pnj ... Pnn
Характерной особенностью матрицы Рij является то, что сумма членов, стоящих в
каждой строке, равна единице, т.е.
n
(10.5)
P
ij
j 1
1
Квадратная матрица, элементы которой неотрицательны и сумма элементов, стоящих в
каждой строке (или столбце) равна единице, называется стохастической матрицей.
10.4. Марковские процессы с дискретными состояниями и непрерывным
временем
Для случайных Марковских процессов с дискретными состояниями и непрерывным
временем в графе состояний у стрелок указывается плотность вероятностей переходов ij.
Поток событий, переводящий систему из одного состояния в другое, является
пуассоновским, т.е. распределение времени между событиями перехода, подчиняется
экспоненциальному распределению.
Пусть система имеет конечное число состояний S1, S2, …, Si, …, Sn.
Вероятность этих состояний для любого момента времени t
P1(t), P2(t), …, Pi(t), …, Pn(t)
(10.5)
Для любого времени t
n
 P (t )  1
i 1
i
(10.6)
Для нахождения вероятностей (10.5) необходимо решить систему дифференциальных
уравнений (уравнений Колмогорова)
n
dPi (t ) n
(10.7)
I = 1, 2, …, n
  ij Pj (t )  Pj (t )   ij
dt
j 1
i 1
Уравнения (10.7) легко составить с использованием размеченного графа состояний,
пользуясь следующим мнемоническим правилом: производная вероятности каждого
состояния равна сумме всех потоков вероятностей, идущих на данное состояние, минус
сумма всех потоков вероятностей, идущих из данного состояния.
Возникает вопрос, как будет вести себя система при t? Существуют ли пределы
функций P1(t), P2(t), ..., Pn(t)?
62
Если эти пределы существуют, то соответствующие вероятности состояний называются
предельными вероятностями состояний (или «финальными», т.е. «конечными»).
Если предельные вероятности существуют, то в этом состоянии имеет место
установившийся режим, для которого производные будут равны нулю. В этом случае
система дифференцированных уравнений Колмогорова превращается в систему
алгебраических уравнений. Совместно с нормировочным
условием
n
 P (t )  1
i 1
i
эти
уравнения дают возможность вычислить все предельные вероятности состояний P1, P2, ..., Pn.
10.5. Полумарковские процессы
Рассмотрим процесс с дискретными состояниями и непрерывным временем, схема
которого изображена на рис.10.4. S1, S2, ..., Si, ..., Sk, ..., Se, ..., Sn - состояния системы.
Исходное состояние системы - Si. На схеме изображена следующая последовательность
состояний:
Si  SK  S2  S1  Si  Se  ...
Следует иметь в виду, что в данном случае это одна из возможных
последовательностей реализации процесса. Одношаговые вероятности переходов
изображенной на рисунке реализации процесса суть Pik, Pk2, P21, P1i, Pi1, ... Время Тk2 есть
время ожидания в состоянии SK до перехода в состояние S2, соответственно: T21 – время
ожидания в состоянии S2 до перехода в состояние S1, T1i - в состоянии S1 до перехода в
состояние Si, Ti1 - в состоянии Si до перехода в состояние S1.
Каждое из этих времен ожидания имеет какой-то закон распределения.
Если игнорировать случайный характер времени ожидания и рассматривать только
моменты перехода, то процесс S(t) будет представлять собой однородную цепь Маркова.
Если же учитывать пребывание процесса в разных состояниях в течение случайного отрезка
времени, то здесь возможны, в зависимости от характера распределения этого времени, два
различных характера процесса.
Если распределение случайного времени ожидания является экспоненциальным, т.е.
поток, переводящий систему из состояния в состояние, является пуассоновским, то имеет
место чисто марковский процесс с дискретными состояниями и непрерывным временем.
В этом случае справедливы все уравнения, приведенные в п. 10.4, т.е.
дифференциальные уравнения Колмогорова и система алгебраических уравнений
для предельных вероятностей состояний.
Если же распределение времени ожидания является любым другим (кроме
экспоненциального), в том числе это время может быть и некоторым постоянным числом, то
процесс не является марковским в чистом виде. Марковский процесс является только и
только в момент перехода, при этом вероятности переходов между состояниями Pik
определяются матрицей вероятностей переходов как и для случая марковской цепи (п. 10.3)
63
Рис. 10.4
Случайный процесс, при котором переходы между состояниями являются
Марковскими, а времена нахождения в любом из состояний описываются произвольной
функцией распределения, называется полумарковским. В научной литературе применяются
также термины вложенная цепь Маркова или вложенный марковский процесс. Смысл этих
терминов состоит в том, что Марковский процесс перехода между состояниями системы
происходит внутри другого процесса (не Марковского), вложен в этот другой процесс.