Лекция 11 Теория равновесных состояний Цепи Маркова 1 Понятие случайного процесса Случайные процессы – это протекающие во времени процессы переходов объекта случайного блуждания в некоторые наблюдаемые или прогнозируемые состояния – random walking. Х – случайная величина, которая в разные точки может принимать различные значения. Точки 1, 2, … 7 – сечения процесса Что роднит эти 2 ломаные линии? ‐ То, что они принадлежат одному объекту случайного блуждания Общий «генетический код» МП монета – не кубик Понятие случайного процесса ‐ это обобщение понятия случайной величины. Случайная величина соответствует случайному явлению «в статике», когда условия опыта не зависят от времени. Случайный процесс описывает явление «в динамике», т. е. в изменяющихся условиях опыта. Пример: на величину валютного курса влияет огромное число факторов, которые зависят от 2 времени. Задача о разорении игрока Два игрока (казино) и (мы) перед началом игры имеют и монет. Сначала игрок А подбрасывает монету, а игрок В должен угадать, упадет ли она «орлом» или «решкой». Если В угадывает, то выигрывает эту монету, если нет, то отдает свою. После этого игрок В подбрасывает монету, а игрок А угадывает, на тех же условиях. Игра завершается, когда один из игроков проигрывает все монеты. Найти вероятность того, что у игрока А окажется монет, т. е. игрок В проиграет все свои монеты. Решение В процессе игры число монет , имеющихся у игрока , может колебаться от 0 до . Если 0, то игрок проиграл, и игра закончилась. Введем в рассмотрение случайный процесс , значения которого равны числу монет у игрока В в моменты времени t. Ясно, что t принимает значения t = 0, 1, ... i, ... , соответствующие номеру партии. Таким образом, возможные реализации случайного процесса выходят из точки с координатами (0, b) и заключены в «коридоре» между осью Оt и линией . Обозначим вероятность того, что у игрока В имеется монет. В тогда, очевидно, что 0 1 у игрока В имеется 0монет и проиграл 0 у игрока В имеется (т. е. все монеты) и проиграть он не может. Поскольку в состояние монет игрок В мог попасть из предыдущих состояний 1или 1,гипотезы которых равновероятны, то запишем формулу полной вероятности: 1 1 1 1 2 2 3 Задача о разорении игрока Выражение 1 2 И далее: 1 2 1 2 1 2 1 1 2 1 2 1 2 1 1 2 Теперь в столбик: 1 1 1 2 1 1 2 2 Просуммируем эти равенства, их всего: штук 3 … 1 Получим: Если 1 2 1 1 можно переписать в виде 0 0 · (игрок В выиграл), то мы помним, что тогда 0 1 1 Это означает, что Следовательно 1 1 0‐ вероятность проиграть · Нас интересует значение этой вероятности при : Если у казино (игрок А) 1000 монет, а у игрока В одна монета, то вероятность проигрыша 4 0,9990009, а выигрыша: 1 0,9990009 0,001 равна 1 Задача о разорении казино 1. Сколько нужно иметь монет, чтобы разорить казино ))) 2. Сколько нужно иметь монет, чтобы с уверенностью 95% разорить казино 3. Каков должен быть размер собственного капитала, чтобы вероятность нехватки потока премий для осуществления текущего потока выплат была менее 5%? 5 Конечные цепи Маркова Цепи Маркова – это случайные процессы, дальнейшее поведение которых зависит только от значения в настоящий момент времени и не зависит от значений в предыдущие моменты времени: следующее число монет у игрока зависит только от текущего состояния, и неважно, сколько у него монет было несколько конов назад. Конечные цепи Маркова – это случайные процессы, число состояний в которой ограничено естественными условиями, например, общим числом монет у игроков, или например, общим числом страхователей в городе. В конечных цепях процесс, добравшись до конечного состояния, прекращается. Конечные состояния процесса называются поглощающими. Подчеркнем, что для поглощающих состояний переход из состояния в состояние невозможен (т. е. уже состоялся, и цепь окончена), поэтому 1 1 Понятие матрицы перехода Вероятности перехода из состояния в состояние для цепи Маркова можно записать в виде квадратной матрицы, которая называется матрицей перехода: … … … … … … … 6 Пример на построение матрицы перехода Задача: Постройте матрицу перехода для задачи о разорении игрока, если общее количество монет 3 Решение: Сначала запишем общий формат матрицы: 1 Теперь запишем поглощающие состояния: Имея 0 монет, игра не может начаться: 0 0 Поскольку кон не может закончиться вничью, то 1 0 0 0 0 0 и Поскольку невозможно выиграть сразу 2 монеты, то Возможные же переходы имеют вероятности 0,5: 0,5 Соберем все вместе: Вектор‐строка 0,5 0,5 0,5 1 0 0 0 0,5 0 0,5 0 0 0,5 0 0,5 0 0 0 1 – это вектор вероятностей цепи Маркова на шаге . 7 Теорема Маркова Если имеется – вектор‐строка вероятностей значений случайной величины цепи Маркова на шаге , а также имеется матрица переходов , то вектор‐строка вероятностей распределения случайной величины на следующем шаге 1определяется соотношением: – вектор‐строка вероятностей значений Аналогично, если имеется случайной величины цепи Маркова в начале процесса, а также имеется матрица переходов , то вектор‐строка вероятностей распределения случайной величины на шаге определяется соотношением: 8 Равновесное состояние и расчет равновесного распределения Задача: В городе имеется две страховые компании. Ежегодно страхователи (допустим, ОСАГО) либо остаются в старой компании, либо переходят в другую. Если страхователь застрахован в Первой компании, то он с вероятностью 0,7 в ней и останется. Страхователи Второй компании остаются в своей компании с вероятностью 0,6 и переходят в Первую с вероятностью 0,4. В базисном году страхователи были распределены по обеим компаниям поровну. Возможно ли предсказать, как распределятся страхователи по компаниям через, допустим, 6 лет? Если да, то каковы будут эти процентные соотношения? Решение Построим матрицу переходов: Соберем все вместе: 0,7 0,3 0,7 0,3 0,4 0,6 Начальный вектор‐строка распределения страхователей 0,6 0,4 0,50,5 По теореме Маркова распределение страхователей после первого шага будет следующим: 0,7 0,3 0,50,5 0,5 · 0,7 0,5 · 0,40,5 · 0,3 0,5 · 0,6 ⇒ 0,4 0,6 0,550,45 Очевидно: 0,50,5 0,7 0,3 0,4 0,6 Ответ: МУМНОЖ массив1; массив2 … 6раз 0,57120,4288 За 6 лет доля компании В, если ничего не предпринимать, сократится с 50% до 42% Третье золотое правило финансиста: нельзя не принимать управленческих решений 9 Стационарное распределение Вероятности переходов страхователей из одной компании в другую задаются следующей матрицей переходов: 0,4 0,2 0,2 0,5 0,1 0,3 0,4 0,3 0,6 Определите конечный вектор стационарного распределения. Решение Для цепи Маркова при возрастании числа шагов вектор распределения вероятностей стремится к некоторому предельному значению, которое называется стационарным. Оно является решением системы уравнений: · В частности, в этом примере: В общем случае: ⋯ 1 1 1 ⋯ … ⋯ 1 1 2 5 4 3 4 0 0 0 0,2 0 0,4 0,5 1 0,3 17 ; 59 , 0,3 0,6 1 20 ; 59 , 0 0 22 59 , Дальнейшее развитие темы: Деление страхователей на группы и Построение систем бонус‐малус (NCD систем) 11