ОСНОВЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Учебное пособие

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ
(ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ)
Кафедра дискретной математики ФИВТ
ОСНОВЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Учебное пособие
Составители М.Е. Жуковский, И.В. Родионов
МОСКВА
МФТИ
2015
УДК 621.396.6
Рецензент
Доктор физико-математических наук В.И. Питербарг
Основы теории вероятностей: учебное пособие / сост.
М.Е. Жуковский, И.В. Родионов. – М.: МФТИ, 2015. – 82 с.
В этом учебном пособии отражено содержание курсов по
теории вероятностей, которые авторы ведут у студентов факультета инноваций и высоких технологий Московского физикотехнического института (государственного университета) в третьем семестре. Каждая глава книги содержит набор задач по соответствующей теме с решениями. В конце каждой главы приведен список упражнений. Все сформулированные в пособии утверждения необходимы для решения задач. Книга не содержит доказательств центральных теорем курса теории вероятностей, а
также не содержит многих вспомогательных утверждений. Пособие охватывает семестровый курс теории вероятностей и рассчитано на студентов математических и физических специальностей
высших учебных заведений.
c Жуковский М.Е., Родионов И.В., 2015
c Федеральное государственное автономное
образовательное учреждение
высшего профессионального образования
«Московский физико-технический институт
(государственный университет)», 2015
Содержание
1. Системы множеств. Вероятностное пространство
4
2. Классические и геометрические вероятности
11
3. Условная вероятность
16
4. Понятие независимости. Схема Бернулли
20
5. Распределения вероятностей
25
6. Случайные величины
36
7. Независимость, формула свертки
43
8. Математическое ожидание в простейших случаях 49
9. Математическое ожидание (другие случаи), ковариация
56
10.Виды сходимостей случайных величин
60
11.Случайное блуждание. Лемма Бореля–Кантелли
64
12.Характеристические функции
69
13.Гауссовские векторы, центральная предельная теорема
76
Литература
81
3
1. Системы множеств. Вероятностное
пространство
Предметом изучения теории вероятностей являются случайные события и их вероятности. Под случайным событием подразумевается набор исходов некоторого эксперимента.
Пусть некоторый случайный эксперимент допускает N различных исходов (например, при подбрасывании монетки исходов
всего два: орел и решка). Обозначим эти исходы ω1 , . . . , ωN .
Исходы ω1 , . . . , ωN называются элементарными событиями, а
множество Ω = {ω1 , . . . , ωN } – пространством элементарных
событий. Вообще говоря, пространство элементарных событий
не обязано быть ни конечным, ни даже счетным. Пусть Ω —
произвольное множество.
N Определение 1.1. Элементы ω ∈ Ω называются элементарными событиями (элементарными исходами), а их
совокупность Ω — пространством элементарных исходов.
Событием же является подмножество A множества Ω. Говорят, что произошло событие A, если эксперимент завершился
одним из элементарных исходов, входящих в множество A.
Далеко не каждое подмножество является событием. Для того,
чтобы определить, какие же множества являются событиями,
вспомним некоторые определения из теории множеств.
N Определение 1.2. Система множеств A называется
алгеброй, если выполняются следующие 3 свойства:
1) Ω ∈ A;
2) если множество A ∈ A, то и дополнение к этому множеству
A ∈ A;
3) если множества A, B ∈ A, то и их объединение A ∪ B ∈ A.
Очевидно, ∅ ∈ A (следует из свойств 1) и 2) из определения
алгебры). Кроме того, если множества A, B ∈ A, то и их пересечение A ∩ B ∈ A (следует из свойств 2) и 3) при использовании
правила Де Моргана A ∪ B = A ∩ B).
4
N Задача 1.1. Пару операций {∪, A} в определении алгебры
можно заменить на {∪, M}.
Решение
Как известно, A M B = (A∩B)∪(A∩B). Поскольку операции отрицания, объединения и пересечения принадлежат
алгебре, то и операция симметрической разности M также
принадлежит ей. Далее, A M Ω = (A∩Ω)∪(A∩Ω) = A. Тем
самым мы доказали, что пары операций {∪, A} и {∪, M} в
определении алгебры эквивалентны.
Задача решена.
N Определение 1.3. Система множеств F называется
сигма-алгеброй, если выполняются следующие 3 свойства:
1) Ω ∈ F;
2) если множество A ∈ F, то и дополнение к этому множеству
A ∈ F;
3*) если множества A1 , A2 , . . . ∈ F, то и их бесконечное объеди∞
S
нение
Ai ∈ F .
i=1
Как легко видеть, алгебра от сигма-алгебры отличается
только тем, что сигма-алгебра замкнута относительно счетного
объединения множеств. Также очевидно, что любая сигмаалгебра является алгеброй, т.е. пустое множество принадлежит
любой сигма-алгебре. Кроме того, из правила Де Моргана
следует, что если множества A1 , A2 , . . . ∈ F, то и их бесконечное
∞
T
пересечение
Ai ∈ F .
i=1
Пусть дано пространство элементарных событий Ω и сигмаалгебра F на нем.
N Определение 1.4. Любое множество A ∈ F называется событием. Функция P, действующая из F в пространство действительных чисел R, называется вероятностной мерой (или просто
вероятностью), если выполнены следующие 3 свойства:
1) P(Ω) = 1;
2) ∀A ∈ F P(A) ≥ 0;
3) (сигма-аддитивность вероятностной меры) для любого набора
5
событий {Ai }∞
i=1 , Ai ∈ F , Ai ∩ Aj = ∅ при i 6= j, выполнено
!
∞
∞
[
X
P
Ai =
P(Ai ).
i=1
i=1
N Свойства вероятности:
1) P(A) ≤ 1;
2) P(A) = 1 − P(A);
3) P(∅) = 0;
4) (монотонность) если A ⊆ B, то P(A) ≤ P(B);
5) P(A ∪ B) = P(A) + P(B) − P(A ∩ B);
6) (формула включения-исключения) для любых событий
A1 , . . . , An выполнено
!
n
[
P
Ai =
i=1
=
n
X
i=1
P(Ai ) −
X
P(Ai ∩ Aj ) +
i<j
X
P(Ai ∩ Aj ∩ Ak ) − . . . +
i<j<k
+(−1)n−1 P(A1 ∩ A2 ∩ . . . ∩ An );
7) (свойство непрерывности) для любых событий A1 , A2 , . . .,
∞
T
таких, что Ai+1 ⊆ Ai ,
Ai = ∅, выполнено lim P(Ai ) = 0.
i→∞
i=1
N Определение 1.5. Тройка (Ω, F, P) называется вероятностным пространством.
Предположим теперь, что рассматриваемое нами пространство элементарных исходов является конечным, т.е. Ω =
{ω1 , ω2 , . . . , ωN }. Зададим в качестве сигма-алгебры на нем множество всех подмножеств Ω (оно обозначается 2Ω ). Также будем
считать, что вероятности всех элементарных исходов равны, т.е.
∀i ∈ {1, . . . , N } P(ωi ) =
1
.
N
Эксперимент, описываемый таким вероятностным пространством, называется классической вероятностной моделью.
Подобным экспериментом может служить, к примеру, бросание
6
игральной кости. Здесь Ω = {1, 2, 3, 4, 5, 6}, F = 2Ω и P({i}) = 61 .
В качестве примеров классической вероятностной модели
рассмотрим стандартные урновые схемы: из n-элементного
множества случайным образом выбирается k элементов. Будем
исходить из предположения, что появление любого элемента
равновероятно.
N Задача 1.2. Опишите вероятностное пространство для
схем упорядоченного выбора без возвращения, упорядоченного
выбора с возвращением, неупорядоченного выбора без возвращения и неупорядоченного выбора с возвращением.
Решение
Пусть выбору i-го элемента соответствует элементарный
исход ωi .
1) Схема упорядоченного выбора с возвращением. Для этой
схемы пространство элементарных исходов следующее:
Ω1 = {(ωi1 , ωi2 , . . . , ωik ), i1 , i2 , . . . , ik ∈ {1, . . . , n}},
а количество элементов в Ω1 равно nk . Выпадение же
любого исхода равновероятно, поскольку на любом шаге
мы можем выбрать равновероятно любой из n элементов.
Тем самым вероятностное пространство для данной
модели является классическим.
2) Схема упорядоченного выбора без возвращения. Здесь
пространство элементарных исходов такое:
Ω2 = {(ωi1 , ωi2 , . . . , ωik ), i1 6= i2 6= . . . 6= ik ,
i1 , . . . , ik ∈ {1, . . . , n}}.
Посчитаем теперь число элементов в Ω2 . На первом шаге
мы можем равновероятно выбрать один из n элементов,
на втором шаге – равновероятно один из n − 1 элементов,
кроме того, что мы выбрали на первом шаге, и так далее.
число элементарных исходов в Ω2 равно
7
Akn := n(n − 1)...(n − k + 1) =
n!
,
(n − k)!
и все они равновероятны. Таким образом, вероятностное
пространство для второй схемы также является классическим.
3) Схема неупорядоченного выбора без возвращения. Эту
схему можно смоделировать следующим образом: за один
раз вытаскиваем из урны с n шарами k шаров. Поэтому
нас интересуют только совокупность номеров вытянутых
шаров, а не порядок их вытягивания. Таким образом, пространство элементарных исходов здесь следующее:
Ω3 = {(ωi1 , ωi2 , . . . , ωik ), 1 ≤ i1 < i2 < . . . < ik ≤ n}.
Посчитаем число элементарных исходов в Ω3 . Заметим,
что одному элементарному исходу (ωi1 , ωi2 , . . . , ωik ) из Ω3
однозначно соответствует k! элементарных исходов из Ω2 ,
полученных различными перестановками элементов внутри (ωi1 , ωi2 , . . . , ωik ). Значит, число элементарных исходов
в Ω3 равно
Ak
n!
Cnk := n =
,
k!
(n − k)!k!
и все они равновероятны по тем же соображениям. Тем
самым третья схема описывается классическим вероятностным пространством.
4) Схема неупорядоченного выбора с возвращением. Докажем, что пространство элементарных исходов можно записать в виде двоичных последовательностей длины n+k −1
с n − 1 единицей:
Ω4 = {(ε1 , ε2 , . . . , εn+k−1 ) : ∀i ∈ {1, . . . , n + k − 1} εi ∈ {0; 1};
n+k−1
X
εi = n − 1}.
i=1
Отсюда сразу следует, что число элементарных исходов в
Ω4 равно количеству размещений n − 1 единиц по
8
n−1
n + k − 1 местам, т.е. Cn+k−1
. Итак, пусть за k попыток мы выбрали k1 первых элементов, k2 вторых элеn
P
ментов и так далее, где
ki = k (ki могут равняться
i=1
0). Этот исход можно представить следующим образом:
(ω1 , . . . , ω1 , . . . , ωn , . . . , ωn ). Сопоставим этому исходу сле| {z }
| {z }
k1 раз
kn раз
дующий исход: (0, . . . , 0, 1, 0, . . . , 0, 1, . . . , 1, 0, . . . , 0). Легко
| {z } | {z }
| {z }
k1 раз
k2 раз
kn раз
видеть, что сопоставление взаимно однозначно (единицы
служат своеобразными границами для множеств, состоящих из нулей) и что число единиц в каждом таком исходе
равно n − 1. Таким образом, мы доказали, что пространство элементарных исходов схемы 4 описывается с помощью Ω4 .
Задача решена.
N Задачи для самостоятельного решения
1. Случайно бросаются два M -гранных кубика, на гранях которых написаны числа от 1 до M . Опишите вероятностное
пространство, события в котором соответствуют всем возможным исходам в таком эксперименте. Найдите вероятность события Ai , определенного равенством Ai = {сумма
чисел, выпавших на кубиках, равна i}, i = 2, 3, . . . , 2M .
2. Из множества N объектов выбирается случайное подмножество. Опишите соответствующее вероятностное пространство и найдите вероятность того, что это случайное подмножество имеет четную мощность.
3. По схеме случайного выбора с возвращением из множества натуральных чисел 1, . . . , N , N ≥ 4, выбираются числа X и Y. Что больше: P2 = P(X 2 − Y 2 делится на 2) или
P3 = P(X 2 − Y 2 делится на 3)? Прежде чем сравнить вероятности, опишите вероятностное пространство и события,
вероятности которых надо сравнить, в терминах этого вероятностного пространства.
9
4. Из совокупности всех подмножеств множества натуральных чисел 1, . . . , N по схеме выбора с возвращением выбираются два множества A1 и A2 . Опишите соответствующее вероятностное пространство и найдите вероятность того, что
A1 ∩ A2 = ∅.
5. По схеме случайного выбора с возвращением из множества
натуральных чисел {1, 2, ..., N } выбираются числа ξ и η.
Опишите соответствующее вероятностное пространство и
найдите вероятность того, что ξ и η взаимно просты.
6. Можно ли пару операций {∪, A} в определении алгебры заменить на
а) {M, /};
б) {A ∪ B, A};
в) {∪, ∩};
г) {A ∩ B}?
7. Пусть B1 и B2 — σ-алгебры подмножеств пространства Ω.
Будут ли σ-алгебрами системы множеств
а) B1 ∩ B2 ;
б) B1 ∪ B2 ?
8. Пусть (Ω, F, P) — вероятностное пространство. Последовательность вложенных сигма-алгебр F1 ⊂ F2 ⊂ . . . ⊂ F называется потоком или фильтрацией. Верно ли, что система
∞
S
множеств
Fn является σ-алгеброй?
n=1
9. Поток сигма-алгебр, определенный в задаче 8, моделирует
поток информации. Пусть один человек загадывает случайное число из [0, 1], а второй пытается его угадать. В каждый
момент времени второй человек, обладая знанием о том,
что число принадлежит некоторому интервалу, делит этот
интервал пополам, а первый человек говорит, в каком из
интервалов лежит загаданное им число. Таким образом, с
каждым моментом времени мы все больше узнаем информации о случайном числе. Опишите поток сигма-алгебр в
этой задаче.
10
2. Классические и геометрические
вероятности
В предыдущей главе мы ввели понятие классической вероятностной модели. В этой модели для любого события A
выполнено равенство P(A) = |A|
.
|Ω|
N Задача 2.1. Множество из n шаров случайно раскладывают по m ящикам. Найдите вероятность того, что все ящики
непустые, если шары различимы.
Решение
Решим сначала следующую задачу: каково количество
способов разложить n различимых шаров по m ящикам? Первый шар мы можем положить в любой из
m ящиков, второй – тоже в любой из m ящиков, и
так далее. Тем самым количество способов разложить
n различимых шаров по m ящикам равно mn , и все
эти исходы равновероятны. Теперь найдем число способов разложить шары так, чтобы пустых ящиков не
оказалось. Очевидно, что P({все ящики непустые}) =
1 − P({хотя бы один ящик пуст}). Обозначим событие
Ai = {i-й ящик пуст}, тогда по формуле включенияисключения
!
m
m
[
X
P({хотя бы один ящик пуст}) = P
Ai =
P(Ai )−
i=1
−
X
i<j
P(Ai ∩ Aj ) +
X
i=1
P(Ai ∩ Aj ∩ Ak ) − . . .
i<j<k
. . . + (−1)m−1 P(A1 ∩ A2 ∩ . . . ∩ Am ).
Но количество способов разложить шары так, чтобы k
фиксированных ящиков оказались пустыми, равно количеству способов разложить шары в m−k оставшихся ящиков, а именно (m − k)n , поэтому
11
m
P
=
P({хотя бы один ящик пуст}) =
P
P
(m − 1)n − (m − 2)n +
(m − 3)n − . . .
i=1
i<j
i<j<k
.
mn
Количество элементов в сумме
P
равно количеству
i1 <...<ij
способов выбрать j номеров из m без учета порядка, т.е.
j
равно Cm
. Итак, ответ следующий:
m−1
P
j
(m − j)n
(−1)j Cm
P({все ящики непустые}) =
j=0
.
mn
Задача решена.
В рассматриваемой модели считается, что все элементарные
исходы равновероятны. Рассмотрим ситуацию, когда это не так.
Пусть Ω = (ω1 , . . . , ωN ), на нем задана некая алгебра A его подмножеств, а вероятность каждого исхода равна pi = P({ωi }). ТоN
P
гда, очевидно, выполнено
pi = 1, и вероятность произвольноi=1
P
го события считается следующим образом: P(A) =
pi . Тем
i: ωi ∈A
самым мы полностью определили вероятностное пространство с
конечным числом исходов (Ω, A, P). Заметим, что в рассматриваемом случае алгебра A является σ-алгеброй.
Еще один важный класс моделей вероятностных пространств
дают так называемые геометрические вероятности. Пусть
Ω – область евклидова n-мерного пространства с конечным
n-мерным объемом (чаще всего n = 1, 2 или 3). Событиями
назовем подмножества Ω, для которых можно определить
объем. За множество событий можно принять так называемую
сигма-алгебру B борелевских подмножеств Ω (подробнее об
этом далее). За вероятность события A ∈ B примем P(A) = |A|
,
|Ω|
где |V | означает n-мерный объем множества V. Тем самым
мы определили вероятностное пространство (Ω, B, P). Это
вероятностное пространство служит моделью задач, в которых
частица случайно бросается в область Ω. Предполагается, что
12
ее положение равномерно распределено в этой области, т.е.
вероятность попасть частице в область A пропорциональна
n-мерному объему этой области.
N Задача 2.2. Случайная точка A имеет равномерное
распределение в прямоугольнике со сторонами 1 и 2. Найдите
вероятность того, что расстояние от точки A до ближайшей
стороны прямоугольника не превосходит x.
Решение
Найдем вероятность отрицания рассматриваемого события, т.е. того, что расстояние от точки до ближайшей стороны прямоугольника оказалось больше x. Это событие
выполнено в том и только том случае, когда точка попала
в прямоугольник со сторонами 2 − 2x и 1 − 2x (отсюда сразу видно, что если x ≥ 0.5, то искомая вероятность равна
1), центр которого совпадает с центром исходного прямоугольника и стороны которого параллельны его сторонам.
Тогда искомая вероятность того, что расстояние от точки
A до ближайшей стороны прямоугольника не превосходит
x, равна 1 − (1−2x)(2−2x)
= 3x − 2x2 , если x < 0.5, и 1, если
2
x ≥ 0.5.
Задача решена.
N Задачи для самостоятельного решения.
1. В группе 25 студентов. Считаем, что день рождения каждого студента случаен (пусть в году 365 дней). Найдите вероятность того, что хотя бы у двух человек дни рождения
совпадают.
2. Некоторые жители Долгопрудного считают трамвайный билет «счастливым», если сумма первых трех цифр его шестизначного номера совпадает с суммой последних трех цифр.
Найти вероятность получить «счастливый» билет.
3. На шахматной доске размера n × n случайно размещают n
ладей. Найдите вероятности следующих событий:
13
а) A = {ладьи не бьют друг друга};
б) B = {ладьи не бьют друг друга и на главной диагонали
нет никаких фигур}.
4. Случайная точка A имеет равномерное распределение в
прямоугольнике со сторонами 1 и 2. Найдите вероятности
следующих событий:
а) расстояние от точки A до ближайшей диагонали прямоугольника не превосходит x;
б) расстояние от точки A до любой стороны прямоугольника не превосходит x;
в) расстояние от точки A до ближайшей стороны прямоугольника меньше, чем расстояние от A до ближайшей диагонали.
5. В круге радиуса R случайно проводится хорда. Обозначим
√ через ξ ее длину. Найдите вероятность P ξ > 3R , если
а) середина хорды равномерно распределена в круге;
б) направление хорды задано, а ее середина равномерно распределена на диаметре, перпендикулярном ее направлению;
в) один конец хорды закреплен, а другой равномерно распределен на окружности.
6. Найти вероятность того, что из трех наудачу взятых отрезков длиной не более чем 1 можно составить треугольник.
7. В карточной игре покер игрок получает 5 карт из колоды в
52 карты. Задача игрока — собрать наиболее сильную комбинацию карт. Комбинации бывают следующие:
а) пара — две карты одного номинала;
б) две пары — две карты одного номинала, две карты —
другого;
в) тройка — три карты одного номинала;
г) стрит — пять последовательных по номиналу карт (предполагается, что за тузом по номиналу следует двойка);
д) флэш — все карты одной масти;
е) три+два — три карты одного номинала, две карты — другого;
ж) каре — четыре карты одного номинала;
з) стрит-флэш — пять последовательных по номиналу карт
14
одной масти;
и) ройал-флэш — туз, король, дама, валет и десятка одной
и той же масти.
Найдите вероятность получения каждой из перечисленных
комбинаций при случайной сдаче карт. Вычислите вероятность того, что не выпадет ни одна из вышеперечисленных
комбинаций.
8. В веб-поиске при решении различных задач машинного обучения часто используется статистический метод, который
называется бутстрэппинг. Суть состоит в следующем. Предположим, что у нас есть N веб-страниц. Мы хотим узнать,
насколько наш алгоритм устойчив. Для этого выбираются
случайно N страниц (некоторые могут совпадать) большое
количество раз M (в этом случае говорят, что генерируется
M выборок размера N ). Если выбор производится упорядоченно, то найдите вероятность того, что первая страница
встречается в одной такой выборке k раз, а вторая — r раз.
9. На n-мерной сфере случайно выбрана n + 1 точка. Найдите
вероятность того, что их выпуклая оболочка не содержит
центра сферы.
15
3. Условная вероятность
Пусть (Ω, A, P) – вероятностное пространство (в рассматриваемых в этом разделе определениях, как правило, конечное) и
A ∈ A – некоторое событие. Часто возникает задача вычислить
вероятность события при условии, что выполнено другое событие.
N Определение 3.1. Условной вероятностью A при условии
B (если P(B) > 0) называется P(A|B) = P(AB)
.
P(B)
N Задача 3.1. Брошено 3 игральных кости. Найти вероятность того, что на всех костях выпала «шестерка» при условии,
что на первой кости выпала «шестерка».
Решение
Обозначим A = {на первой кости выпала «шестерка»},
B = {на всех костях выпала «шестерка»}. Тогда, очевидно, P(A) = 16 , так как выпадение «шестерки» — один из
шести равнозначных исходов в эксперименте бросания одного кубика. Событие B ⊂ A, поэтому P(A ∩ B) = P(B) =
1
, так как выпадение трех «шестерок» — один из 63 рав63
нозначных исходов в эксперименте бросания трех играль3
1
ных костей. Тем самым P(B|A) = 1/6
= 36
.
1/6
Задача решена.
При решении задач, в которых вероятность события зависит
от различных несовместных условий, используется понятия
разбиения и ряд утверждений, с ним связанных.
N Определение 3.2. Разбиением называется такая система
событий {A1 , . . . , An } (может быть, счетная), что для любых
n
S
различных i, j выполнено Ai ∩ Aj = ∅ и
Ai = Ω.
i=1
16
Теорема 3.1
(формула
полной вероятности).
Пусть имеется разбиение {A1 , . . . , An } (может быть, счетное) c P(Ai ) > 0, где i =
1, . . . , n. Тогда для любого события B верна следующая формула:
P(B) =
n
X
P(B|Ai )P(Ai ).
i=1
Теорема 3.2
(формула
Байеса).
Пусть {A1 , . . . , An } — разбиение (может
быть, счетное) c P(Ai ) > 0, где i = 1, . . . , n.
Тогда для любого события B с P(B) > 0 верна
следующая формула:
P(B|Ai )P(Ai )
.
P(Ai |B) = P
n
P(B|Ai )P(Ai )
i=1
N Задача 3.2. Мимо магазина пончиков проходят юноши с
частотой 0.6, девушки – с частотой 0.3, преподаватели – с частотой 0.1. Юноши покупают пончик с вероятностью 0.4, девушки
– с вероятностью 0.9, преподаватели – с вероятностью 0.2. Известно, что последний человек купил пончик. Найдите условную
вероятность того, что пончик приобрел преподаватель.
Решение
Обозначим события
B = {последний человек купил пончик},
A1 = {этот человек – юноша},
A2 = {этот человек – девушка},
A3 = {этот человек – преподаватель}.
Тогда, по условию задачи, P(A1 ) = 0.6, P(A2 ) = 0.3,
P(A3 ) = 0.1, P(B|A1 ) = 0.4, P(B|A2 ) = 0.9, P(B|A3 ) = 0.2.
По формуле Байеса
P(A3 |B) =
P(B|A3 )P(A3 )
=
P(B|A1 )P(A1 ) + P(B|A2 )P(A2 ) + P(B|A3 )P(A3 )
17
=
0.1 · 0.2
0.02
=
≈ 0.038.
0.6 · 0.4 + 0.3 · 0.9 + 0.1 · 0.2
0.53
Задача решена.
N Задачи для самостоятельного решения
1. Брошено 3 игральных кости. Найти вероятность того, что
на всех костях выпала «шестерка» при условии, что
1) по крайней мере на одной кости выпала «шестерка»;
2) по крайней мере на двух костях выпало равное количество очков.
2. В одном ящике содержится 1 белый шар и 2 черных шара,
а в другом ящике — 2 белых шара и 3 черных шара. В третий ящик кладут два шара, случайно выбранных из первого
ящика, и два шара, случайно выбранных из второго ящика.
Найдите вероятность того, что
1) случайно выбранный из третьего ящика шар будет белым;
2) при выборе без возвращения двух шаров из третьего
ящика один из них будет белым, а второй — черным.
3. Из урны, содержащей a белых и b черных шаров, два игрока
извлекают шары по очереди. Выигрывает тот, кому раньше попадается белый шар. Найти вероятность выигрыша
первого игрока в случаях, когда шары извлекаются
1) по схеме равновероятного выбора с возвращением;
2) по схеме равновероятного выбора без возвращения.
4. Привести примеры, показывающие, что, вообще говоря, равенства
P (B|A) + P (B|A) = 1,
P (B|A) + P (B|A) = 1
18
неверны.
5. Группа из 15 человек сдает экзамен по теории вероятностей.
В программе 31 билет, пять из которых студенты считают
халявными. Каким по очереди нужно заходить в аудиторию, чтобы с наибольшей вероятностью вытянуть халявный
билет?
6. Во время испытаний аппарата на макаронной фабрике было установлено, что вероятность его взрыва при отсутствии
помех равна 0.01, при перегреве — 0.05, при вибрации — 0.1,
при вибрации и перегреве — 0.2. Найти вероятность взрыва
на макаронной фабрике при работе в жарких странах (вероятность перегрева равна 0.2, вероятность вибрации — 0.1,
вероятность перегрева и вибрации вместе — 0.02).
7. Из совокупности всех подмножеств множества S =
{1, 2, ..., N } по схеме выбора с возвращением выбираются
множества A1 и A2 . Найти условную вероятность того, что
множества A1 и A2 состоят из l1 и l2 элементов соответственно при условии, что они не пересекаются.
19
4. Понятие независимости. Схема Бернулли
Будем говорить, что событие B не зависит от события A,
если условная вероятность события B при условии A равна
вероятности события B : P(B|A) = P(B). Расписывая по определению условную вероятность, получаем одно из двух равенств
P(B∩A)
= P(B) и P(A ∩ B) = P(A)P(B). Отсюда видим, что если
P(A)
B не зависит от A, то и A не зависит от B.
N Определение 4.1. События A и B независимы, если
выполнено равенство P(A ∩ B) = P(A)P(B).
Пусть имеется множество событий A1 , . . . , An .
N Определение 4.2. События A1 , . . . , An называются попарно независимыми, если для любых различных i, j ∈ {1, . . . , n}
выполнено P(Ai ∩ Aj ) = P(Ai )P(Aj ).
N Определение 4.3. События A1 , . . . , An называются независимыми в совокупности, если для любого набора индексов
i1 , i2 , . . . , ik , 1 ≤ i1 < i2 < . . . < ik ≤ n, выполнено
P(Ai1 ∩ Ai2 ∩ . . . ∩ Aik ) = P(Ai1 )P(Ai2 ) . . . P(Aik ).
Легко видеть, что из независимости в совокупности следует
попарная независимость. Обратное, как показывает следующий
пример, неверно.
N Задача 4.1. Привести пример таких событий, что они
независимы попарно, но не являются независимыми в совокупности.
20
Решение (пример Бернштейна). Рассмотрим тетраэдр
ACDE. Вершину A покрасим в красный цвет, вершину C
– в зеленый, D – в синий, а E – сразу в три этих цвета. Рассмотрим эксперимент с равновероятным выбором вершины тетраэдра. Введем события R = {выбранная вершина
покрашена в красный цвет}, G = {выбранная вершина покрашена в зеленый цвет} и B = {выбранная вершина покрашена в синий цвет}. Тогда P(B) = P(G) = P(R) = 12 , а
вероятности пересечений P(B∩G) = P(G∩R) = P(B∩R) =
1
, т.е. события B, G и R являются попарно независимыми.
4
Но P(B ∩ G ∩ R) = 14 6= 81 = P(B)P(G)P(R), т.е. события не
являются независимыми в совокупности.
Задача решена.
Введем теперь так называемую схему Бернулли. Рассмотрим
серию идентичных, независимых в совокупности экспериментов,
которые имеют 2 исхода (например, многократное подбрасывание монетки). Один из этих исходов назовем успехом (обозначим
его {1}), а другой – неудачей (обозначим его {0}). Известно, что
вероятность успеха в одном эксперименте равна P({1}) = p, а
неудачи – P({0}) = 1 − p =: q. Тогда пространство элементарных
исходов есть все двоичные последовательности длины n :
Ω = {ω = (ε1 , . . . , εn ), ε1 , . . . , εn ∈ {0, 1}},
а вероятность каждого исхода равна
n
P
P(ω) = p
εi n−
i=1
q
n
P
i=1
εi
.
Легко убедиться, что сумма вероятностей всех исходов в таком
случае равна 1. Часто требуется найти вероятность того, что
в схеме из n испытаний Бернулли произошло k успехов — эта
вероятность равна Cnk pk q n−k .
N Задача 4.2. Два игрока проводят бесконечную серию
независимых испытаний. В каждом испытании игрок A подбрасывает 3 игральные кости, а игрок B – 2 кости одновременно с
игроком A и независимо от него. Эти испытания они проводят
последовательно до первого выпадения «шестерки» хотя бы
21
на одной из костей. Найдите вероятность того, что впервые
«шестерка» выпала у игрока A, а не у B.
Решение
Обозначим Ak = {«шестерка» выпала при k-м испытании
у хотя бы одного из игроков}. Пусть
Dk =
k−1
\
Ai ,
i=1
Bk = {у игрока A выпала «шестерка» при k-м испытании},
Ck = {у игрока B выпала «шестерка» при k-м
испытании}. Успехом при k-м испытании будем называть
событие, заключающееся в том, что при k-м испытании
у игрока A выпала «шестерка», а у B – не выпала. Эта
вероятность равна
3 ! 2
5
91 · 25
5
P(Bk ∩ Ck ) = P(Bk )P(Ck ) = 1 −
=
.
6
6
65
Так как Bk и Ck не зависят между собой и от Dk по условию, то искомая вероятность равна
n
X
P(Bk ∩ Ck |Dk )P(Dk ) =
k=1
∞
n
X
25 · 91 X
=
P(Bk ∩ Ck )P(Dk ) =
P(Dk ) =
65 k=1
k=1
!
5 10
25 · 91
5
5
25 · 91
=
1+
+
+ ... = 5
,
65
6
6
6 − 55
где D1 = Ω.
Задача решена.
N Задача 4.3. Найти вероятность того, что в 2n испытаниях
схемы Бернулли с вероятностью успеха p и неудачи q = 1 − p
появится m + n успехов и все испытания с четными номерами
22
закончатся успехом.
Решение
Чтобы выполнялось событие, вероятность которого надо
найти, при условии, что n испытаний с четными номерами
закончились успехом (вероятность этого события, очевидно, pn ), необходимо и достаточно, чтобы закончились успехом m испытаний с нечетными номерами. Поскольку испытания с четными и нечетными номерами независимы, то
искомая вероятность равна pn Cnm pm q n−m = Cnm pn+m q n−m .
Задача решена.
N Задачи для самостоятельного решения
1. Из ящика, содержащего черные и белые шары, извлекаются
шары. Пусть событие Ak означает, что на k-м шаге извлечен
белый шар. Докажите, что события A1 , . . . , An
1) независимы в совокупности, если выбор шаров производится с возвращением;
2) зависимы, если выбор шаров производится без возвращения.
2. Два игрока проводят серию независимых испытаний. В
каждом испытании игрок A подбрасывает 3 игральные кости, а игрок B — 2 кости одновременно с игроком A и независимо от него. Эти испытания они проводят последовательно до первого выпадения «шестерки» хотя бы на одной
из костей. Найдите вероятности следующих событий:
1) C = {впервые «шестерка» выпала у игрока B, а не у
A};
2) D = {впервые «шестерка» выпала одновременно у A и
B}.
3. Пусть A, B, C — попарно независимые равновероятные события, причем A ∩ B ∩ C = ∅. Найдите максимально возможное значение P(A).
23
4. Дано множество S из n элементов. Из него случайно и
независимо выбираются три подмножества A, B, C. Каждое случайное подмножество формируется следующим образом: каждый элемент множества S независимо от других
с вероятностью p включается в подмножество, а с вероятностью (1−p) — не включается (этот процесс повторяется три
раза: сначала для множества A, затем для B и, наконец, для
C). Найдите вероятность события D = {A∩B ⊆ C ⊆ A∪B}.
5. Пользователь социальной сети каждый день просматривает стену одного из своих 7 друзей с вероятностью pi , i =
1, . . . , 7, ν — номер первой недели, за которую он просмотрит стены всех семерых своих друзей. Найти вероятность
того, что в понедельник ν-й недели он просмотрит стену
первого своего друга.
6. Ребра полного графа Kn на n вершинах независимо друг
от друга раскрашиваются с равной вероятностью k1 в любой из k цветов. Пусть V — множество вершин графа Kn , а
S ⊂ V . Обозначим через AS следующее событие: AS = {все
ребра Kn , обе вершины которых принадлежат S, покрашены в один и тот же цвет}. При каких условиях на взаимное
расположение подмножеств S, T ⊂ V события AS и AT независимы?
7. Пусть A1 , . . . , An — независимые события. Докажите, что
!
n
n
[
Y
P
Ai = 1 −
P Ai .
i=1
i=1
24
5. Распределения вероятностей
На практике при подсчете вероятностей чаще всего рассматриваются события, определяемые с помощью действительных
чисел (или векторов, компоненты которых являются действительными числами). В этой связи важными объектами для
изучения являются вероятностные меры, заданные на (R, B(R))
и (Rn , B(Rn )).
N Определение 5.1. Борелевской сигма-алгеброй B(R) на
прямой называется минимальная сигма-алгебра, содержащая
все отрезки, полуинтервалы и интервалы действительной прямой R.
N Определение 5.2. Вероятностная мера P, заданная на
(R, B(R)), называется распределением вероятностей.
Оказывается, для задания распределения вероятностей
достаточно задать вероятностную меру лишь на множествах
(−∞, x] для всех действительных x.
N Определение 5.3. Функция F
: R → [0, 1],
F (x) = P((−∞, x]), называется функцией распределения,
соответствующей распределению вероятностей P.
N Свойства функции распределения:
1) F (x) — неубывающая функция;
2) limx→−∞ F (x) = 0, limx→+∞ F (x) = 1;
3) F (x) непрерывна справа и имеет пределы слева в каждой
точке x ∈ R.
Теорема
5.1.
Пусть F = F (x) — функция на числовой прямой R, удовлетворяющая свойствам 1)–3). Тогда на (R, B(R)) существует, и притом единственное, распределение вероятностей P такое, что F — соответствующая этому распределению функция распределения.
25
Эта теорема оправдывает введение следующего понятия: всякая функция F , удовлетворяющая условиям 1)–3), называется
функцией распределения на числовой прямой R.
N Задача 5.1. Пусть F (x) — функция распределения на
числовой прямой, соответствующая распределению вероятностей P. Доказать равенство P((a, b]) = F (b) − F (a) для любых
−∞ < a < b < ∞.
Решение
В силу определения вероятностной меры
P((−∞, a]) + P((a, b]) = P((−∞, b]).
В соответствии с определением функции распределения
выполнено F (a)+P((a, b]) = F (b). Окончательно получаем
P((a, b]) = F (b) − F (a).
Задача решена.
Приведем простейшие примеры функций распределения.
1) Пусть

 0, x < 0;
x, 0 ≤ x ≤ 1;
F (x) =

1, x > 1.
В этом случае соответствующее распределение вероятностей λ называют мерой Лебега на отрезке [0, 1]. Ясно, что
для любых a < b ∈ [0, 1] выполнено
λ((a, b)) = λ([a, b)) = λ((a, b]) = λ([a, b]) = b − a.
2) Пусть
F (x) =
0, x < c;
1, x ≥ c.
Соответствующее распределение вероятностей:
0, c ∈
/ A,
P(A) =
1, c ∈ A,
если A ∈ B(R).
26
Самые распространенные виды распределений — дискретное
и абсолютно непрерывное распределения вероятностей.
N Определение 5.4. Последовательность {pn }n∈N называется дискретным распределением вероятностей на (не более
чем
P счетном) множестве X, если pk = P({xk }), X = {xk , k ∈ N},
k pk = 1.
Иными словами, в дискретном случае вся вероятность сосредоточена не более чем в счетном числе точек. Найдем функцию распределения дискретного распределения вероятностей
{pn }n∈N . Пусть x ∈ R. Пусть, кроме того, k ∈ N — такое число, что x ∈ [xk−1 , xk ), где x0 = −∞. Тогда
X
X
F (x) = P((−∞, x]) =
P({xi })+P((−∞, x]\{xi , i < k}) =
pi .
i<k
i<k
Приведем важнейшие примеры дискретных распределений.
1) Дискретное равномерное распределение на множестве
{1, . . . , N } определяется следующим образом: X
=
1
{1, . . . , N }, pk = N , где k ∈ {1, . . . , N }.
2) Распределение Бернулли с параметром p ∈ (0, 1): X =
{0, 1}, P({0}) = 1 − p, P({1}) = p (физическая модель —
бросок несимметричной монеты).
3) Биномиальное распределение с параметрами (n, p), у которого n ∈ N, p ∈ (0, 1): X = {0, 1, . . . , n}, P({k}) =
Cnk pk (1 − p)n−k , k ∈ {0, 1, . . . , n} (физическая модель — количество успехов в n независимых испытаниях в схеме Бернулли).
4) Пуассоновское распределение с параметром λ > 0: X = Z+ ,
k
P({k}) = λk! e−λ , k ∈ Z+ (физическая модель — n независимых испытаний в схеме Бернулли с параметром λ/n, где
n λ).
Разумеется, не менее важным предметом изучения являются
меры, не являющиеся дискретными. Так, например, распределение цены акции не является дискретным, так как эта цена
27
может принимать любые значения из некоторого континуального множества, причем вероятностная мера любого интервала
из этого множества может быть ненулевой. Важным частным
случаем таких распределений являются абсолютно непрерывные
распределения.
N Определение 5.5. Пусть P — распределение вероятностей,
а F — соответствующая функция распределения. Пусть существует такая неотрицательная функция p(t), t ∈ R, что
Z
p(t)dt = 1
(1)
R
и значения функции распределения F определяются равенством
Zx
F (x) =
p(t)dt.
−∞
Тогда распределение P называется абсолютно непрерывным, а
функция p называется плотностью распределения P, соответствующего функции распределения F .
Можно показать, что любая такая неотрицательная функция
p(t), удовлетворяющая равенству (1), является плотностью
некоторого распределения. В связи с этим любую такую функцию p называют плотностью. Из формулы Ньютона–Лейбница
следует, что если функцию распределения F является дифференцируемой, то существует плотность p(x) = F 0 (x).
Следующая теорема помогает считать вероятности любых
событий из B(R) с помощью плотности.
Теорема
5.2.
Если p(x) — плотность распределения вероятностей P, то для любого множества
B ∈ B(R)
R
выполнено равенство P(B) = B p(x)dx.
Приведем важнейшие примеры абсолютно непрерывных распределений.
28
1) Равномерное распределение на [a, b] определяется следуюI
(t)
щим образом: p(t) = [a,b]
.
b−a
2) Нормальное (гауссовское) распределение с параметрами
(a, σ 2 ), где a ∈ R, σ 2 > 0: p(t) =
√ 1
e−
2πσ 2
(t−a)2
2σ 2
.
3) Гамма-распределение с параметрами (α, β), где α > 0, β >
β β−1
t
0: p(t) = αΓ(β)
e−αt I(0,∞) (t).
4) Экспоненциальное распределение с параметром λ > 0:
p(t) = = λe−λt I(0,∞) (t).
5) Распределение Коши с параметром θ > 0: p(t) =
θ
.
π(t2 +θ 2 )
N Задача 5.2. Найдите функцию распределения экспоненциального распределения с параметром λ > 0.
Решение
По определению
Z x
Z
F (x) =
p(t)dt =
−∞
x
λe−λt dtI(x > 0) = (1−e−λx )I(x > 0).
0
Задача решена.
Как уже было сказано выше, иногда приходится рассматривать события, определяемые числовыми векторами. Заметим,
что, например, при нескольких подбрасываниях монетки для
определения вероятностей событий недостаточно задать вероятностную меру на B(R). В этой связи используют борелевскую
сигма-алгебру на Rn , определяемую как минимальная сигмаалгебра, содержащая множества вида B1 × B2 × . . . × Bn , где
Bi ∈ B(R) для всех i ∈ {1, . . . , n}. Пусть P — вероятностная мера
на (Rn , B(Rn )). Тогда она называется распределением вероятностей на Rn . Функция F : Rn → [0, 1], значения которой определяются равенством F (x1 , . . . , xn ) = P((−∞, x1 ] × . . . × (−∞, xn ]),
называется функцией распределения, соответствующей распределению P.
Для перечисления свойств многомерной функции распределения введем некоторые обозначения. Пусть x = (x1 , . . . , xn ),
29
y = (y1 , . . . , yn ), xi ≥ yi для всех i ∈ {1, . . . , n}. Тогда будем
писать x ≥ y. Кроме того, множество (−∞, x1 ] × . . . × (−∞, xn ]
обозначим (−∞, x]. Пусть x1 , x2 , . . . — такая последовательность
векторов в Rn , что xk+1 ≥ xk для всех k ∈ N, limk→∞ xki = xi для
всех i ∈ {1, . . . , n}. В этом случае будем писать xk ↑ x. Если же,
при прочих равных предположениях, xk+1 ≤ xk для всех k ∈ N,
то xk ↓ x.
N Свойства многомерной функции распределения:
1) Пусть i ∈ {1, . . . , n}, ai < bi . Обозначим
∆iai ,bi F (x1 , . . . , xn ) =
= F (x1 , . . . , xi−1 , bi , xi+1 , . . . , xn ) − F (x1 , . . . , xi−1 , ai , xi+1 , . . . , xn ).
Тогда для любых a1 < b1 , . . . , an < bn выполнено
∆1a1 ,b1 . . . ∆nan ,bn F (x1 , . . . , xn ) ≥ 0
(аналог неубывания).
2) Справедливы равенства
lim
x1 →+∞,...,xn →+∞
∀i ∈ {1, . . . , n}
F (x1 , . . . , xn ) = 1,
lim F (x1 , . . . , xn ) = 0.
xi →−∞
3) Если xk ↓ x, то F (xk ) → F (x) (аналог непрерывности справа).
Теорема
5.3.
Если функция F : Rn → [0, 1] удовлетворяет
свойствам 1), 2) и 3), то существует единственное многомерное распределение P такое,
что F является функцией распределения для
P.
Утверждение этой теоремы оправдывает введение следующего определения. Функция F : Rn → [0, 1], удовлетворяющая свойствам 1), 2) и 3), называется многомерной функцией распределения.
30
В качестве примера рассмотрим многомерную функцию распределения F 1 (x1 ) . . . F n (xn ), соответствующую распределению
P1 × . . . × Pn , где F 1 , . . . , F n — одномерные функции распределения, соответствующие распределениям P1 , . . . , Pn . Частным случаем такой функции является функция
F (x1 , . . . , xn ) =

=

Y
xi  I(x1 > 0, . . . , xn > 0)+I(x1 > 1, . . . , xn > 1),
i∈{1,...,n}: xi ∈[0,1]
соответствующая мере Лебега на [0, 1]n .
В рассмотренном примере функции F 1 , . . . , F n называются
маргинальными функциями распределения, а соответствующие
распределения вероятностей — также маргинальными. Вообще
говоря, маргинальные распределения можно определить и в общем случае равенством Pi (B) = P(R × . . . × R × B × R × . . . × R),
где множество B ∈ B(R) стоит на i-ом месте (маргинальной является соответствующая Pi функция распределения).
В многомерном случае также рассматривают дискретные и
абсолютно непрерывные распределения вероятностей.
N Определение 5.6. Последовательность чисел {pk }k∈N называется дискретным многомерным распределением вероятностей на (не более чем счетном)
множестве X ⊂ Rn , если pk =
P
P({xk }), X = {xk , k ∈ N}, k pk = 1. Многомерное распределение с функцией распределения F : Rn → [0, 1] называется абсолютно непрерывным, если существует такая неотрицательная
функция p(t), t ∈ Rn , что
Zx1
Zxn
F (x1 , . . . , xn ) =
...
p(t1 , . . . , tn )dt1 . . . dtn .
−∞
−∞
Функция p называется плотностью распределения. Как и в одномерном случае, если F (x1 , . . . , xn ) — всюду дифференцируемая по каждому аргументу функция распределения некоторого
n
абсолютно непрерывного распределения, то p(x) = ∂x1∂...∂xn F (x).
Вероятности событий в многомерном случае могут быть
посчитаны с помощью следующей теоремы.
31
Если p(x1 , . . . , xn ) — плотность распределения вероятностей P, то для любого множества
B ∈ B(Rn ) выполнено равенство P(B) =
R
p(x1 , . . . , xn )dx1 . . . dxn .
B
Теорема
5.4.
N Задача 5.3. Пусть P — вероятностная мера на (R2 , B(R2 )),
определенная равенством P = P1 × P2 , где P1 и P2 — равномерные распределения на [0, 2]. Найдите P({(x, y) : 1 ≤ xy ≤ 2}).
Решение
Функция распределения вероятностей, соответствующая
распределению вероятностей P1 × P2 , равна F1 (x1 )F2 (x2 ),
где Fi (x) — функция распределения, соответствующая
распределению Pi , при каждом i ∈ {1, 2}. Следовательно,
плотность распределения P1 × P2 равна
p(x1 , x2 ) =
∂2
F1 (x1 )F2 (x2 ) = p1 (x1 )p2 (x2 ),
∂x1 ∂x2
где pi — плотность Pi , i ∈ {1, 2}. Тогда
Z
P({(x, y) : 1 ≤ xy ≤ 2}) =
p(x)p(y)dxdy =
1≤xy≤2
Z
1
I(0 ≤ x, y ≤ 2)dxdy =
4 1≤xy≤2
Z Z
Z Z
1 2 2/x
1 1 2
dxdy +
dxdy =
=
4 1/2 1/x
4 1 1
ln 2
1
1
2
=
.
(2x − ln x)|1/2 + (2 ln x − x)|1 =
4
4
=
Задача решена.
N Задачи для самостоятельного решения
1. Пусть F (x) — функция распределения, соответствующая
распределению вероятностей P. Доказать равенства:
32
1) P([a, b]) = F (b) − F (a−);
2) P((a, b)) = F (b−) − F (a);
3) P([a, b)) = F (b−) − F (a−);
4) P({x}) = F (x) − F (x−).
2. Показать, что каждая из функций
G1 (x, y) = I(x + y ≥ 0), G2 (x, y) = [x + y],
где [·] — целая часть числа, является непрерывной справа,
возрастающей по каждой переменной, но не является функцией распределения в R2 .
3. Пусть λ1 , . . . , λn — неотрицательные числа, λ1 +. . .+λn = 1.
Пусть, кроме того, P1 , . . . , Pn — распределения вероятностей на (Rk , B(Rk )), а F1 , . . . , Fn — соответствующие им
функции распределения. Верно ли, что функция λ1 F1 +. . .+
λn Fn является функцией распределения? Если да, то для
какого распределения вероятностей?
4. Пусть λ1 , . . . , λn — неотрицательные числа, λ1 + . . . + λn =
1. Пусть, кроме того, P1 , . . . , Pn — абсолютно непрерывные
распределения вероятностей на (Rk , B(Rk )), а p1 , . . . , pn —
соответствующие плотности. Верно ли, что функция λ1 p1 +
. . . + λn pn является плотностью? Если да, то для какого
распределения вероятностей?
5. Плотность абсолютно непрерывного распределения P, заданного на (R, B(R)), равна p(x). Найти функцию распределения, если
θ
1) p(x) = π(θ2 +(x−x
(распределение Коши с параметром
2
0) )
θ и смещением x0 );
2) p(x) =
[a, b]);
1
I(a
b−a
≤ x ≤ b) (равномерное распределение на
3) p(x) = k(x − 1)k−1 I(1 ≤ x ≤ 2), k ∈ N;
4) p(x) = xe−x I(x > 0) (гамма-распределение с параметрами 1, 2).
33
6. Пусть P — дискретное распределение вероятностей на
(R, B(R)), p(x) = P({x}).
1) Найти функцию распределения, соответствующую рас1
пределению вероятностей P, если p(x) = 2N
I(x ∈ A),
где
A = {1, . . . , N } ∪ {2N + 1, . . . , 3N }
(равномерное распределение на множестве A).
2) Найти P(2Z+ ), где 2Z+ — множество неотрицательных
четных чисел, если
p(x) =
λx e−λ
I(x ∈ Z+ ),
x!
где λ > 0 (пуассоновское распределение с параметром
λ).
3) Найти функцию распределения, соответствующую распределению вероятностей P, и P(2Z+ ), если
p(x) = p(1 − p)x−1 I(x ∈ N),
где p ∈ (0, 1) (геометрическое распределение с параметром p).
7. Метеорологическая станция при прогнозе температуры исходит из предположения, что распределение температуры
— экспоненциальное с параметром 1 и со смещением θ, причем величина θ зависит от месяца, в который составляется
прогноз. Пусть θ1 = 0 — смещение температуры в апреле,
а θ2 = 5 — в мае. Найти вероятность того, что суммарная
температура при одном измерении в апреле и одном в мае
не превзойдет числа c = 15, если измерения будут производиться независимо.
Замечание. Задачу можно переформулировать следующим
образом. Пусть P — вероятностная мера на (R2 , B(R2 )),
определенная равенством P = P1 × P2 , где плотность распределения P1 равна e−(x−θ1 ) I(x ≥ θ1 ), плотность распределения P2 равна e−(x−θ2 ) I(x ≥ θ2 ). Нужно найти P({(x, y) :
x + y ≤ 15}).
34
8. Пусть P — вероятностная мера на (R3 , B(R3 )), определенная
равенством P = P1 ×P2 ×P3 , где P1 и P2 — равномерные распределения на [0, 1], P3 — экспоненциальное распределение
с параметром λ > 0. Найдите
1) P({(x, y, z) : x + y + z ≤ 3});
2) P({(x, y, z) : x − y + z ≥ 0});
3) P({(x, y, z) : 1/2 ≤ xy ≤ 3z}).
9. Стрелок в тире стреляет в «четверть круга», то есть в область D = {(x, y) : x2 + y 2 < 1, x > 0, y > 0}. Распределение вероятности попадания P — равномерное в области
D. Иными словами, плотность такого распределения равна
1
p(x, y) = π/4
I((x, y) ∈ D). Найдите
1) функцию распределения и плотность маргинального
распределения вероятностей P1 , равной проекции P по
первой координате;
2) вероятность попадания стрелка в квадрат [0, 34 ] × [0, 43 ];
3) вероятность попадания в отрезок [ 12 , 34 ] по оси y.
10. * Пусть P — вероятностная мера на (R2 , B(R2 )), определенная равенством P = P1 × P2 , где P1 — экспоненциальное
распределение с параметром λ1 > 0, P2 — пуассоновское
распределение с параметром λ2 > 0. Найдите
1) P({(x, y) : x + y ≤ 1});
2) P({(x, y) : x/y ≥ 2}).
35
6. Случайные величины
Как уже было замечено в предыдущей главе, случайные
события часто описывают исходы экспериментов, результатами
которых являются действительные числа или векторы чисел.
Так, например, при бросании игральной кости может выпасть
одна из шести граней. То есть при построении вероятностной
модели множество элементарных событий будет содержать 6
элементов. Результатом подбрасывания будет служить число,
принадлежащее множеству {1, . . . , 6}. Таким образом, каждому
событию соответствует некоторое число. Это и есть случайная
величина. Введение понятия случайной величины и изучение
ее свойств позволило упростить процесс подсчета вероятностей
событий, а также доказать некоторые предельные теоремы.
Прежде чем определить случайные величины, напомним определение измеримой функции. Пусть Ω — некоторое множество,
F — σ-алгебра на нем. Пусть, кроме того, E — σ-алгебра на
некотором множестве E.
N Определение 6.1. Отображение f : Ω → E называется
F|E-измеримым, если для любого множества B ∈ E его прообраз
f −1 (B) := {ω ∈ Ω : f (ω) ∈ B}
принадлежит F. Пары (Ω, F), (E, E) называются измеримыми
пространствами. Если (Ω, F, P) — вероятностное пространство,
то f называется случайным элементом. Если отображение
ξ : Ω → R является F|B(R)-измеримым, то оно называется
случайной величиной. Если отображение ξ : Ω → Rn является
F|B(Rn )-измеримым, то оно называется случайным вектором.
Говорят также, что ξ является F-измеримой случайной величиной (F-измеримым случайным вектором).
Для упрощения записи вероятностей событий, связанных со
случайными величинами, вводятся обозначения:
P({ω : ξ(ω) ∈ B}) = P(ξ ∈ B),
P({ω : ξ(ω) < x}) = P(ξ < x),
P({ω : ξ(ω) = x}) = P(ξ = x),
36
Fξ = {ξ −1 (B), B ∈ B(Rn )}.
Приведем простейшие примеры случайных величин.
1) Пусть Ω = {ω1 , ω2 }, F = 2Ω , P({ω1 }) = p. Пусть, кроме
того, ξ : Ω → {0, 1}, ξ(ω1 ) = 1, ξ(ω2 ) = 0. Тогда имеем:
P(ξ = 1) = p, P(ξ = 0) = 1 − p.
2) Пусть Ω — произвольное множество, F — σ-алгебра на нем
и A ∈ F. Случайная величина IA : Ω → {0, 1}, где IA (ω) = 1
в том и только том случае, когда ω ∈ A, называется индикатором события A.
Напомним, что функция f : Rn → Rk называется борелевской, если она является B(Rn )|B(Rk )-измеримой. Справедлива
следующая теорема.
Теорема
6.1.
Если ξ — n-мерный случайный вектор, f :
Rn → Rk — борелевская функция, то η = f (ξ)
— k-мерный случайный вектор.
Из этого, в частности, следует, что если ξ, η — случайные
величины, то ξ + η, ξ − η, ξη, (ξ/η)I(η 6= 0) — тоже случайные
величины.
Теорема 6.2
(критерий
измеримости).
Пусть (Ω, F), (E, E) — измеримые пространства. Функция X : Ω → E является случайным элементом тогда и только тогда, когда существует система M ⊆ E такая, что
σ(M) = E и для любого M ∈ M его прообраз
X −1 (M ) принадлежит F.
N Задача 6.1. Докажите, что функция ξ : Ω → Rn ,
ξ = (ξ1 , . . . , ξn ), является случайным вектором тогда и
только тогда, когда ξ1 , . . . , ξn — случайные величины.
37
Решение
Если ξ — случайный вектор, то для любых i ∈ {1, . . . , n},
B ∈ B(R) прообраз ξ −1 (R × . . . × R × |{z}
B ×R × . . . × R)
i
принадлежит F. Очевидно, ξi−1 (B) = ξ −1 (R × . . . × R ×
B ×R × . . . × R) ∈ F. Следовательно, ξi — случайная
|{z}
i
величина.
Пусть ξ1 , . . . , ξn — случайные величины. Рассмотрим систему
M = {B1 × . . . × Bn , B1 , . . . , Bn ∈ B(R)}
подмножеств в Rn . В силу определения борелевской σалгебры, выполнено равенство σ(M) = B(Rn ). Кроме того,
для любого множества B = B1 × . . . × Bn ∈ M имеем:
ξ
−1
(B) =
n
\
ξ −1 (Bi ) ∈ F.
i=1
По критерию измеримости ξ — случайный вектор.
Задача решена.
Заметим, что свойство измеримости при определении случайных векторов необходимо для подсчета вероятностей свойств,
связанных со значениями случайных векторов. Иными словами,
нас интересуют вероятности P(ξ ∈ B), B ∈ B(Rn ). Легко
доказать, что функция Pξ : B(Rn ) → [0, 1], значения которой
задаются равенством Pξ (B) = = P(ξ ∈ B), является вероятностной мерой. В этой связи вводят следующие определения.
N Определение 6.2. Распределение вероятностей Pξ
называется распределением случайного вектора (случайной
величины) ξ. Функция распределения Fξ , которая соответствует распределению Pξ , называется функцией распределения
случайного вектора (случайной величины) ξ. Иными словами,
Fξ (x) = P(ξ ≤ x). Если распределение Pξ является абсолютно непрерывным, то плотность распределения pξ называется
плотностью распределения случайного вектора (случайной
38
величины) ξ. Случайный вектор (случайная величина) ξ в этом
случае называется абсолютно непрерывным. Если распределение Pξ является дискретным, то и случайный вектор (случайная
величина) ξ называется дискретным.
Рассмотрим несколько примеров нахождения функций распределения и плотностей случайных величин.
1) Пусть дискретная случайная величина ξ принимает с вероятностью 14 каждое из значений 0, 1, 2, 3. Тогда функция
распределения такой случайной величины будет равна
1
1
3
I(0 ≤ x < 1) + I(1 ≤ x < 2) + I(2 ≤ x < 3) + I(x ≥ 3).
4
2
4
2) Пусть случайная величина ξ равна значению в точке, случайно выбранной на отрезке [1, 4] (см. геометрические вероятности). Тогда случайная величина ξ является абсолютно непрерывной, ее функция распределения Fξ (x) равна
x−1
I(1 ≤ x < 4) + I(x ≥ 4), а плотность pξ (x) = 13 I(1 ≤ x ≤
3
4).
N Задача 6.2. Случайная величина ξ принимает значения в
интервале (a, b), где −∞ ≤ a < b ≤ ∞, и имеет плотность f (x).
Функция ϕ(x) — строго монотонная и дифференцируема на
(a, b), причем ϕ0 (x) 6= 0 на (a, b). Вычислите плотность случай√
ной величины η = ϕ(ξ). Найдите плотность распределения ξ,
если ξ имеет экспоненциальное распределение с параметром λ.
Решение
Найдем функцию распределения случайной величины η.
Имеем Fη (x) = P(η ≤ x) = P(ξ ≤ ϕ−1 (x)), если ϕ возрастает, и Fη (x) = P(ξ ≥ ϕ−1 (x)), если ϕ убывает. Дифференцируя эти равенства, в первом случае получаем
39
pη (x) =
pξ (ϕ−1 (x))
I(a < x < b),
ϕ0 (ϕ−1 (x))
а во втором —
pξ (ϕ−1 (x))
I(a < x < b).
ϕ0 (ϕ−1 (x))
√
Пусть теперь ξ ∼ Exp(λ), а ϕ(x) = x — возрастающая
на (0, ∞) функция. Тогда при x > 0 имеем
pη (x) = −
p√ξ (x) =
2
pξ (x2 )
√
= 2xλe−λx .
2
1/(2 x )
2
Окончательно: p√ξ (x) = 2xλe−λx I(x > 0).
Задача решена.
N Задачи для самостоятельного решения
1. Если |ξ| является F-измеримой функцией, то верно ли, что
ξ также F-измерима?
2. Пусть ξ, η — две случайные величины, заданные на (Ω, F).
Пусть, кроме того, A ∈ F. Докажите, что функция
ζ(ω) = ξ(ω)I(ω ∈ A) + η(ω)I(ω ∈ A)
также является случайной величиной.
3. * Пусть ξ, η — две случайные величины, заданные на (Ω, F).
Докажите, что {ξ = η} ∈ F (по определению {ξ = η} = {ω :
ξ(ω) = = η(ω)}).
4. Случайная величина ξ имеет экспоненциальное распределение с параметром λ. Найдите плотности распределения
случайных величин:
1) ξ k , k ∈ N,
2)
1
λ
ln ξ,
3) {ξ}, где {·} — дробная доля,
40
4) 1 − e−αξ .
5. Случайная величина ξ имеет стандартное распределение
Коши. Найдите плотности распределения случайных вели2ξ
ξ2
1
1
чин 1+ξ
2 , 1+ξ 2 , 1−ξ 2 , ξ .
6. Случайная величина ξ равномерно распределена на интервале (a, b), где −∞ < a < b < ∞. Найдите плотность распределения случайной величины ξ 2 .
7. Плотность распределения случайного вектора (ξ, η) равна
1
I(x2 + y 2 < 1, x > 0, y > 0).
π/4
Найдите плотности случайных величин ξ, η, ξ + η.
8. Вебграфом G называется ориентированный граф, вершины которого 1, . . . , N соответствуют страницам в Интернете, а ребра — ссылкам. Один из самых известных факторов
поиска называется PageRank. Идея PageRank основывается на следующей модели поведения пользователя. В каждый момент времени n ∈ N пользователь либо переходит
по ссылке с вероятностью 0.85 (равновероятно по каждой
ссылке), либо выбирает произвольную страницу с вероятностью 0.15 (равновероятно каждую страницу). В момент
времени n = 0 пользователь выбирает каждую страницу с
вероятностью 1/N . Пусть ξ1 — номер страницы, на которой пользователь оказался в момент времени 1, ξ2 — в момент времени 2. Если G — ориентированный простой цикл
или полный граф с петлями, то придумайте вероятностное
пространство и задайте на нем случайный вектор (ξ1 , ξ2 ).
Найдите его распределение.
9. Пусть ξ — случайная величина с непрерывной функцией
распределения F . Каково распределение случайной величины F (ξ)?
10. * Пусть ξ1 , ξ2 , . . . — бесконечная схема Бернулли, причем
P(ξi = 1) = P(ξi = 0) =
41
1
2
для любого i ∈ N. Придумайте вероятностное пространство с заданными на нем случайными величинами ξ1 , ξ2 , . . .
и функцию f : R∞ → R такую, что
1
P(f (ξ1 , ξ2 , . . .) = 1) = .
3
42
7. Независимость, формула свертки
N Определение 7.1. Случайные векторы ξ (n-мерный),
η (k-мерный), заданные на одном и том же вероятностном пространстве (Ω, F, P), называются независимыми, если
для любых B1 ∈ B(Rn ), B2 ∈ B(Rk ) справедливо равенство
P(ξ ∈ B1 , η ∈ B2 ) = P(ξ ∈ B1 )P(η ∈ B2 ).
Далее все определения и утверждения будем приводить для
случайных величин для простоты обозначений, определения и
утверждения для случайных векторов аналогичны.
N Определение 7.2. Случайные величины ξ1 , . . . , ξn ,
заданные на одном и том же вероятностном пространстве
(Ω, F, P), называются попарно независимыми, если для любых
i 6= j ∈ {1, . . . , n} случайные величины ξi и ξj независимы.
Случайные величины ξ1 , . . . , ξn независимыми в совокупности
(или просто независимы), если для любых B1 , . . . , Bn ∈ B(R)
выполнено P(ξ1 ∈ B1 , . . . , ξn ∈ Bn ) = P(ξ1 ∈ ∈ B1 )·. . .·P(ξn ∈ Bn ).
Случайные величины из набора {ξα }α∈A называются независимыми, если для любого n ∈ N и любых t1 , . . . , tn ∈ A случайные
величины ξt1 , . . . , ξtn независимы в совокупности.
Те же определения верны и для наборов случайных элементов.
N Задача 7.1. Случайные величины ξ1 , . . . , ξn , имеющие дискретные распределения, являются независимыми в совокупности
тогда и только тогда, когда для любых x1 , . . . , xn ∈ R справедливо равенство P(ξ1 = x1 , . . . , ξn = xn ) = P(ξ1 = x1 ) · . . . · P(ξn = xn ).
Решение
Пусть B1 , . . . , Bk — борелевские множества. Пусть, кроме
того, xj1 , . . . — все значения случайной величины ξj (конечное или счетное количество), попадающие в множество Bj ,
для любого j ∈ {1, . . . , n}. Тогда в силу свойства непрерывности вероятностной меры
43
P(ξ1 ∈ B1 , . . . , ξn ∈ Bk ) = P
!
∞
n [
\
{ξj = xjs }
=
j=1 s=1
∞
[
=P
...
s1 =1
=
lim
!
{ξ1 = x1s1 , . . . , ξn = xnsn }
=
sn =1
k1
[
P
k1 ,...,kn →∞
∞
[
...
s1 =1
kn
[
!
{ξ1 = x1s1 , . . . , ξn = xnsn }
=
sn =1
k1 ,...,kn
=
X
lim
k1 ,...,kn →∞
P(ξ1 = x1s1 , . . . , ξn = xnsn ) =
s1 ,...,sn =1
k1 ,...,kn
=
=
X
lim
k1 ,...,kn →∞
lim
k1 ,...,kn →∞
=P
∞
[
s1 ,...,sn =1
k1
[
P
P(ξ1 = x1s1 ) · . . . · P(ξn = xnsn ) =
!
kn
[
{ξ1 = x1s1 } · . . . · P
s1 =1
!
{ξn = xnsn }
=
sn =1
!
{ξ1 = x1s1 } · . . . · P
s1 =1
∞
[
!
{ξn = xnsn }
=
sn =1
= P(ξ1 ∈ B1 ) · . . . · P(ξn ∈ Bn ).
Задача решена.
Сформулируем критерий независимости в терминах функций
распределения.
Теорема
7.1.
Случайные величины ξ1 , . . . , ξn независимы в
совокупности тогда и только тогда, когда для
любого вектора x ∈ Rn , x =
Qn(x1 , . . . , xn ), справедливо равенство Fξ (x) = i=1 Fξi (xi ), где ξ =
= (ξ1 , . . . , ξn ).
Идея доказательства состоит в применении принципа подходящих множеств, который заключается в следующем. Пусть
44
необходимо доказать, что заданному свойству удовлетворяют все
элементы сигма-алгебры σ(Σ), где Σ — некоторая система множеств. Для этого рассматривается система всех множеств F, удовлетворяющих свойству, а затем доказывается, что, во-первых,
Σ ⊂ F, а во-вторых, F — σ-алгебра. Из этого, очевидно, следует,
что σ(Σ) ⊂ F.
Кроме того, для доказательства теоремы необходимы следующие определения.
N Определение 7.3. Система M подмножеств Ω называется
π-системой, если для любых множеств A, B из M множество A ∩ B также принадлежит M. Система M называется
λ-системой, если
1) Ω ∈ M;
2) если A, B ∈ M, A ⊆ B, то B \ A ∈ M;
3) если A1 , A2 , . . . ∈ M, An ↑ A, то A ∈ M.
При решении задач часто приходится сталкиваться не со
случайными векторами в явном виде, а с некоторыми функциями от них. В таких случаях полезным оказывается следующее
утверждение.
Теорема
7.2.
Пусть ξ = (ξ1 , . . . , ξn1 ), η = (η1 , . . . , ηn2 ) — независимые случайные векторы, причем f : Rn1 →
Rk1 , g : Rn2 → Rk2 — борелевские функции. Тогда векторы f (ξ), g(η) независимы.
Для нахождения распределения суммы двух независимых
случайных величин используется формула свертки. Пусть ξ, η —
независимые случайные величины с функциями распределения
Fξ , Fη соответственно. Тогда
Z ∞
Fξ+η (x) = P(ξ + η ≤ x) =
Fξ (x − t)dFη (t),
−∞
где последний интеграл — интеграл Лебега–Стильтьеса,
который
R∞
может быть записан, как интеграл Лебега −∞ Fξ (x − t)Pη (dt)
(здесь Pη — распределение случайной величины η). Определение
45
и свойства этих интегралов можно найти в [?] с. 310–324, 377–
381, [?] том 1, с. 256–291, а также в разделе 8 данного пособия.
В случае абсолютно непрерывных случайных величин с плотностями pξ , pη формула свертки может быть переписана следующим образом:
Z ∞
Z ∞
Fξ+η (x) =
Fξ (x − t)pη (t)dt, pξ+η (x) =
pξ (x − t)pη (t)dt,
−∞
−∞
где pξ+η — плотность случайной величины ξ + η.
N Задача 7.2. Случайные величины ξ и η независимы и
имеют показательное распределение с параметром 1. Найдите
плотность случайной величины ξ + η.
Решение
По формуле свертки,
Z
∞
pξ (x − t)pη (t)dt =
pξ+η (x) =
−∞
Z
∞
e−(x−t) e−t I(x − t > 0, t > 0)dt =
=
−∞
=e
−x
Z
x
I(x > 0)
dt = xe−x I(x > 0).
0
Задача решена.
N Задачи для самостоятельного решения
1. Пусть {ξα , α ∈ A} — произвольный набор независимых случайных величин. Верно ли, что любой счетный поднабор
ξα1 , ξα2 , . . ., где α1 , α2 , . . . ∈ A — различные элементы, и любые борелевские множества B1 , B2 , . . . ∈ B(R) удовлетворяют равенству
!
∞
∞
Y
\
P(ξαi ∈ Bi ).
P
{ξαi ∈ Bi } =
i=1
i=1
46
2. Пусть ξ1 , ξ2 — случайные величины, каждая из которых не
зависит от случайной величины ξ. Верно ли, что вектор
(ξ1 , ξ2 ) также не зависит от случайной величины ξ?
3. Пусть (Ω, F, P) — некоторое вероятностное пространство и
A — алгебра подмножеств Ω такая, что σ(A) = F. Используя
принцип подходящих множеств, доказать, что для всякого
ε > 0 и B ∈ F можно найти такое множество A ∈ A, что
P(A M B) ≤ ε.
4. Пусть E — π-система множеств. Докажите, что λ(E) = σ(E)
(здесь λ(E) — наименьшая λ-система, содержащая E).
5. Пусть ξ1 , . . . , ξn — независимые одинаково распределенные
случайные величины с функцией распределения F (x). Упорядочим значения ξ1 , . . . , ξn по неубыванию. Возникает новая последовательность случайных величин ξ(1) ≤ . . . ≤ ξ(n) .
Найдите
1) функцию распределения случайной величины ξ(k) для
каждого k ∈ {1, . . . , n};
2) плотность случайной величины ξ(k) , k = 1, . . . , n, если
F (x) имеет плотность f (x);
3) плотность случайного вектора (ξ(1) , ξ(n) ), если F (x)
имеет плотность f (x);
4)* плотность случайного вектора (ξ(1) , . . . , ξ(n) ), если F (x)
имеет плотность f (x).
6. Случайные величины ξ и η независимы и равномерно распределены на отрезке [0, a]. Найдите плотности распределения случайных величин ξ + η, ξ − η, ξη, ξ/η.
7. Напишите формулу свертки для двух дискретных случайных величин, докажите ее (напишите формулу как для дискретной плотности pξ+η (x) = P(ξ + η = x), так и для функции распределения Fξ+η (x)).
8. Случайные величины ξ1 и ξ2 независимы. С помощью формулы свертки найдите распределение ξ1 + ξ2 , если
1) ξi ∼ Bin(ni , p), i = 1, 2;
47
2) ξi ∼ P ois(λi ), i = 1, 2;
3) ξi ∼ N(ai , σi2 ), i = 1, 2;
4) ξi ∼ Γ(αi , λ), i = 1, 2.
9. Случайные величины ξ1 , . . . , ξn независимы и имеют стандартное нормальное распределение. Найдите распределение
случайной величины η = ξ12 + . . . + ξn2 .
10. Пусть X, Y — независимые случайные величины. Найдите
вероятность того, что из отрезков с длинами X, Y и 1 можно
составить треугольник, если
1) X имеет равномерное распределение на отрезке [0, 1], а
Y — экспоненциальное с параметром 1;
2) X имеет равномерное распределение на отрезке [0, 1], а
Y — гамма распределение с параметрами (1, 2).
11. В случайном графе G(n, p) содержится Cnk наборов по k
вершин i1 , . . . , iCnk . Пусть Xj = I(G(n, p)|ij = Kk ), j ∈
{1, . . . , Cnk }, — индикатор того, что индуцированный подграф G(n, p) на наборе ij является полным. Верно ли, что
любые две случайные величины Xj1 , Xj2 независимы? Если
нет, то верно ли, что для любого набора таких случайных
величин из попарной независимости следует независимость
в совокупности?
12. * Для моделирования стандартных нормально распределенных случайных величин используют преобразование Бокса–
Мюллера. Пусть ξ, η — независимые случайные величины, имеющие равномерное распределение
√ в (0, 1]. Докажите,√что величины X = = cos(2πξ) −2 ln η, Y =
sin(2πξ) −2 ln η — независимые стандартные нормальные.
48
8. Математическое ожидание и дисперсия
(дискретный и абсолютно непрерывный
случаи)
Математическое ожидание — это, говоря не строго, среднее
значение, которое принимает случайная величина. Так, среднее
значение, выпадающее на игральной кости, равно 3.5, и математическое ожидание случайной величины, равной значению,
выпавшему на кости, также равно 3.5. Если случайная величина
имеет дискретное распределение, то определение математического ожидание вводится естественным образом как взвешенная
сумма значений случайной величины, и мы его приводим ниже.
N Определение 8.1. Математическим ожиданием случайной величины ξ, имеющей P
дискретное распределение,
называется величина Eξ, равная
x∈X xP(ξ = x), где X —
множество значений ξ.
Заметим, что подсчет математического ожидания можно осуществлять и другим способом, который носит названия формулы
замены переменных. Итак, пусть A1 , A2 , . . . — такое разбиение
множества Ω, что значения случайной величины ξ постоянны на
каждом из Ai . Для каждого i ∈ N рассмотрим произвольный
элемент ωi ∈ Ai . Тогда
X
X
X
X
Eξ =
xP(ξ = x) =
xP(∪i:ξ(ωi )=x Ai ) =
x
P(Ai ) =
x∈X
x∈X
=
X
x∈X
ξ(ωi )P(Ai ) =
i
X
i:ξ(ωi )=x
ξ(ω)P({ω}).
ω∈Ω
Если множество X бесконечное, то сумма в определении
математического ожидания может быть бесконечной или вообще
не существовать. В случае, когда сумма бесконечна, говорят,
что математическое ожидание бесконечно. Если же сумма не
существует, то и математического ожидания не существует.
Если ϕ : R → R — произвольная функция, то Eϕ(ξ) может
49
быть вычислено по формуле
X
Eϕ(ξ) =
ϕ(x)P(ξ = x),
x∈X
где X — множество значений случайной величины ξ.
Посчитаем математические ожидания случайных величин,
имеющих различные дискретные распределения.
1) Пусть ξ ∼ Bern(p), то есть P(ξ = 1) = 1 − P(ξ = 0) = p.
Тогда Eξ = p.
2) Пусть ξ ∼ U {1, . . . , n}, то есть P(ξ = i) =
Тогда
n
1X
n+1
Eξ =
i=
.
n i=1
2
3) Пусть ξ ∼ P ois(λ), то есть P(ξ = k) =
Eξ =
∞
X
kP(ξ = k) = λe−λ
k=0
1
,
n
e−λ λk
.
k!
i ∈ {1, . . . , n}.
Тогда
∞
X
λk−1
= λ.
(k
−
1)!
k=1
Перед тем, как перейти к общему случаю, дадим определение
математического ожидания в абсолютно непрерывном случае.
N Определение 8.2. Математическим ожиданием
случайной величины ξ, имеющей абсолютноR непрерывное рас∞
пределение, называется величина Eξ, равная −∞ xpξ (x)dx.
Заметим, что абсолютно непрерывный случай
ляется естественным обобщением дискретного, так
P(ξ ∈ (x, x + ∆x)) ≈ pξ (x)∆x.
явкак
Посчитаем математические ожидания случайных величин,
имеющих различные абсолютно непрерывные распределения.
1) Пусть ξ ∼ xp(λ), то есть pξ (x) = λe−λx I(x > 0). Тогда, воспользовавшись формулой интегрирования по частям, получаем
Z ∞
Z ∞
Z ∞
1
−λx
−λx
e−λx dx = .
Eξ =
λxe dx = −
xd e
=
λ
0
0
0
50
2) Пусть ξ ∼ N(a, σ 2 ), то есть pξ (x) =
√ 1
e−
2πσ 2
(x−a)2
2σ 2
. Тогда
Z ∞
2
(x−a)2
x
x − a + a − (x−a)
− 2σ2
√
√
Eξ =
dx =
e
e 2σ2 dx =
2πσ 2
2πσ 2
−∞
−∞
r
Z
2
σ 2 ∞ − (x−a)
(x − a)2
2
=
e 2σ d
+ a = a,
2π −∞
2σ 2
R∞
так как −∞ pξ (x)dx = 1.
Z
∞
В общем случае математическим ожиданием
случайной велиR
чины ξ называется интеграл Лебега Ω ξdP. Дадим определение
интеграла Лебега по вероятностной мере P.
Можно показать, что для любой неотрицательной случайной
величины ξ существует такая последовательность неотрицательных простых (т.е. принимающих лишь конечное количество значений) случайных величин ξn , что ξn ↑ ξ (то есть для всех ω ∈ Ω
выполнено ξn (ω) ↑ ξ(ω)). Если случайная величина ξ принимает
только неотрицательные значения, то полагают
Z
Eξ =
ξdP = lim Eξn ,
n→∞
Ω
где ξn — упомянутая выше сходящаяся к ξ последовательность.
Это определение корректно, так как можно доказать, что предел
limn→∞ Eξn не зависит от выбора сходящейся к ξ последовательности ξn . Далее, для произвольных случайных величин
вводятся ξ + = max{ξ, 0} и ξ − = = max{0, −ξ}, причем, очевидно, ξ = ξ + − ξ − . Эти случайные величины неотрицательны,
поэтому можно определить интеграл Лебега для произвольной
случайной величины ξ, как Eξ = Eξ + − Eξ − .
Важным свойством математического ожидания является
свойство линейности.
Теорема
8.1.
Если Eξ существует, то E(cξ) = cEξ. Если существуют и конечны Eξ, Eη, то существует и
E(ξ + η), причем E(ξ + η) = = Eξ + Eη.
51
Как мы знаем, если ξ — случайная величина, а ϕ — борелевская функция, то и ϕ(ξ) — случайная величина. Предположим,
что мы знаем распределение случайной величины ξ. Как вычислить Eϕ(ξ)? Разумеется, можно найти распределение ϕ(ξ), после
чего воспользоваться определением математического ожидания.
Однако проще воспользоваться теоремой о замене переменных
в интеграле Лебега.
Пусть ξ — случайная величина, а ϕ — борелевская функция. Если существует Eϕ(ξ), то
Z
Z
ϕ(ξ(ω))P(dω) =
ϕ(x)Pξ (dx),
Теорема
8.2.
Ω
R
где Pξ — распределение вероятностей случайной величины ξ.
N Задача 8.1. Пусть ξ ∼ P ois(λ). Вычислите Eeξ .
Решение
Имеем
Eeξ =
∞
X
k=0
ek
∞
X
λk e−λ
(eλ)k
= e−λ
= eλ(e−1) .
k!
k!
k=0
Задача решена.
Разумеется, по одному известному среднему значению
случайной величины сложно судить о ее распределении.
Дополнительную информацию дает среднее квадратическое
отклонение от математического ожидания, которое называют
дисперсией.
N Определение 8.3. Дисперсией случайной величины ξ
называется величина Dξ, равная E(ξ − Eξ)2 .
Легко доказать с помощью теоремы 8.1, что дисперсию
можно вычислять по формуле Dξ = Eξ 2 − (Eξ)2 . Для того
52
чтобы воспользоваться любой из этих двух формул, необходимо
применить теорему 8.2. Если ξ1 , ..., ξn — попарно независимые
случайные величины, то D(ξ1 + ... + ξn ) = Dξ1 + ... + Dξn .
N Задача 8.2. Пусть Rn = {1, 2, . . . , n}. Случайная величина
ξ равна количеству элементов Rn , остающихся на своих местах
при случайной перестановке. Найдите Eξ и Dξ.
Решение
Пусть для каждого i ∈ {1, . . . , n} случайная величина ξi
равна индикатору события Ai , которое заключается в том,
что элемент i остался на своем месте после случайной перестановки. Очевидно,
Eξi = P(Ai ) =
1
(n − 1)!
= .
n!
n
Кроме того, ξ = ξ1 + . . . + ξn . Поэтому в силу свойства линейности (теоремы 8.1), Eξ = Eξ1 + . . . + Eξn = 1. Наконец,
2
2
2
Dξ = Eξ − (Eξ) = E(ξ1 + . . . + ξn ) − 1 =
n
X
Eξi ξj − 1 =
i,j=1
=
n
X
i=1
=
n
X
X
Eξi2 + 2
Eξi ξj − 1 =
1≤i<j≤n
Eξi + n(n − 1)Eξ1 ξ2 − 1 = 1 + n(n − 1)
i=1
(n − 2)!
− 1 = 1.
n!
Задача решена.
N Задача 8.3. Случайная величина ξ имеет пуассоновское
распределение с параметром λ. Найдите Eξ, Dξ.
53
Решение
Имеем
Eξ =
∞
∞
∞
X
X
λk e−λ
λk e−λ X λk e−λ
=
=λ
= λ,
k
k!
(k − 1)!
k!
k=1
k=0
k=0
Eξ 2 =
∞
X
∞
k2
k=0
=
∞
X
k=2
λk e−λ X
λk e−λ
(k − 1 + 1)
=
=
k!
(k − 1)!
k=1
∞
∞
X
X
λ e
λk e−λ
λk e−λ
+
= (λ2 + λ)
= λ2 + λ.
(k − 2)! k=1 (k − 1)!
k!
k=0
k −λ
Окончательно, Dξ = Eξ 2 − (Eξ)2 = λ2 + λ − λ2 = λ.
Задача решена.
N Задачи для самостоятельного решения
1. Пусть ξ — номер веб-страницы, выбранный пользователем
случайно из выдачи, в которой показано M страниц (все
страницы пользователь выбирает равновероятно). Найдите
Eξ и Dξ.
2. Экипаж космического корабля, состоящий из k космонавтов, отправился на освоение планет. Космонавты случайно
высаживаются на m планетах. Случайная величина ξ равна количеству планет, на которые никто не высадился при
таком случайном размещении. Найдите Eξ и Dξ, если (а)
планеты неразличимы, (b) планеты различимы.
3. Рассматривается модель случайного графа G(n, p). Найдите EX, если
1) X — количество треугольников (циклов длины 3) в случайном графе;
2) X — количество циклов длины k в случайном графе;
3) X — количество клик (подграфов, являющихся полными графами) мощности k в случайном графе.
54
4. * Рассматривается модель случайного графа G(n, p). Найдите DX , если
1) X — количество треугольников (циклов длины 3) в случайном графе;
2) X — количество клик (подграфов, являющихся полными графами) мощности k в случайном графе.
5. * Пользователь 10 раз вводил поисковый запрос. Считается,
что интервалы времени между i-м и i + 1-м запросами равны ξi минут, i ∈ {1, . . . , 9}, где ξ1 , . . . , ξ9 — независимые случайные величины, распределенные экспоненциально с параметром 1. Пусть X — количество запросов, введенных в
течение первых 5 минут. Найдите EX и DX.
6. Дана случайная величина ξ. Найдите математическое ожидание и дисперсию ξ, если она имеет
1) биномиальное распределение с параметрами (n, p);
2) геометрическое распределение с параметром p (т.е.
P(ξ = = k) = p(1 − p)k−1 , k = 1, 2, . . .);
3) нормальное распределение с параметрами (a, σ 2 );
4) равномерное распределение на отрезке [a, b];
5) гамма-распределение с параметрами (α, λ);
6) бета-распределение с параметрами (α, β).
7. Случайная величина ξ имеет стандартное нормальное распределение. Вычислите Eξ k и E|ξ|k для k ∈ N. Вычислить
те же характеристики, если ξ ∼ N(0, σ 2 ).
8. В случайном графе G(n, p) при определенных условиях число вхождений фиксированного подграфа имеет распределение, близкое к пуассоновскому. При доказательстве этого
факта вычисляют факториальные моменты случайных величин (k-м факториальным моментом случайной величины
ξ называется Eξ(ξ− −1) . . . (ξ − k + 1)). Пусть ξ ∼ P ois(λ).
Найдите k-й факториальный момент случайной величины
ξ.
55
9. Математическое ожидание (другие
случаи), ковариация
В случае, если функция распределения случайной величины
является кусочно-непрерывной (но не кусочно-постоянной), она
не является ни дискретной, ни абсолютно непрерывной, поэтому
приведенные в предыдущей главе способы вычисления математического ожидания не работают. Пусть функция распределения
случайной
величины ξ имеет вид F (x) = F0 (x)I(x ∈ (−∞, a0 )) +
Pn
F
(x)I(x
∈ [ai , ai+1 )), где Fi — дифференцируемые на всей
i
i=1
числовой прямой функции, −∞ = a0 < < a1 < . . . < an+1 = ∞.
Тогда для любой кусочно-непрерывной функции ϕ
n Z ai+1
n
X
X
Eϕ(ξ) =
ϕ(x)Fi0 (x)dx +
ϕ(ai )(Fi (ai ) − Fi−1 (ai )).
ai
i=0
i=1
N Задача 9.1. Случайная величина ξ имеет функцию
распределения F (x) = xI( 41 ≤ x < 12 ) + I(x ≥ 12 ). Найдите Eξ и
Dξ.
Решение
Имеем
Z
Eξ =
1
2
1
4
2
1 1
1 1
1 1
1 1
1
13
· = ·
+ + = ,
−
xdx+ · + 1 −
4 4
2 2
2 4 16
16 4
32
1
2
Z
Eξ =
1
4
1 1
1 1
1 1
1
1 1
17
x dx+ · + 1 −
· = ·
−
+ + = .
16 4
2 4
3 8 64
64 8
96
2
Поэтому Dξ =
17
96
−
169
1024
=
37
.
3072
Задача решена.
N Определение 9.1. Ковариацей случайных величин ξ, η
называется cov(ξ, η) = E((ξ − Eξ)(η − Eη)).
√
Дробь ρ(ξ, η) = cov(ξ,η)
является в некотором смысле мерой
DξDη
зависимости случайных величин ξ, η. Так, если случайные
величины ξ, η независимы, то ρ(ξ, η) = 0. Если же ρ(ξ, η) = ±1,
то случайные величины линейно зависимы. Величина ρ(ξ, η)
56
называется коэффициентом корреляции случайных величин ξ и
η.
N Свойства ковариации:
1) cov(ξ, η) = E(ξη) − EξEη;
2) если ξ, η независимы, то cov(ξ, η) = 0;
3) ковариация билинейна:
cov(a1 ξ1 + a2 ξ2 , η) = a1 cov(ξ1 , η) + a2 cov(ξ2 , η),
cov(ξ, a1 η1 + a2 η2 ) = a1 cov(ξ, η1 ) + a2 cov(ξ,
P η2 );
4) D(ξ1 + ... + ξn ) = Dξ1 + ... + Dξn + i6=j cov(ξi , ξj ).
N Задача 9.2. Приведите пример двух зависимых случайных
величин ξ, η, ковариация которых равна 0.
Решение
Положим Ω = {ω1 , ω2 , ω3 }, ξ(ω1 ) = ξ(ω2 ) = 1, ξ(ω3 ) =
= η(ω3 ) = 0, η(ω1 ) = 1, η(ω2 ) = −1, P(ω1 ) = P(ω2 ) = 41 .
Тогда ξη = η, Eη = 0. Поэтому cov(ξ, η) = Eξη − EξEη = 0.
Случайные величины зависимы, так как P(ξ = 0) = P(η =
0) = P(ξ = 0, η = = 0) = 12 .
Задача решена.
N Задачи для самостоятельного решения
1. Приведите пример двух таких зависимых случайных величин ξ, η, ковариация которых равна 0, что ξ, η являются
гауссовскими.
2. Пусть ξ, η — случайные величины с ненулевыми дисперсиями. Найдутся ли такие ненулевые числа a, b, что случайная
величина aξ + bη не зависит от ξ и от η?
3. Случайная величина ξ имеет следующую функцию распре57
деления:

0,



1,
F (x) = 5x2

4,


1,
если
если
если
если
x < −2;
−2 ≤ x < 1;
1 ≤ x < 2;
x ≥ 2;
Вычислите математическое ожидание и дисперсию ξ.
4. * Случайная величина ξ имеет следующую функцию распределения:

x

если x < −1;
e ,
1
1
F (x) = 8 x + 2 , если −1 ≤ x < 1;


1 − e−x , если x ≥ 1.
Случайная величина η ∼ Bin(1, 0.5) (распределенная по
Бернулли с вероятностью успеха 0.5) задана таким образом, что ξ − η и η независимы. Вычислите E2ξ+η .
5. Случайные величины ξ, η (возможно, зависимые) обладают
конечными дисперсиями: Dξ = σ12 , Dη = σ22 . Указать пределы, в которых может изменяться D(ξ + η).
6. Стрелок в тире стреляет в четверть круга, то есть в область D = {(x, y) : x2 + y 2 < 1, x > 0, y > 0}. Случайный
вектор (ξ, η) является точкой попадания стрелка и имеет
равномерное распределение в D. Найдите cov(ξ, η).
7. Источник генерирует два сигнала в случайные моменты
времени. Пусть первый сигнал генерируется в момент X,
а второй — спустя время Y . Случайные величины X и Y
независимы и имеют показательное распределение с параметром λ. Положим U = X + Y — момент, в который выпускается второй сигнал, V = X/(X + Y ) — доля времени,
которое потребовалось на генерацию первого сигнала. Верно ли, что эта доля V не зависит от общего времени U ?
Найдите распределения случайных величин U и V, а также
cov(U, V ).
58
8. Случайный вектор (ξ, η) имеет плотность
p(ξ,η) (x, y) =
1
−(x2 −2xyr+y 2 )/(2(1−r 2 ))
e
.
2π 1 − r2
√
Вычислите матрицу ковариаций случайного вектора (ξ, η).
Каково распределение случайной величины ξ?
59
10. Виды сходимостей случайных величин
Различают четыре вида сходимости последовательности
случайных величин.
N Определение 10.1. Последовательность случайных
величин ξ1 , ξ2 , . . . сходится почти наверное (или с вероятноп.н.
стью 1) к случайной величине ξ (обозначение ξn −→ ξ), если
P({ω : ξn (ω) → ξ(ω)}) = 1.
N Определение 10.2. Последовательность случайных величин ξ1 , ξ2 , . . . сходится по вероятности к случайной величине
P
ξ (обозначение ξn −→ ξ), если для любого ε > 0 выполнено
P({ω : |ξn (ω) − ξ(ω)| ≥ ≥ ε}) → 0 при n → ∞.
N Определение 10.3. Пусть p > 0 — произвольное число.
Последовательность случайных величин ξ1 , ξ2 , . . . сходится
Lp
в Lp к случайной величине ξ (обозначение ξn −→ ξ), если
E|ξn − ξ|p → 0 при n → ∞.
N Определение 10.4. Последовательность случайных величин ξ1 , ξ2 , . . . сходится по распределению (или слабо сходится)
d
к случайной величине ξ (обозначение ξn −→ ξ), если для любой непрерывной ограниченной функции f : R → R выполнено
Ef (ξn ) → Ef (ξ) при n → ∞.
Теорема
10.1 (о связях между
различными видами
сходимости).
Пусть ξ, ξ1 , ξ2 , . . . — произвольные случайные
п.н.
P
величины. Из ξn −→ ξ следует ξn −→ ξ; из
P
d
ξn −→ ξ следует ξn −→ ξ. Кроме того, для
Lp
P
любого p > 0 из ξn −→ ξ следует ξn −→ ξ.
Во все остальные стороны следствия неверны. Условие
сходимости почти наверное довольно сложно проверять, удобен
для проверки следующий критерий.
60
Теорема
10.2 (критерий сходимости
почти
наверное).
Последовательность
случайных
величин
ξ1 , ξ2 , . . . сходится почти наверное к случайной величине ξ тогда и только тогда,
ε > 0 выполнено
когда для любого
P sup |ξk − ξ| ≥ ε → 0 при n → ∞.
k≥n
Кроме того, есть удобный критерий сходимости по распределению.
Теорема
10.3.
Последовательность
случайных
величин
ξ1 , ξ2 , . . . сходится по распределению к случайной величине ξ тогда и только тогда, когда
для любого x из множества точек непрерывности функции распределения Fξ выполнено
Fξn (x) → Fξ (x) при n → ∞.
N Задача 10.1. Докажите, что в вероятностных пространствах c конечным числом элементарных исходов сходимость с
вероятностью 1 эквивалентна сходимости по вероятности.
Решение
Мы уже знаем, что из сходимости почти наверное следует сходимость по вероятности, поэтому надо доказать обратное следствие. Воспользуемся методом от противного:
пусть на каком-то элементарном исходе нет сходимости,
т.е. ∃ω : ξn (ω) 9 ξ(ω) и P({ω}) = = p > 0. Тогда нет сходимости и по вероятности: действительно, для некоторого
ε > 0 имеем lim P(|ξn − ξ| > ε) ≥ p, так как на элементарn→∞
ном исходе ω числовая последовательность ξn (ω) не сходится к числу ξ(ω).
Задача решена.
N Задача 10.2. Привести пример последовательности
случайных величин {ξn }n≥1 такой, что она сходится по распределению, но не сходится по вероятности.
61
Решение
Рассмотрим событие A такое, что P (A) = 21 (т.е. предполагается, что в рассматриваемом вероятностном пространстве такое событие есть). Пусть ξ1 (ω) = ξ2 (ω) = . . . =
= 1 · I(ω ∈ A) + (−1) · I(ω ∈ A), а ξ = −ξ1 и, как легко
d
видеть, они равны по распределению. Тогда ξn −→ ξ, поскольку распределения у всех случайных величин совпадают. Но P(|ξ−ξn | ≥ 2) = 1 для всех n ∈ N. Следовательно,
последовательность ξ1 , ξ2 , . . . не сходится по вероятности к
ξ.
Задача решена.
N Задачи для самостоятельного решения
1. Докажите, что в вероятностных пространствах cо счетным
числом элементарных исходов сходимость с вероятностью 1
эквивалентна сходимости по вероятности.
2. Случайные величины ξ1 , ξ2 , . . . независимы и имеют распределение Бернулли, причем ξn ∼ Bern(pn ). Найдите необходимое и достаточное условие на числа p1 , p2 , . . . того, что
P
Lp
п.н.
(a) ξn −→ 0; (b) ξn −→ 0, p ≥ 1; (c) ξn −→ 0.
3. Пусть (ξn )n≥1 — последовательность неотрицательных слуп.н.
чайных величин таких, что ξn −−→ ξ и Eξn → Eξ < ∞ при
n → ∞. Докажите, что E|ξn − ξ| → 0.
4. Пусть последовательность случайных величин (ξn )n≥1 сходится по распределению к константе C. Докажите, что тоP
гда ξn −→ C.
5. Пусть (ξn )n≥1 — последовательность случайных величин.
п.н.
Обозначим Sn = ξ1 + . . . + ξn . Покажите, что если ξn −→ ξ
п.н.
P
при n → ∞, то Snn −→ ξ, и что если ξn −→ ξ, то необязательно
Sn
n
P
−→ ξ.
62
6. Пусть последовательность случайных величин (ξn )n≥1 та∞
P
E|ξn |p < ∞.
кова, что для некоторого p > 0 выполнено
n=1
п.н.
Показать, что ξn −−→ 0.
P
P
7. Пусть (ξn − ξ)2 −
→ 0. Показать, что ξn2 −
→ ξ2.
63
11. Случайное блуждание. Лемма
Бореля–Кантелли
Рассмотрим {ξn , n ≥ 1} – такие независимые одинаково
распределенные случайные величины, что P(ξn = 1) = p и
P(ξn = −1) = 1 − p =: q.
N Определение 11.1 Последовательность случайных велиn
P
ξi , S0 = 0, называется простейшим случайным
чин Sn = =
i=1
блужданием на прямой. Если p = q =
блуждание называется симметричным.
1
,
2
то такое случайное
N Задача 11.1. Пусть {Sn , n ∈ N} – простейшее случайное
блуждание на прямой. Найти P(Sn = x).
Решение
Понятно, что искомая вероятность ненулевая, только если n + x четно. Тогда, чтобы Sn = x, нужно, чтобы n+x
2
случайных величин, составляющих Sn , равнялись 1 и n−x
2
равнялись −1. Таким образом, искомая вероятность равна
n+x
n−x
n+x
P(Sn = x) = Cn 2 p 2 q 2 I{n+ +x четно}.
Задача решена.
Обозначим через Nn,x количество путей по целочисленной
решетке из точки (0, 0) в точку (n, x) (объект может двигаться
из точки (m, y) только в (m + 1, y + 1) или в (m + 1, y − 1)).
N Задача 11.2 (принцип отражения). Пусть на плоскости
заданы целочисленные точки A = (a, α) и B = (b, β), причем
b > a ≥ 0, α > 0, β > 0. Тогда число путей из A0 = (a, −α)
в B = (b, β) равно числу путей из A в B, которые касаются
нулевого уровня или пересекают его (иными словами, прямую
(·, 0)).
64
Решение
Сопоставим каждому пути из A0 = (a, −α) в B = (b, β)
путь из A в B, который касается нулевого уровня или пересекает его, следующим образом: найдем ту точку (c, 0),
где путь из A0 в B впервые пересекает нулевой уровень,
и отразим кусок пути до момента времени c симметрично
относительно нулевого уровня. Тем самым мы получили
путь из A в B, который касается или пересекает нулевой
уровень. Легко видеть, что такое сопоставление является
взаимооднозначным, что и требовалось.
Задача решена.
Приведем одну важную лемму, которая используется, например, при доказательстве важнейшего свойства траекторий
случайного блуждания (свойства повторного логарифма). Пусть
(Ω, F, P) – произвольное вероятностное пространство. Тогда для
любых событий A1 , A2 , . . . из F событие {ω : ∀N ∃n > N ω ∈ An }
будем называть An бесконечно часто и обозначать An б.ч. или
limAn .
Лемма 11.1
(Бореля–
Кантелли).
Пусть A1 , A2 , . . . ∈ F — некоторые события.
1. Если
∞
P
P(An ) < ∞, то P(An б.ч.) = 0.
n=1
2. Если события A1 , A2 , . . . – независимы в
∞
P
совокупности и
P(An ) = = ∞, то
n=1
P(An б.ч.) = 1.
N Задача 11.3. Пусть ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных случайных величин, ξi ∼
Exp(1). Показать, что
ξn
= 1 = 1.
P lim
n→∞ ln n
65
Решение
По лемме Бореля–Кантелли имеем
∀ε > 0
∞
X
n−(1−ε) = ∞ =⇒ ∀ε > 0
n=1
∞
X
P (ξn > (1 − ε) ln n) = ∞ =⇒
n=1
ξn
> 1 − ε б.ч. = 1 =⇒
=⇒ ∀ε > 0 P
ln n
ξm
> 1 − ε = 1 =⇒
=⇒ ∀ε > 0 P ∀n ∈ N ∃m > n :
ln m
ξm
1
=⇒ P ∀k ∈ N ∀n ∈ N ∃m > n :
>1−
= 1 =⇒
ln m
k
ξm
=⇒ P ∀ε > 0 ∀n ∈ N ∃m > n :
> 1 − ε = 1 =⇒
ln m
ξn
≥ 1 = 1.
=⇒ P lim
n→∞ ln n
С другой стороны,
∀ε > 0
∞
X
n
−(1+ε)
< ∞ =⇒ ∀ε > 0
n=1
∞
X
P (ξn > (1 + ε) ln n) < ∞ =⇒
n=1
ξn
=⇒ ∀ε > 0 P
> 1 + ε б.ч. = 0 =⇒
ln n
ξm
≤ 1 + ε = 1 =⇒
=⇒ ∀ε > 0 P ∃n ∈ N ∀m > n :
ln m
ξm
1
=⇒ P ∀k ∈ N ∃n ∈ N ∀m > n :
≤1+
= 1 =⇒
ln m
k
ξm
=⇒ P ∀ε > 0 ∃n ∈ N ∀m > n :
≤ 1 + ε = 1 =⇒
ln m
ξn
=⇒ P lim
≤ 1 = 1.
n→∞ ln n
Тем самым P lim lnξnn = 1 = 1.
n→∞
Задача решена.
66
N Задачи для самостоятельного решения
1. (Лемма о баллотировке.) Пусть x, n ∈ N. Тогда доля путей
из (0, 0) в (n, x), которые не пересекают нулевой уровень, от
общего числа путей из (0, 0) в (n, x) составляет nx .
2. Найти вероятность того, что симметричное случайное
блуждание никогда не возвратится в 0. Иными словами,
найти lim P(S2 6= 6= 0, . . . , S2n 6= 0).
n→∞
3. Пусть (Sn ; n ∈ N) — симметричное случайное блуждание на
прямой. Используя принцип отражения, докажите, что
P max Sk ≥ N ; Sn < N = P(Sn > N ).
k≤n
4. Пусть (Sn ; n ∈ N) — симметричное случайное блуждание на
прямой. Используя результат задачи 3, найдите распределение случайной величины Mn = max Sk и найдите асимпk≤n
тотику EMn при n → ∞.
5. Пусть (Sn ; n ∈ N) — случайное блуждание с вероятностью
шага вправо p и шага влево q, p + q = 1. Докажите, что для
m ≤ N выполнено
P max Sk ≥ N ; Sn = m = Cnu pv q n−v ,
k≤n
где v =
n+m
,u
2
= v − N.
6. Пусть (Sn , n ∈ N) — симметричное случайное блуждание на
прямой. Докажите равенство
P max Sk = N ; Sn = m = P(Sn = 2N −m)−P(Sn = 2N −m+2).
k≤n
67
7. Пусть случайное блуждание Sn =
n
P
ξi , где ξi , i = 1, . . . , n,
i=1
независимы в совокупности и P(ξi = a) = p, P(ξi = −b) =
1 − p, a, b ∈ N. Найти P(Sn = x).
8. Пусть ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных
величин c функцией рас случайных
1
−x
· I{x > 0}. Показать, что
пределения F (x) = 1 − x+1 e
ξn
P lim
= 1 = 1.
n→∞ ln n
9. Пусть ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных случайных величин, ξi ∼ N(0, 1). Показать, что
ξn
P lim √
= 1 = 1.
n→∞ 2 ln n
10. Пусть ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных случайных величин, ξi ∼ P ois(λ), λ >
0. Показать, что, независимо от λ,
ξn ln ln n
P lim
= 1 = 1.
n→∞
ln n
68
12. Характеристические функции
N Определение 12.1. Характеристической функцией случайной величины ξ называется функция ϕξ (x) = Eeixξ , где x ∈ R.
N Определение 12.2. Характеристической функцией
случайного вектора ξ = (ξ1 , . . . , ξn ) называется функция
n
P
ξi x i –
ϕξ (x) = Eei<ξ,x> , где x = (x1 , . . . , xn ) ∈ Rn , а < ξ, x >=
i=1
скалярное произведение в Rn .
Приведем примеры характеристических функций.
1. Если ξ ∼ Bern(p), то ϕξ (x) = peix + (1 − p).
2. Если ξ ∼ R[a, b], то ϕξ (x) = Eeiξx =
3. Если ξ ∼ N(0, 1), то ϕξ (x) = e−x
2
/2
1
b−a
Rb
a
eitx dt =
eitb −eita
.
it(b−a)
.
N Свойства характеристической функции
Пусть ϕ(t) — характеристическая функция некоторой случайной
величины ξ.
1) Справедливы соотношения |ϕ(t)| ≤ ϕ(0) = 1.
2) Характеристическая функция случайной величины aξ +b равна ψ(t) = eib ϕ(at).
3) Функция ϕ(t) равномерно непрерывна на R.
4) Функция ϕ(t) принимает только действительные значения тогда и только тогда, когда распределение симметрично относиd
тельно нуля (выполнено равенство ξ = −ξ).
5) Для любого t ∈ R выполнено равенство ϕ(−t) = ϕ(t).
6) Если для некоторого n ≥ 1 выполнено E|ξ|n < ∞, то
при всех r ≤ n существуют производные ϕ(r) (t) и ϕ(r) (t) =
R∞
(r)
(ix)r eitx dF (x), Eξ r = ϕ ir(0) ,
−∞
ϕ(t) =
n
X
(it)r
r=0
r!
Eξ r +
(it)n
εn (t),
n!
где |εn (t)| ≤ 3E|ξ|n и εn (t) → 0, t → 0.
7) Если существует и является конечной ϕ(2n) (0), то Eξ 2n < ∞.
69
n 1/n
8) Пусть E|ξ|n < ∞ для всех n ∈ N и lim supn→∞ (E|ξ|n )
∞, тогда при всех t таких, что |t| < R, выполнено
ϕ(t) =
∞
X
(it)n
n=0
n!
= 1/R <
Eξ n .
N Задача 12.1. Пусть ϕ(t) — характеристическая функция. Доказать, что выполнено неравенство 1 − Re ϕ(2t) ≤
4(1 − Re ϕ(t)).
Решение
Поскольку ϕ(t) = Eeitξ = E cos(tξ) + iE sin(tξ) для некоторой случайной величины ξ, то
1 − Re ϕ(2t) = 1 − E cos(2tξ) = 2E sin2 (tξ) =
tξ
tξ
tξ
= 8E sin2
cos2
≤≤ 8E sin2
=
2
2
2
= 4E(1 − cos(tξ)) = 4(1 − Re ϕ(t)),
что и требовалось.
Задача решена.
Характеристические функции обладают рядом свойств,
благодаря которым их аппарат оказывается очень удобным при
доказательстве некоторых утверждений.
Теорема
12.1
(теорема единственности).
Если ϕξ , ϕη — характеристические функции
случайных векторов ξ = (ξ1 , . . . , ξn ) и η =
(η1 , . . . , ηn ) соответственно и ϕξ (x) = ϕη (x)
d
для всех x ∈ Rn , то ξ = η (то есть случайные
векторы ξ и η имеют одинаковые распределения).
70
Теорема
12.2 (критерий независимости).
Случайные величины ξ1 , . . . , ξn независимы в
совокупности тогда и только тогда, когда выполнено равенство
ϕ(ξ1 ,...,ξn ) (x1 , . . . , xn ) =
n
Y
ϕξj (xj ).
j=1
Из теоремы единственности следует, что для нахождения распределения случайного вектора достаточно знать его характеристическую функцию, а из критерия независимости следует,
что для проверки независимости случайных величин достаточно проверить, что характеристическая функция вектора распадается в произведение характеристических функция компонент.
Таким образом, необходимо иметь способ нахождение функции
распределения (или плотности, если она существует) при известной функции распределения. Это позволяет сделать формула обращения.
Теорема
12.3 (формула обращения).
1. Пусть ϕ — характеристическая функция
некоторой случайной величины ξ, а F —
ее функция распределения. Тогда для любых таких точек a, b ∈ R, что a < b и
функция F непрерывна в них, выполнено
равенство
F (b) − F (a) = lim
Zc
c→∞
−c
2. Если же
R∞
e−ita − e−itb
ϕ(t)dt.
it
|ϕ(t)|dt < ∞, то случайная
−∞
величина ξ имеет плотность p, при этом
1
p(x) =
2π
Z∞
−∞
71
e−itx ϕ(t)dt.
Следующая теорема используется при доказательстве утверждений о сходимости случайных величин по распределению
(в частности, при доказательстве центральной предельной
теоремы).
Теорема
12.4 (непрерывности).
Пусть ϕξn — характеристическая функция
случайной величины ξn .
d
1. Если ξn →
− ξ, то ∀ t ∈ R выполнено
ϕξn (t) −−−→ ϕξ (t), где ϕξ — характериn→∞
стическая функция случайной величины
ξ.
2. Если ∀t ∈ R выполнено ϕξn (t) −−−→ ϕ(t)
n→∞
и функция ϕ(t) непрерывна в точке t =
0, то она является характеристической
для некоторой случайной величины ξ, при
d
этом ξn −→ ξ при n → ∞.
Так как аппарат характеристических функций оказывается
очень полезным, необходимо уметь распознавать, является
ли функция характеристической для какой-либо случайной
величины. Разумеется, если для функции не выполнено хотя
бы одно из вышеперечисленных свойств, то функция не может
быть характеристической.
N Задача 12.2. Является ли функция sin t характеристической?
Решение
Функция sin t не является характеристической, так как
sin 0 = 0.
Задача решена.
Приведем также несколько критериев того, что функция
является характеристической.
72
Теорема
12.5 (Пойа).
Если непрерывная функция φ(t), принимающая
действительные значения, является четной,
выпуклой вниз на (0, ∞) и такой, что φ(0) = 1,
φ(∞) = 0, то она является характеристической для некоторой случайной величины.
Теорема
12.6 (Марцинкевича).
Если функция eP (t) , где P (t) — многочлен, является характеристической, то степень этого многочлена не превышает числа 3.
В завершение сформулируем необходимое и достаточное
условие того, что функция является характеристической.
Теорема
12.7
(Бохнера–
Хинчина).
Пусть функция ϕ является непрерывной и
ϕ(0) = 1. Тогда ϕ является характеристической для некоторого распределения вероятностей в том и только том случае, когда она
неотрицательно определена.
(Функция ϕ(t) называется неотрицательно определенной, если
n
P
ϕ(ti − tj )zi zj ≥ 0.)
∀t1 , . . . , tn ∈ R, ∀z1 , . . . , zn ∈ C выполнено
i,j=1
N Задачи для самостоятельного решения
1. Найдите характеристическую функцию случайной величины ξ, если она имеет
1) биномиальное распределение с параметрами (n, p);
2) пуассоновское распределение с параметром λ;
3) геометрическое распределение с параметром p;
4) нормальное распределение с параметрами (a, σ 2 );
5) гамма-распределение с параметрами (α, λ);
6) распределение Лапласа с параметром θ > 0 (т.е. pξ (x) =
1
= 2θ
e−|x|/θ ).
73
2. С помощью формулы обращения найдите характеристическую функцию случайной величины ξ, если она имеет распределение Коши с параметром θ.
3. Пусть ϕ(t) — характеристическая функция. Покажите, что
выполняются неравенства
2
1) (Im ϕ(t)) ≤
1
2
(1 − Re ϕ(2t)) ;
2
2) (Re ϕ(t)) ≤ 12 (1 + Re ϕ(2t)) ;
t+h
1
1 R
3) 2h
ϕ(u)du ≤ (1 + Re ϕ(h)) 2 .
t−h
n
4. При каких неотрицательных целых n функция ϕ(t) = e−|t|
является характеристической?
5. Выясните, являются ли следующие функции характеристическими:
1) cos t;
2) cos2 t;
3) cos t2 ;
−1
4) e−|t| I{t < 0} + (1 + t2 )
5)
1
;
1+t2
6)
1
.
1+t4
I{t ≥ 0};
6. Пусть ξ1 , ξ2 — независимые случайные величины. С помощью характеристических функций найдите распределение
ξ1 + ξ2 , если
1) ξi имеет нормальное распределение с параметрами
(ai , σi2 ),
2) ξi имеет гамма распределение с параметрами (αi , λ),
3) ξi имеет распределение Коши с параметром θi .
7. Пусть ξ и η — независимые стандартные нормальные случайные величины. Найдите характеристическую функцию
случайной величины ξη.
74
8. Пусть {ξn , n ∈ N} — последовательность нормальных слуd
чайных величин. Докажите, что если ξn −→ ξ, то ξ — тоже
нормальная случайная величина или константа.
9. Случайная величина ξ принимает только целые значения,
а ϕ(t) — характеристическая функция ξ. Доказать, что при
любом натуральном k выполнено
k−1
1X
2πj
P(ξ ≡ 0 (mod k)) =
ϕ
.
k j=0
k
10. С помощью характеристической функции найти все моменты случайной величины ξ, если
1) ξ ∼ Exp(λ);
2) ξ ∼ N(0, σ 2 ).
75
13. Гауссовские векторы, центральная
предельная теорема
N Определение 13.1 Случайный вектор ξ = (ξ1 , . . . , ξn )
называется гауссовским, если его характеристическая функция
ϕξ (x) равна
ei<x,a>−1/2<Σx,x> ,
где a ∈ Rn — произвольный вектор, Σ — симметричная неотрицательно определенная матрица.
Теорема
13.1 (эквивалентные
определения
гауссовского
вектора).
Следующие определения эквивалентны:
1) ξ = (ξ1 , . . . , ξn ) — гауссовский вектор;
2) существуют случайный вектор η =
(η1 , . . . , ηm ), матрица A размера n × m,
вектор b ∈ Rn такие, что η1 , . . . , ηm —
независимые случайные величины, распределенные по закону N(0, 1), ξ = Aη + b;
3) для любых λ1 , . . . , λn ∈ R случайная величина λ1 ξ1 + . . . + λn ξn имеет нормальное
распределение.
Из этой теоремы, в частности, следует, что матрица Σ в
определении гауссовского вектора является матрицей ковариаций этого вектора, а вектор a — вектором математических ожиданий.
Как мы помним, равенство ковариации нулю не является
достаточным условиям для независимости случайных величин.
Тем не менее в случае гауссовских векторов это не так, как
показывает следующая простая теорема.
76
Теорема
13.2 (критерий независимости
компонент
гауссовского вектора).
Пусть ξ = (ξ1 , . . . , ξn ) — гауссовский вектор.
Тогда для любых его подвекторов, не имеющих
общих компонент,
η1 = (ξ1 , . . . , ξj1 ), η2 = (ξj1 +1 , . . . , ξj1 +j2 ), . . . ,
ηk = (ξj1 +...+jk−1 +1 , . . . , ξj1 +...+jk ),
где j1 + . . . + jk = n, векторы
η1 = (η11 , . . . , ηj11 ), . . . , ηk = (η1k , . . . , ηjkk )
независимы в совокупности тогда и только
тогда, когда их ковариации равны нулю: для
любых различных r, s ∈ {1, . . . , k} и для любых
t1 ∈ {1, . . . , jr }, t2 ∈ {1, . . . , js } выполнено равенство cov(ηtr1 , ηts2 ) = 0.
В частности, компоненты гауссовского вектора независимы
тогда и только тогда, когда их ковариации равны нулю.
N Задача 13.1. Пусть X = (ξ, η) — гауссовский вектор. Подберите такие числа x1 , x2 , что случайные величины
η + x1 ξ, η + x2 ξ являются независимыми.
Решение
Так как вектор (η +x1 ξ, η +x2 ξ) является линейным преобразованием вектора X, то он гауссовский. Следовательно,
величины η + x1 ξ и η + x2 ξ независимы тогда и только
тогда, когда cov(η + x1 ξ, η + x2 ξ) = 0. Имеем
cov(η + x1 ξ, η + x2 ξ) = Dη + (x1 + x2 )cov(ξ, η) + x1 x2 Dξ = 0.
q
Положим, например, x1 = −x2 = Dη
.
Dξ
Задача решена.
Стоит также выписать плотность многомерного гауссовского
закона N(a, Σ) :
77
p(x) =
1
(2π)n/2 |Σ|1/2
1 −1
exp − (Σ (x − a), (x − a)) ,
2
она существует при условии положительной определенности
матрицы ковариаций Σ.
Пусть ξ1 , ξ2 , . . . — независимые бернуллиевские случайные
величины с одним и тем же параметром p, q = 1 − p (p не
зависит от n). Обозначим Sn = ξ1 + . . . + ξn . Как известно из
закона больших чисел, дробь Snn сходится по вероятности к
p. Более того, знаменатель n можно заменить на n1/2+δ для
любого положительного δ. На вопрос, что происходит при δ = 0,
отвечает следующая теорема.
Теорема
13.3
(локальная
предельная
теорема).
Пусть ϕ(n) = = o(n2/3 ). Тогда
P(S
=
k)
n
− 1 → 0,
sup
1
2
k: |np−k|≤ϕ(n) √
exp − (k−np)
2πnpq
2npq
n → ∞.
Равномерная сходимость утверждается в интегральной предельной теореме Муавра–Лапласа.
Теорема
13.4 (интегральная
предельная
теорема)
Выполнено соотношение
Z b
Sn − ESn
1 − x22 √ e
sup
≤b −
dx → 0,
P a < √
DSn
2π
−∞≤a<b≤∞ a
N Задача 13.2. По схеме выбора с возвращением выбирается 10000 случайных цифр. Найти приближенное значение
вероятности того, что выбрано от 940 до 1060 девяток.
78
n
Решение
Рассмотрим n = 10000 независимых случайных величин
ξ1 , . . . , ξn , распределенных по Бернулли с параметром 0.1.
Тогда ESn = = pn = 1000, DSn = npq = 900. Следовательно,
P(940 ≤ Sn ≤ 1060) = P(−60 ≤ Sn − ESn ≤ 60) =
Z 2
2
1
Sn − ESn
√ e−x /2 dx = 2Φ(2),
≤ 2) ≈
= P(−2 ≤ √
DSn
2π
−2
Rx
2
где значения функции Φ(x) = √12π e−x /2 dx могут быть
0
найдены в таблице значений функции стандартного нормального распределения. В частности, Φ(2) ≈ 0.477.
Задача решена.
Упомянутые теоремы иногда можно обобщить на случай
p = p(n). Тем не менее они не верны, если np → λ, n → ∞. В
этом случае имеет место сходимость к распределению Пуассона.
Теорема
13.5 (Пуассона).
Если np → λ > 0, то P(Sn = k) → →
λk e−λ
,
k!
d
n → ∞ (иными словами, Sn −→ η, η ∼
P ois(λ)).
N Задачи для самостоятельного решения
1. При наборе текста стенографист ошибается в символе с вероятностью 0.0005. Найти приближенное значение вероятности того, что при наборе 10000 символов стенографист
ошибется не более, чем в трех.
2. Имеется n случайных чисел, выбранных по схеме выбора с
возвращением из {1, . . . , 999999999}. Из этих чисел по очереди вытягиваются числа, делящиеся на 3. При каком ограничении на n можно выбрать 1025 чисел с приближенной
вероятностью, не меньшей 0.95?
79
3. Брошено 1800 игральных костей. Найти приближенное значение вероятности того, что суммарное число появлений 2
и 6 не меньше, чем 620.
4. * В задачах математической статистики часто используется предположение о том, что данные, представленные последовательностью наблюдаемых чисел x1 , x2 , . . ., являются
суммой некоторой детерминированной последовательности
чисел a1 , a2 , . . ., описываемых каким-нибудь простым законом, и случайным шумом, т.е. последовательностью независимых случайных величин ε1 , ε2 , . . ., принимающих небольшие значения. Пусть эти случайные величины имеют следующее распределение:
P(εi = 0) = 0.9997, P(εi = 1) = 0.0001, P(εi = 2) = 0.0002,
где i ∈ {1, 2, . . .}. Найдите вероятность того, что суммарное
значение шума ε1 + . . . + εn для n = 10000 наблюдений не
превосходит числа 3.
5. Пусть (X, Y ) — гауссовский вектор, X = 2ξ + 3η, Y = ξ − η.
Найдите значение cov(ξ, η), при котором случайные величины X и Y независимы, если Dξ = Dη = 1.
6. Пусть (X, Y ) — гауссовский вектор с вектором средних
(0, 0), EX 2 = EY 2 = 2, EXY = 1. Найдите плотность случайной величины arctg Y /X.
7. * Случайные величины X и Y независимы и нормально распределены с параметрами (0, 1). Докажите, что распределение случайной величины Z = √
(X + a)2 + (Y + b)2 зависит
только лишь от величины r = a2 + b2 .
80
Литература
1. Боровков А.А. Теория вероятностей. 3-е издание. – М.: Эдиториал УРСС, 1999.
2. Гнеденко Б.В. Курс теории вероятностей. 8-е издание. – М.:
Эдиториал УРСС, 2005.
3. Колмогоров А.Н., Фомин С.В. Элементы теории функций
и функционального анализа. 7-е издание. – М.: ФИЗМАТЛИТ,
2009.
4. Райгородский А.М. Комбинаторика и теория вероятностей.
– М.: Интеллект, 2013.
5. Севастьянов Б.А. Курс теории вероятностей и математической статистики. – М.: Наука, 1982.
6. Феллер В. Введение в теорию вероятностей и ее приложения. – М.: Мир, 1967.
7. Ширяев А.Н. Вероятность. 4-е издание. – М.: МЦНМО,
2007.
81
Учебное издание
ОСНОВЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Учебное пособие
Составители
Жуковский Максим Евгеньевич
Родионов Игорь Владимирович
Редактор О.П. Котова. Корректор Л.В. Себова
Компьютерная верстка М.Е. Жуковский, И.В. Родионов
Подписано в печать 24.03.2015. Формат 60×84 1 /16 .
Усл. печ. л. 3,25. Уч.-изд.л. 3,0. Тираж 120 экз. Заказ №17.
Федеральное государственное автономное образовательное
учреждение высшего профессионального образования Московский
физико-технический институт(государственный университет)
141700, Московская обл., г. Долгопрудный, Институтский пер., 9
E-mail: rio@mail.mipt.ru
Отдел оперативной полиграфии Физтех-полиграф
141700, Московская обл., г. Долгопрудный, Институтский пер., 9
E-mail: polygraph@mipt.ru