Условная вероятность. Независимость событий.

Условная вероятность. Независимость событий.
Испытания Бернулли
В.В. Некруткин
кафедра статистического моделирования http://statmod.ru, матмех СПбГУ
Материал к практическим занятиям по теории вероятностей, 2014 г.
1
Условная вероятность, формула умножения и формула полной
вероятности
Определение условной вероятности. Представим себе, что мы сидим здесь, в этой комнате,
а в это время кто-то за стенкой проводит случайный эксперимент. В этом эксперименте нас интересует событие A. Если мы ничего не знаем о том, как проходит этот эксперимент, то шансы
осуществиться событию A выражаются для нас числом P(A). Если же кто-то по секрету сообщил
нам, что в эксперименте произошло событие B, то эти шансы вполне могут изменится. Например,
если B ⊂ A, то эти шансы возрастут с P(A) до 1, а если A ∩ B = ∅, то упадут с P(A) до 0.
Все это приводит к следующему определению.
Определение 1.1. Пусть (Ω, F, P) — вероятностное пространство, A, B ∈ F и P(B) > 0. Тогда
условной вероятностью события A при условии B называется число
P(A | B) =
P(A ∩ B)
.
P(B)
(1.1)
Смысл этого определения следующий. Если нам известно, что произошло событие B, то пространство элементарных событий «сужается» до B. В то же время при этом условии событие A
может произойти только вместе с B. Отсюда и получается формула (1.1).
Иногда вместо P(A | B) пишут PB (A), последнее обозначение бывает удобно, если событие B
фиксировано, а A может меняться. В этой ситуации у нас возникает функция PB : F 7→ R.
Предложение 1.1. Пусть (Ω, F, P)— вероятностное пространство, B ∈ F, P(B) > 0 и PB :
F 7→ R — такая функция, что при любом A ∈ F
PB (A) =
P(A ∩ B)
.
P(B)
Тогда (Ω, F, PB ) является вероятностным пространством.
Таким образом, условная вероятность при фиксированном условии является вероятностью,
и, следовательно, обладает всеми ее свойствами. Например, из Предложения 1.1 следует, что
P(AC | B) = 1 − P(A | B). Использование подобных соотношений при решении задач может быть
очень удобно.
1
http://statmod.ru
Формула умножения вероятностей. Перепишем формулу (1.1) (то есть определение условной
вероятности) в виде
P(A ∩ B) = P(A | B)P(B).
(1.2)
Полученное равенство традиционно носит название формулы умножения вероятностей для двух
событий. Вообще говоря, должен вызвать удивление тот факт, что простое равенство, эквивалентное определению, имеет свое собственное название. К этому есть свои причины, причем не
математического характера.
Разберем пример, поясняющий суть дела. Пусть в ящике лежат 7 белых и 5 черных шаров.
Проводят следующий эксперимент: из ящика поочередно достают два шара (именно так: сначала
один, потом — второй). Нужно найти вероятность того, что оба шара белые. Задача, конечно, очень
простая и суть ее не в том, чтобы получить правильный ответ, а в том, чтобы проиллюстрировать
формулу умножения. Пусть B1 — событие, состоящее в том, что первый шар белый, соответственно
событие B2 — второй шар белый. По условию нам нужно вычислить вероятность P(B2 ∩ B1 ).
Запишем согласно (1.2)
P(B2 ∩ B1 ) = P(B2 | B1 )P(B1 ).
(1.3)
А теперь припишем сомножителям, входящим в правую часть (1.3), числовые значения. Очевидно,
P(B1 ) = 7/12 (в начале эксперимента в ящике 12 шаров, из них 7 белых). Чему равно P(B2 | B1 ),
тоже легко понять: после изъятия одного белого шара в ящике осталось 6 белых и 5 черных шаров,
поэтому P(B2 | B1 ) = 6/11. Итого
P(B2 ∩ B1 ) = P(B2 | B1 )P(B1 ) =
6 7
7
·
=
.
11 12
22
(1.4)
Обратите внимание! Мы решили эту задачу совсем не так, как положено в схеме равновозможных
исходов: вместо того, чтобы подсчитывать число элементов пространства элементарных событий
и интересующего нас события B2 ∩ B1 , мы даже не описывали эти множества, а вместо этого сами
задали две вероятности, одна из которых вообще условная!
Попробуем теперь решить эту задачку по-другому, но опять с использованием формулы (1.2).
Запишем
P(B2 ∩ B1 ) = P(B1 ∩ B2 ) = P(B1 | B2 )P(B2 ),
(1.5)
и снова попробуем приписать числовые значения вероятностям P(B1 ) и P(B1 | B2 ). Сразу же видно,
что это не получается так просто и очевидно, как в первом случае.
В чем же дело? Почему простая перестановка событий в формуле (1.2) приводит к такому
странному эффекту? Дело в том, что в нашем упражнении присутствует «направление времени»:
эксперимент состоит из двух частей, и формула (1.3) соответствует их естественному упорядочиванию, а формула (1.5) не соответствует, в ней время «обращено». Поэтому у нас так хорошо все
получилось в первом случае и так плохо — во втором.
Теперь уже можно сформулировать причину нашего интереса к формуле (1.2). Решая задачи
типа только что разобранной, мы на самом деле не вычисляем вероятность «по определению»,
как это делалось в схеме равновозможных исходов, а задаем ее сами, анализируя структуру составного эксперимента. Эксперимент состоит из двух частей, первая из часть «устроена просто»,
нужные нам вероятности, относящиеся к ней, считаются легко. Вторая часть эксперимента зависит
от первой, но если известен результат первой части, то и она «устроена просто».
Нетрудно распространить формулу (1.2) на случай пересечений n событий: Сделайте это сами
— придумайте обобщение формулы (1.2) на случай пересечений n > 3 событий и докажите ее.
2
http://statmod.ru
Формула полной вероятности. Мы сейчас займемся еще одной простой формулой, связанной
с условной вероятностью. Несмотря на свою теоретическую простоту, она имеет очень важное
значение для развития вероятностной интуиции, то есть на самом деле для понимания природы
случайных явлений. Прежде всего дадим одно определение.
Определение 1.2. Пусть Ω — пространство элементарных событий и F — σ-алгебра событий.
Говорят, что события B1 , . . . , Bn образуют полную группу событий, если выполняются два условия:
n
[
a)
Bi = Ω и b) Bi ∩ Bj = ∅ при i 6= j.
i=1
Слова «полная группа событий» — это чисто вероятностный термин, обычно в математике
вместо него говорят о разбиении множества Ω. Если в дополнение к a) и b) потребовать еще, чтобы
P(Bi ) > 0 для любого i, то можно употреблять слова полная группа существенных событий.1
Итак, пусть B1 , . . . , Bn — полная группа существенных событий и A — некоторое событие. Тогда
!
n
n
n
[
X
X
P(A) = P(A ∩ Ω) = P A ∩
Bi =
P(A ∩ Bi ) =
P(A | Bi )P(Bi ).
(1.6)
i=1
i=1
i=1
Формула (1.6) называется формулой полной вероятности.
Обсуждение формулы полной вероятности (1.6) снова начнем с примера.
Пусть в первом ящике содержится 7 белых и 5 черных шаров, а во втором ящике — 3 белых и
8 черных. Эксперимент состоит в том, что мы сначала перекладываем один шар из первого ящика
во второй, а потом вынимаем один шар из второго ящика. Нас интересует вероятность того, что
этот второй шар будет белым.
Попробуем решить эту задачу с помощью формулы полной вероятности. Для этого нам необходимо задать полную группу событий, причем не любую (полной группы событий нет в условиях
задачи, мы сами должны ее выбрать, она в нашей власти), а такую, которая наилучшим образом соответствовала бы как структуре самого эксперимента, так и интересующему нас событию.
В данном случае это сделать достаточно легко — эксперимент состоит из двух частей, и поэтому
естественно описывать в полной группе событий результаты первой части эксперимента.
Выберем в качестве полной группы событий события W1 и B1 — из первого ящика вынут
белый (White) и черный (Black) шар соответственно. Это действительно полная группа событий
— события W1 и B1 , конечно же, не пересекаются, и обязательно происходит либо W1 , либо B1 .
Выбрав полную группу событий и обозначив через W2 событие, состоящее в том, что вынутый из
второго ящика шар — белый, запишем согласно (1.6)
P(W2 ) = P(W2 | W1 )P(W1 )+)P(W2 | B1 )P(B1 ).
(1.7)
Ну, а теперь посмотрим, что мы можем сказать о правой части (1.7). Очевидно, что P(W1 ) = 7/12
и P(B1 ) = 5/12. Точно так же P(W2 | W1 ) = 4/12 и P(W2 | B1 ) = 3/12. Поэтому
4 7
3 5
43
·
+
·
=
.
12 12 12 12
144
Как видите, задача решилась очень просто. Почему? В чем суть формулы полной вероятности?
Здесь, как и в формуле умножения, эксперимент состоит из двух частей, первая часть «простая»,
все нужные связанные с ней вероятности (то есть P(W1 ) и P(B1 )) считаются легко.
Вторая часть тоже очень простая, если известен результат первой части эксперимента. Все
отличие от формулы умножения состоит в том, что здесь у первого этапа эксперимента может
быть несколько исходов, они как раз и перечисляются в полной группе событий.2
P(W2 ) =
1
Обычно слово «существенных» опускают.
Еще раз отметим, что в условии обсуждаемого примера полная группа событий заранее не задана, мы ее выбрали
сами. Здесь этот выбор «очевиден», в более сложных ситуации правильное задание полной группы событий может
оказаться решающим для решения задачи.
2
3
http://statmod.ru
2
Независимость событий
Независимость двух событий. В обыденной жизни люди часто употребляют слово «независимый» в понятном для всех смысле: если кто-то сейчас на другом конце Земли думает, ложиться
ему спать или нет, то вряд ли его решение окажет существенное влияние на то, выпадет ли у нас
герб или решка при бросании монеты — эти события «независимые», их связью можно пренебречь.
Попробуем записать на языке теории вероятностей, что означает эта независимость.
Пусть A и B — два события, «независимые» на обыденном языке. Какое соотношение должно
быть между числами P(A) и P(A | B)? Число P(A) — это шансы произойти событию A, число
P(A | B) — это те же шансы, если дополнительно известно, что произошло событие B. Раз A и B
«независимы», то шансы произойти событию A не изменятся от того, есть у нас информация о
том, что B произошло, или этой информации нет. Значит,
P(A | B) = P(A).
(2.1)
Собственно говоря, это равенство можно было бы положить в определение независимости событий A и B. Но в таком определении было бы два недостатка.
Во-первых, для выполнения (2.1) нужно, чтобы выполнялось условие P(B) > 0. Это не страшное, но неудобное ограничение: а вдруг мы не знаем, равна вероятность P(B) нулю или нет? Тогда
мы вообще не смогли бы говорить о независимости. Второй недостаток состоит в том, что прочтение формулы (2.1) должно быть таким : «A не зависит от B», в то время как независимость —
явно взаимное понятие: «A и B независимы». Поэтому давайте перепишем (2.1) как
P(A ∩ B)
= P(A),
P(B)
(2.2)
и, домножив обе части равенства (2.2) на P(B), получим симметричную относительно A и B формулу, не содержащую знаменателей:
P(A ∩ B) = P(A) P(B).
(2.3)
Определение 2.1. Пусть (Ω, F, P) — вероятностное пространство. События A и B называются
независимыми, если для них выполнено равенство (2.3).
Следующее свойство независимых событий интуитивно очевидно и очень просто доказывается.
Лемма 2.1. Если A и B независимы, то независимыми являются пары событий (A, B C ), (AC , B)
и (AC , B C ).
Совместная независимость n событий. Рассмотрим теперь три события: A, B и C. Как определить независимость этих трех событий? Прежде всего, совершенно естественно считать, что
любые два события из трех (то есть A и B, A и C, B и C) должны быть независимы. Но можно
ли на этом остановиться? Возвратившись к нашей исходной интерпретации независимости через
условную вероятность, мы видим, что требование
P(A | B ∩ C) = P(A)
(2.4)
совершенно необходимо — шансы произойти событию A не зависят от того, есть ли у нас информация о том, что произошли события B и C вместе, или такой информации нет.
Но (2.4) означает, что P(A ∩ B ∩ C) = P(A) P(B ∩ C), и, по независимости событий B и C,
P(A ∩ B ∩ C) = P(A) P(B) P(C).
Таким образом мы пришли к четырем требованиям, которым должны удовлетворять независимые события A, B и C. Возьмем эти условия в качестве определения.
4
http://statmod.ru
Определение 2.2. События A, B и C называются независимыми, если
1. P(A ∩ B) = P(A) P(B), P(A ∩ C) = P(A) P(C), P(B ∩ C) = P(B) P(C);
2. P(A ∩ B ∩ C) = P(A) P(B) P(C).
Разобравшись с определением независимости для трех событий, перейдем к общему случаю
n событий. Дадим индукционное определение: считая, что у нас уже определена независимость
n − 1-го события, перейдем от n − 1 к n. База индукции — при n = 2 — уже есть.
Определение 2.3. Пусть n > 3. События A1 , . . . , An называются независимыми в совокупности,
если выполняются два условия:
1. P(A1 ∩ . . . ∩ An ) = P(A1 ) . . . P(An );
2. любые n − 1 событий из n событий A1 , . . . , An являются независимыми.
Определение 2.2, является, очевидно, частным случаем Определения 2.3 при n = 3. Как выглядит определение независимости для произвольного n, если перевести его с индукционного на
«обычный» язык?
Пусть n = 4. По Определению 2.3 вероятность пересечение всех четырех событий должна равняться произведению их вероятностей. Но этого мало, в определении сказано, что каждая тройка
событий (этих троек будет 4) тоже состоит из независимых событий. Это значит (переходим к Определению 2.3 с n = 3), что вероятность пересечения любых трех событий снова равна произведению
их вероятностей. Но и этого мало — любая пара событий (этих пар 6) тоже должна быть независимой (сейчас мы уже спустились до базы индукции), так что вероятность пересечения любых двух
событий из четырех равняется произведению вероятностей этих событий.
Теперь ясно, как можно более явно переформулировать Определение 2.3:
для любого 2 6 k 6 n и любых k выбранных из списка A1 , . . . An событий выполняется равенство:
вероятность пересечений этих событий равна произведению их вероятностей.3
Как и следовало ожидать, имеет место следующее утверждение.
Лемма 2.2. Рассмотрим события A1 , . . . , An . Пусть B1 — одно из двух событий — либо A1 , либо
C
AC
1 . Аналогично B2 — это или A2 , или A2 и так далее.
Если события A1 , . . . , An независимы, то B1 , . . . , Bn — тоже независимы.4
3
Испытания Бернулли
Определение и примеры. Начнем сразу с определения.
Определение 3.1. Рассмотрим составной эксперимент Э, состоящий в последовательном выполнении n «маленьких» экспериментов э1 , . . . , эn . Будем предполагать, что выполнены следующие
условия:
1. Каждый из экспериментов эi имеет ровно два исхода, один из которых называется успехом,
а второй — неудачей. Будем обозначать эти исходы Уi и Нi .
2. Вероятность успеха в каждом из экспериментов эi одна и та же, обозначим ее p. Таким образом, P(Уi ) = p. Ясно, что P(Нi ) = 1 − p.
3
Таим образом, в определении независимости n событий участвуют 2n − n − 1 равенств. Можно доказать (существуют примеры), что ни одно из них не является лишним.
4
C учетом этого утверждения, понятие независимости n событий может быть переформулировано на несколько более современном математическом языке. Сопоставим каждому событию Ai минимальную
алгебру Ai =
Qn
(Ω, ∅, Ai , AC
i ), содержащую Ai . События A1 , . . . , An независимы, если P(B1 ∩ . . . ∩ Bn ) =
i=1 P(Bi ) для любых
Bi ∈ Ai .
5
http://statmod.ru
3. Результаты экспериментов э1 , . . . , эn независимы.
В этом случае каждый из экспериментов эi называют испытанием Бернулли с вероятность
успеха p, а про весь эксперимент Э говорят такую фразу: проведено n испытаний Бернулли с
вероятностью успеха p.
Приведем примеры реальных экспериментов, которые (при выполнении некоторых условий)
могут быть формализованы как испытания Бернулли.
1. Бросание гнутой монеты.
Возьмем монету и ударим по ней молотком. Монета согнется, и если до удара вполне можно
было считать, что она при подбрасывании выпадает гербом и решкой с одинаковыми вероятностями 1/2, то теперь эти вероятности, вообще говоря, изменились. Подкинем монету n раз.
При каких условиях на этот эксперимент будут выполняться требования 1 – 3?
Первое требование говорит, что должно быть ровно 2 исхода у каждого бросания. Это значит,
что монета не может укатиться в щель, стать на ребро и так далее. Будем считать успехом
выпадение герба, а неудачей — выпадение решки.
Второе условие означает, что вероятность выпадения герба одна и та же при любом бросании.
Такого рода требования выполняются, если условия эксперимента остаются постоянными —
монета не гнется от удара об пол, никто не меняет монету на другую (погнутую иначе) и т.д.
Условие 3 — это условие, обеспечивающее отсутствие памяти в эксперименте. Например, оно
осуществляется, если человек, подбрасывающий монету, не видит результатов бросаний и
поэтому не может влиять на следующий результат.5
2. Стрельба по мишени.
Производят n выстрелов по мишени. Два исхода очевидны — «попал» или «не попал» —
«успех» или «неудача». Постоянство вероятности успеха — это, как уже говорилось, постоянство условий эксперимента: стреляют все время из одного и того же оружия, освещенность не
меняется, стрелок не совершенствует свое умение за время эксперимента и т.д. Независимость
исходов обеспечена, если стрелок никак не реагирует на результаты предыдущих выстрелов.
3. Выздоровление.
В больнице находится n пациентов. За неделю с каждым из них может произойти одно из
двух6 — улучшение состояния («успех») или неулучшение («неудача»). Когда этот процесс
можно описать испытаниями Бернулли?
Постоянство вероятности успеха, несомненно, было бы обеспечено, если бы все пациенты болели одной болезнью, причем в одинаковой стадии. Но это не обязательно. В отличие от
примеров с бросанием монетки и стрельбой по мишени, в этом эксперименте заранее не оговорено, какой пациент является «первым» («первое испытание Бернулли»), какой — вторым
и так далее. Давайте упорядочим пациентов любым способом, не связанным с их болезнью
(скажем, по алфавиту или по росту). Тогда для нас первый и пятый пациенты совершенно эквивалентны (мы просто не знаем, кто чем болен), и вероятность их выздоровления за неделю
тоже одинакова.
Если наши больные не общаются друг с другом (и тем самым состояние одного не влияет на
самочувствие другого), то можно считать, что они болеют (или выздоравливают) независимо,
и описывать эксперимент как испытания Бернулли.
5
Предположим, что эксперимент с n бросаниями гнутой монетки проводится следующим образом: первый раз
монетка действительно подбрасывается, а затем n − 1 раз выкладывается вверх той стороной, которая выпала при
первом бросании. В этом случае первые два условия Определения 3.1 выполняются, а третье — нет.
6
Будем оптимистами!
6
http://statmod.ru
4. Рыбная ловля.
В лодке на озере сидит рыбак с удочкой. В озере живет n рыб. При каких условиях этот
эксперимент можно описать испытаниями Бернулли? Предполагается, что рыба с крючка
сорваться не может. Что здесь естественно назвать «успехом» с точки зрения рыбака? С
точки зрения рыбы?
Формализация. Формула Бернулли. Займемся теперь формалистикой. Прежде всего, как
выглядит пространство элементарных событий Ω для n испытаний Бернулли? Каждое элементарное событие — это один («неделимый», «самый маленький») исход эксперимента. В нашем случае
элементарное событие — это строчка из n букв У и Н. Например,
ω = У1 Н2 У3 . . . Нn−1 Уn
(3.1)
— это элементарное событие, соответствующее тому, что в первом испытании Бернулли был успех,
во втором — неудача, в третьем — удача, . . . , в предпоследнем — неудача, а в последнем — успех.
Ясно, что Ω состоит из 2n элементарных событий.
Чему равна вероятность элементарного события? Прежде всего, запишем (3.1) в виде
ω = У1 Н2 У3 . . . Нn−1 Уn = У1 ∩ Н2 ∩ У3 ∩ . . . ∩ Нn−1 ∩ Уn ,
где Уi (или Нi ) означает событие, состоящее в том, что в i-ом испытании Бернулли произошел
успех (или неудача).
Ну, а теперь вычислим P(ω), пользуясь пунктами 2 и 3 определения испытаний Бернулли.
Поскольку (см. п.3) события У и Н с разными индексами независимы, то
P(ω) = P(У1 ∩ Н2 ∩ У3 ∩ . . . ∩ Нn−1 ∩ Уn ) =
= P(У1 )P(Н2 )P(У3 ) . . . P(Нn−1 )P(Уn ) = p(1 − p)p . . . (1 − p)p = pk (1 − p)n−k ,
(3.2)
где k = k(ω) — число букв У в строке (3.1).
Конечно, вероятность любого другого элементарного события вычисляется точно так же и имеет
такой же вид. Таким образом, вероятностное пространство, соответствующее n испытаниям Бернулли с вероятностью успеха p 6= 1/2, не сводится к классическому вероятностному пространству,
но все элементарные события, соответствующие одинаковому числу успехов k, имеют одну и ту же
вероятность, зависящую только от k (ну, и, конечно, от вероятности успеха p и числа испытаний
Бернулли n).7
Выведем отсюда элементарную формулу, называемую формулой Бернулли. Рассмотрим n испытаний Бернулли с вероятностью успеха p. Для любого 0 6 k 6 n обозначим Ak событие, состоящее
к том, что в этих n испытаниях оказалось ровно k успехов. Чему равна вероятность P(Ak )?
Прежде всего, все элементарные события, входящие в событие Ak , имеют одинаковую вероятность, равную pk (1 − p)n−k .
Следовательно, P(Ak ) = Nn,k pk (1 − p)n−k , где Nn,k — число элементарных событий, входящих в
множество Ak . Но число элементов множества Ak равно Cnk . Таким образом, мы вывели формулу
Бернулли:
P(Ak ) = Cnk pk (1 − p)n−k .
7
На самом деле в наших рассуждениях есть логический пробел. «По-хорошему» нужно сначала задать пространство элементарных событий в виде множества 2n цепочек, состоящих из n символов У и Н, затем определить
вероятности элементарных событий по формуле, аналогичной (3.2), после этого определить события Уi и Нj как
объединения соответствующих элементарных событий, а уж потом доказывать свойства 1 – 3 (точнее, 2 – 3), введенные нами как определение испытаний Бернулли. Сделать это не сложно, а для решения задач такой формализм
не является обязательным.
7