Лекция 1 - Постовалов С.Н.

Лекция 1. ПОСЛЕДОВАТЕЛЬНЫЕ КРИТЕРИИ
ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ.
КРИТЕРИИ, ОСНОВННЫЕ НА ОТНОШЕНИИ
ПРАВДОПОДОБИЯ
Книга Бытие, глава 8
Воды убывали; ворон; выпуск голубя (1-14)
…
8 Потом выпустил от себя голубя, чтобы видеть, сошла ли вода с
лица земли,
9 но голубь не нашел места покоя для ног своих и возвратился к
нему в ковчег, ибо вода была еще на поверхности всей земли; и он
простер руку свою, и взял его, и принял к себе в ковчег.
10 И помедлил еще семь дней других и опять выпустил голубя из
ковчега.
11 Голубь возвратился к нему в вечернее время, и вот, свежий
масличный лист во рту у него, и Ной узнал, что вода сошла с земли.
12 Он помедлил еще семь дней других и выпустил голубя; и он уже
не возвратился к нему.
13 Шестьсот первого года к первому дню первого месяца иссякла
вода на земле; и открыл Ной кровлю ковчега и посмотрел, и вот,
обсохла поверхность земли.
14 И во втором месяце, к двадцать седьмому дню месяца, земля
высохла.
2
Проверка гипотезы о виде распределения
Пусть x1, x2, x3,… - последовательность независимых наблюдений
случайной величины ξ.
Гипотезы о виде распределения ξ:
H 0 : f ( x )  f 0 ( x,  0 )
H1 : f ( x)  f1 ( x, 1 )
• Критерий Неймана-Пирсона (1933)
• Критерий Вальда (1947)
• Проблема Кифера-Вейсса (1957)
• Критерий Айвазяна (1965)
• Критерий Лордена (1976)
3
Критерий Вальда (SPRT)
n
H1
c1
H0
c0
1
2
3
4
5
n
6
Абрахам Вальд (1902-1950)
Статистика критерия:

(n)
n
f1 ( xi )
i 1
f 0 ( xi )
  ln
Области принятия проверяемых гипотез и область неопределенности:
  
H
(n)
 n   :   c0  , c0  ln 

1  
0
1  
 nH0   :  ( n )  c1 , c1  ln 




*n   : c0   ( n )  c1
4
Оптимальность критерия Вальда
Теорема 1. (А. Вальд, Дж. Вольфовиц, 1948)
Пусть T – последовательный критерий отношения вероятностей с
критическими границами - < c0 < 0 < c1 < + , с вероятностями
ошибок первого и второго рода  и , а Т- другой критерий с
вероятностями ошибок первого и второго рода  и .
Если
  и  и
E[n|H0]<  и E[n|H1]< 
Тогда
E[n|H0]  E[n|H0] и E[n|H1]  E[n|H1]
(1)
(2)
(3)
Г. Саймонс (1976) доказал возможность заменить условие (1) на (4)
+ +
(4)
5
Потеря оптимальности критерия Вальда
1. Проверка сложной гипотезы
J. Kiefer and L. Weiss. Some properties of Generalized
Sequential Probability Ratio Tests.Ann. Math. Stat.,
28(1):57–75, March 1957.
2. Нарушение предположений об независимости наблюдений
Matthew Finkelman (2008): The Wald–Wolfowitz Theorem Is
Violated in Sequential Mastery Testing, Sequential Analysis:
Design Methods and Applications, 27:3, 293-303
6
Средний объем выборки в критерии Вальда
Теорема 2. (Вальда, 1947)
Оценка снизу среднего числа наблюдений для любого
последовательного критерия с вероятностями ошибок α и β имеет вид:
 ( ,  )
 ( , )
EH n( ,  )  
EH n( ,  ) 
 (H0 )
 ( H1 )
0
1


 1 x 
 x 
f1 ( x)
 ( x, y)   (1  x) ln 
dx
  x ln 
  ,  ( H i )   f i ( x) ln
f 0 ( x)
 y 
 1 y  


Теорема 3. (С.А. Айвазян, 1959).
Если f0(x)=f1(x) и 1 0, то при выполнении ряда условий
EH0 n( ,  ) 
2 ( ,  )
2 (  ,  )
EH1 n( ,  ) 
 ( H 0 , H1 )
 ( H 0 , H1 )

f1
 ( H 0 , H1 )   ( f1  f 0 ) ln dx   ( H1 )   ( H 0 )
f0

7
Распределение объема выборки в критерии Вальда
при проверке гипотез «нормальное-логистическое»
 ( H 0 )  0.010496503
 ( H1 )  0.01436227472
 ( H 0 , H1 )  0.0248587772
    0.05
 ( ,  )   (  ,  )  2,649995
EH 0 n( ,  )  252
EH1 n( ,  )  184
EHi n( ,  )  213
Средний объем выборки по 100000 реализаций равен 267 (при H0) и 232 (при H1)
8
Усечение последовательного критерия отношения
правдоподобия
1. Потеря оптимальности
2. Нестатистические причины прекращения эксперимента

Высокая стоимость экспериментов

Этические причины в клинических испытаниях

…
9
Обобщенный последовательный критерий отношения
правдоподобия (GSPRT)
L. Weiss. Testing one simple hypothesis against another // Ann. Math. Stat.,
24(1953): pp. 273-281.
Области принятия проверяемых гипотез и область неопределенности:
 nH 0   :  ( n )  c0 (n)
 nH 0   :  ( n )  c1 (n)
*n   : c0 (n)   ( n )  c1 (n)
10
Armitage, P. (1957). Restricted sequential procedures. Biometrika, 44, 9–56.
11
Hemanta K. Baruah & G.P. Bhattacharjee (1980): A generalization of
anderson's modified sequential probability ratio test, Journal of Statistical
Computation and Simulation, 11:3-4, 197-208
12
Jennison C., Turnbull B.W.: Group sequential methods with applications to
clinical trials. Boca Raton, Chapman & Hall, 2000.
13
Критерий Айвазяна
n
c1
n 
H1
H0
c0
1
2
3
4
5
6
n*
n
8ln(min(, ))
( H 0 , H1 )
- граница усечения
 ( H 0 , H1 ) 

 ( f1  f0 ) ln

Айвазян С.А.
f1
dx
f0
Области принятия проверяемых гипотез и область неопределенности:

n 
1

 nH0   : ( n )  c0  1    , c0  2ln

 n * 


n 
1

 nH1   : ( n )  c1  1   , c1  2ln

 n * 


n
n 


*n   : c0  1     ( n )  c1  1    
 n 
 n 

Anderson, T.W. (1960). A modification of the sequential probability ratio test to reduce the sample
size. Ann. Math. Statist., 31, 165–197.
Айвазян С.А. Различение близких гипотез о виде распределения в схеме обобщенного
последовательного критерия // Теория вероятностей и ее применения Том X, №4 (1965) с.
713-725
14
Критерий Лордена (2-SPRT)
H0 | H2 ,
H 2 | H1
H 2 : f 2  f 0  (1  ) f1
 :  ( f 2 , f 0 )   ( f 2 , f1 )
Статистики критерия: 
n
(n)
0
  ln
i 1
f 2 ( xi )
f 0 ( xi )
, 
( n)
1
n
f1 ( xi )
i 1
f 2 ( xi )
  ln
Гарри Лорден
Области принятия проверяемых гипотез и область неопределенности:
  
H
 n  1 : 1  c0  , c0  ln 

1  
0


(n)
1  
   0 :  0  c1 , c1  ln 




H1
n
(n)
*n   0 :  0( n )  c1 , 1 : 1( n )  c0 
15
Оценивание точных критических границ методом
Монте-Карло
В работе Canner, P.L. (1977). Monitoring treatment differences in long-term
clinical trials. Biometrics, 33, 603–615. применялся метод Монте-Карло для
нахождения точных критических границ в последовательном критерии для
биномиального закона распределения.
В работах Гродзенской И.С. (2004) применялся метод Монте-Карло для
сравнения критериев Вальда, Айвазяна, Лордена и Павлова.
Постовалов С. Н. Проверка простых и сложных гипотез с использованием
последовательного критерия Вальда// ДОКЛАДЫ АН ВШ РФ. - 2011. - №
2(17). - С.140-150.
Постовалов С. Н. Проверка простых и сложных гипотез с использованием
последовательных критериев Лордена и Айвазяна / С. Н. Постовалов, М. Р.
Шахмаметова // Научный вестник НГТУ. - Новосибирск, 2011. - № 3 (44). - C.
17-28.
16
Вычисление вероятностей ошибок первого и второго
рода для критерия Вальда
Если нам нужно найти точные границы, мы должны вычислить
вероятности ошибок первого и второго рода:
i 1


1    P H 0 | H 0    P i  с0  j   с0 , с1  H 0 
i 1
j 1


i 1



1    P H1 | H1   P i  с1  j   с0 , с1  | H1 
i 1
j 1



Но это представляет собой сложную задачу, т.к.
i
зависит от
j
если i>j.
17
Вычисление вероятностей ошибок первого и второго
рода для критерия Вальда методом Монте-Карло
1. Выбирается область моделирования.
2. Строится сетка с маленьким шагом на выбранной области.
3. Моделируется случайная величина по H0 .
4. Вычисляется статистика критерия.
5. Проверяется условие выхода для каждой точки сетки
(с0,с1).
6. Если для какой-то точки сетки условие выхода не
выполнено, то перейти на шаг 3.
7. Шаги 3-6 повторяются N раз.
8. Для каждой точки сетки вероятность ошибки вычисляется
по формуле
число ошибок
 (c0 , c1 ) 
N
18
Выбор числа повторений N
Какое число повторений надо взять, чтобы отклонение
эмпирической вероятности ошибки первого рода от истинного
значения не превосходило заданного уровня ?
Согласно центральной предельной теореме
m

P        2Ф( )  1   , N  
N

где m – количество ошибок первого рода в серии из N повторов.
Отсюда
 (1   )
N  t
,
2

2
Например, если
19
1 
  1
t   

 2 
  0.99,   0.01,   0.15
тогда N  8 460
Проверяемые гипотезы
Нормальный закон распределения:
 ( x   )2 
1
H 0 : f ( x) 
exp 
 ,  0
2 
2

Логистический закон распределения:
H1 : f ( x ) 



e
x
3
x
3 


3
1  e 


2
20
Расчет параметров критериев Лордена и Айвазяна
 ( x   )2 
1
H 0 : f ( x) 
exp 
 ,  0
2 
2

H1 : f ( x ) 



x
e
3
x
3 


3
1  e 


2
Критерий Лордена
 :  ( f 2 , f 0 )   ( f 2 , f1 ), f 2   f 0  (1  ) f1


   0.5526149445
f1

  ( H 0 , H1 )   ( f1  f 0 ) ln f dx
0


Критерий Айвазяна
 ( H 0 , H1 )  0.0248587772
min(α,β)
0.05
0.1
0.15
n*
964
741
610
21
H0 : 
H1 : 
N (0,1)
Log  0,1
(с0, с1)
22
(с0, с1)
H0 : 
H1 : 
N (0,1)
Log  0,1
23
Вычисление точных критических границ для
критерия Вальда
24
Вычисление точных критических границ для
критерия Вальда
α
β
0.15
0.10
0.05
0.01
0.15
0.10
0.05
0.01
-1.67, 1.42
-2.07, 1.47
-2.74, 1.52
-4.33, 1.56
-1.72, 1.81
-2.12, 1.86
-2.80, 1.91
-4.39, 1.95
-1.78, 2.48
-2.18, 2.54
-2.85, 2.59
-4.45, 2.63
-1.82, 4.11
-2.22, 4.17
-2.89, 4.23
-4.48, 4.26
25
Вычисление точных критических границ для
критерия Лордена
26
Вычисление точных критических границ для
критерия Лордена
α
β
0.15
0.10
0.05
0.01
0.15
0.10
0.05
0.01
-1,18;0,95
-1,47; 1,02
-2,00; 1,14
-3,24; 1,29
-1,25; 1,23
-1,56; 1,31
-2,10; 1,44
-3,36; 1,62
-1,36; 1,75
-1,68; 1,86
-2,23; 1,98
-3,53; 2,21
-1,50; 2,98
-1,85; 3,11
-2,43; 3,29
-3,77; 3,55
27
Вычисление точных критических границ для
критерия Айвазяна, n*=964
28
Вычисление точных критических границ для
критерия Айвазяна, n*=964
α
β
0.15
0.10
0.05
0.01
0.15
0.10
0.05
0.01
-1,9; 1,59
-2,48; 1,68
-3,69; 1,81
----
-2,02; 2,11
-2,61; 2,20
-3,89; 2,35
----
-2,15; 3,12
-2,82;
-4,14;3,48
----
---
---
----
----
29
Распределение объема выборки в критерии Вальда
при использовании приближенных границ
 ( H 0 )  0.010496503
 ( H1 )  0.01436227472
 ( H 0 , H1 )  0.0248587772
    0.05
 ( ,  )   (  ,  )  2,649995
EH 0 n( ,  )  252
EH1 n( ,  )  184
EHi n( ,  )  213
Средний объем выборки по 100000 реализаций равен 267 (при H0) и 232 (при H1)
30
Распределение объема выборки в критерии Вальда
при использовании оценок точных границ
  0, 05006
  0, 03467
  0, 05089
  0, 04712
Средний объем выборки по 100000 реализаций равен 251 (при H0) и 206 (при H1)
31
Сокращение среднего объема выборки на 6% (при H0) и на 11% (при H1)
Распределение объема выборки в критерии Лордена
при использовании оценок точных границ
  0, 05038
  0, 01776
  0, 04986
  0, 02469
Ср. объем выборки по 100000 реализаций равен 367 (при H0) и 318 (при H1) – приб.
Ср. объем выборки по 100000 реализаций равен 268 (при H0) и 223 (при H1) –точн.
32
Сокращение среднего объема выборки на 27% (при H0) и на 30% (при H1)
Распределение объема выборки в критерии Айвазяна
при использовании оценок точных границ (n*=964)
  0, 0513
  0, 02044
  0, 04999
  0, 03026
Ср. объем выборки по 100000 реализаций равен 355 (при H0) и 312 (при H1) – приб.
Ср. объем выборки по 100000 реализаций равен 265 (при H0) и 214 (при H1) –точн.
33
Сокращение среднего объема выборки на 25% (при H0) и на 31% (при H1)
Сравнение среднего объема выборки для разных
критериев (при H0, вероятности ошибок первого и
второго рода равны 0.05)
400
367
355
Средний объем выборки
350
300
267
251
265
268
250
СОВ, приближенные границы
200
СОВ точные границы
150
100
50
0
Критерий Вальда
Критерий Айвазяна
Критерий Лордена
34
Сравнение распределений объема выборки для разных
критериев (при H0, вероятности ошибок первого и
второго рода равны 0.05) – приближенные границы
35
Сравнение распределений объема выборки для разных
критериев (при H0, вероятности ошибок первого и
второго рода равны 0.05) – точные границы
36
Сравнение среднего объема выборки для разных
критериев (при H1, вероятности ошибок первого и
второго рода равны 0.05)
350
318
312
Средний объем выборки
300
250
232
206
214
223
200
СОВ, приближенные границы
СОВ точные границы
150
100
50
0
Критерий Вальда
Критерий Айвазяна
Критерий Лордена
37
Пусть x1, x2, x3,… - последовательность независимых
наблюдений случайной величины ξ, подчиненной
нормальному закону распределения N(,).
У. Госсет
Гипотезы о параметрах распределения ξ:
H 0 :   0 ,  0
H1 :   1   0 ,   0
Параметр  - неизвестен, альтернатива не фиксирована (1-неизвестна)
Статистика критерия имеет вид:
1   0
t
S
n
1  1  
 Fn1 


2


где Fn-1 – функция распределения Стьюдента с (n-1) степенью свободы
Гипотеза H0 не отвергается, если
t
38
Гипотезы о параметрах распределения ξ:
  0
  ,  0

  0
H1 :   1 :
,  0

H0 :
Параметр  - неизвестен, альтернатива не фиксирована (1-неизвестна)
Статистика критерия имеет вид:

p1n

p0 n
1 1
2 0  n

 1
exp
 2

 2


 1 n
2 
x





exp

x










  d

i
0
i
0
2 
i 1

 2 i 1


1
 1 n
2
exp

x




 d
i
0
0  n  2 2 
i 1

n
2
39
;
Гипотезы Н0 принимается, если
p1n
1 
 A
p0 n

Гипотезы Н1 принимается, если
p1n

B
p0 n
1
Производятся дополнительные наблюдения до тех пор, пока
выполняются неравенства
p1n
B
A
p0 n
40
Вычисление оценок точных критических границ
41
Вычисление оценок точных критических границ при H 0 :   0
Таблица 1. Приближенные критические границы (B,A)
α
β
0,01
0,05
0,1
0,15
0,1
0.01, 9.9
0.06, 9.5
0.11, 9
0.17, 8.5
0,15
0.01, 6.6
0.06, 6.33
0.12, 6
0.18, 5.66
Таблица 2. Оценки точных критических границ
α
β
0,01
0,05
0,1
0,15
0,1
0.15, 5.44
0.32, 4.68
0.44, 4.14
0.52, 3.72
0,15
0.15, 3.65
0.32, 3.14
0.44, 2.77
0.53, 2.50
H1 :   1.
Проблемы при оценивании точных границ
последовательного t-критерия

Есть зависимость от расстояния между гипотезами

Есть зависимость от ,
Границы [B,A]
Границы
[B,A]
  0.5
  0.6
  0.7
0.39, 4.95
0.25, 5.34
0.15, 5.44
 H 1  0.7
 H 1  0.75
0.02, 6.18
0.15, 5.40
H1  1
0.15, 5.44
H1  2
 H 1  15
0.65, 3.01
0.78, 1.65
43
План выступления

Обзор последовательных критериев проверки гипотез

Алгоритм построения оценок точных критических границ
методом Монте-Карло

Сравнение среднего объема выборки

Проверка сложных гипотез. Последовательный t-критерий
Стьюдента

Группированные и цензурированные наблюдения

Применение последовательных критериев
44
Использование последовательных критериев по
случайно цензурированным наблюдениям
• Для всех наблюдений известно время начала наблюдения;
• Для всех наблюдений известно время окончания наблюдения,
либо время выбытия из-под наблюдения;
• Выбор выбывших наблюдений производится случайно.
45
Модификация критерия Вальда по случайно
цензурированным наблюдениям
Введем обозначение:
f j ( x), x-не цензурированное наблюдение

p j ( x)  
 Pj {  x}  1  Fj ( x), x-цензурированное наблюдение
, j=0,1.
тогда статистика критерия
k
k  
i 1
p1 ( xi )
p0 ( xi )
или
 p (x ) 
 k   ln  1 i 
i 1
 p0 ( xi ) 
k
46
Актуальные области применения процедуры
последовательной проверки гипотез о виде
распределения
• Задачи приемочного контроля качества
Вальд А. Последовательный анализ. //М.: Физматгиз, 1960. - 325 с.
Page E.S. Continuous inspection schemes // Biometrika, 1954, v. 41, p. 100-114.
• Задачи статистического управления технологическими
операциями
Бендерский А.М. Статистическое регулирование технологических процессов
методом кумулятивных сумм. – М.: Знание, 1973 – 70 c.
47
Актуальные области применения процедуры
последовательной проверки гипотез о виде
распределения
• Задачи построения рациональных планов испытаний на
надежность
Гродзенская И. С., Гродзенский С. Я., Томилин Н. А. Рационализация
контроля надежности элементов и систем // Наукоемкие технологии, 2003,
№ 2, с. 85-87.
• Клинические
испытания
Armitage P. Sequential medical trials. Oxford: Blackwell, 1961. 105 p.
48
Актуальные области применения процедуры
последовательной проверки гипотез о виде
распределения
• Радиолокационные задачи различения сигнала при
наличии помех в системах, основанных на накоплении
полезного сигнала
Гродзенская И. С. Разработка и исследование методов обнаружения
радиосигналов при наличии помех на основе оптимальных статистических
последовательных критериев // Тезисы докладов Научно-технической
конференции студентов, аспирантов и молодых специалистов МИЭМ. – М.:
МИЭМ, 2006, с. 257.
49
Заключение
1. Использование оценок точных критических границ
дает ощутимый выигрыш в среднем числе
наблюдений, особенно для модификаций критерия
Вальда – критериев Айвазяна и Лордена.
2. В рассмотренном примере в случае использования
приближенных критических границ несколько лучше
работает критерий Айвазяна, однако при
использовании оценок точных критических границ
критерии Айвазяна и Лордена становятся практически
эквивалентными.
3. Вычисление оценок точных критических границ
требует определенных вычислительных затрат, а
также разработки программного обеспечения, поэтому
применять этот метод имеет смысл в случае
проведения дорогостоящих, трудоемких и длительных
экспериментов.
4. Нахождение оценок точных критических границ
возможно и в более сложных случаях: при проверке
сложных гипотез, при цензурировании и при
50
группировании наблюдений.