(гипотеза H 0 ).

Лекция 9
Сущность основной
задачи приема сигналов
при наличии помех
Результатом
воздействия
помех
является
частичная или полная потеря информации,
переносимой полезным сигналом. Приемное
устройство, осуществляя обработку входного
сигнала, являющегося суммой полезного сигнала
и помехи, должно обеспечить извлечение из
принятого
сигнала
возможно
большего
количества необходимой информации.
Основная задача приемника состоит в том,
чтобы на основании принятой реализации решить
наилучшим в каком-то определенном смысле
способом, имеется ли данный сигнал в данной
реализации (задача обнаружения или различения),
или каковы параметры полезного сигнала (задача
восстановления). В связи с этим должны быть
выработаны критерии, позволяющие по принятому
сигналу
оптимальным
способом
решить
поставленную задачу.
Задача выбора оптимального способа
обработки сигналов и выработки при этом
соответствующих критериев составляет
содержание теории статистических
решений.
С целью наглядного представления
положений теории статистических решений введены геометрические понятия
пространства
принимаемого
сигнала
(пространства наблюдений).
Пусть
отсчеты
принимаемого
сигнала,
являющегося суммой полезного сигнала и
помехи,
осуществляются
в
дискретные
моменты времени
. Отсчетные
t1 , t 2 ,..., t n
значения принятого сигнала y1 , y 2 ,..., y n называют
выборочными значениями, а их совокупность —
выборкой. Число
выборочных значений
называют размером (или объемом) выборки.
Совокупность
выборочных
значений
представляют геометрически в виде радиусвектора в n-мерном пространстве, где y1 , y 2 ,..., y n
координаты конца вектора. Так как величины
y1 , y 2 ,..., y n случайны, то вектор также Yявляется
случайным вектором. Множество возможных
значений вектора
составляетYпространство
наблюдений V.
Cлучай трехмерного
пространства ( n  3 )
y2
V1
V0
y1
y3
Общая вероятность попадания конца вектора
Y в произвольную точку пространства V:
 f  y dy  1
V
По аналогии вводят понятия вектора
полезного сигнала и вектора помех и
соответственно им понятие пространства
полезного сигнала и пространства помех.
После
нахождения
вектора
принятого
сигнала Y мы не можем однозначно судить о
векторе полезного сигнала X. Речь может идти
только
об
апостериорной
плотности
вероятности, f  X Y   f x1, x2 ,..., xn y1, y2 ,..., yn  т.е.
условной плотности вероятности X, если задан
вектор Y.
Вычисление
апостериорной
плотности
вероятности можно выполнить с помощью
формулы Байеса
(1)
f X f Y X
f X Y  
  
f Y 

где f  X  — априорная плотность вероятности
вектора ; f Y  — безусловная плотность
вероятности вектора Y; f Y X  — условная
плотность вероятности Y, если задан X.
Безусловная плотность вероятности f Y 
определяется соотношением
(2)
f Y   f  X  f Y X dX

Vx
где V x обозначает, что интегрирование
осуществляется в пространстве сигнала
X.
Подставляя значение
из (1) в (2),
получим
f X Y  
f  X  f Y X 
 f  X  f Y X dX
Vx
(3)
Если вектор X может иметь конечное
число возможных значений x1 , x2 ,..., xn с
априорными вероятностями px1 , px2 ,..., pxr  ,то
формула (3) принимает вид
p X  f Y X 
p X  f Y X 
p X Y  
 r
f Y 
px  f Y x 

j 1
j
j
где p X Y  — апостериорная вероятность
вектора X, если задан вектор Y;
p X  — априорная вероятность
вектора X.
Следовательно, для нахождения искомой
апостериорной вероятности (или плотности
вероятности) необходимо знать p X  или f  X  ,
т. е. априорные характеристики полезного
сигнала, и f Y X  , определяемые априорными
характеристиками полезного сигнала и помехи,
а также характером их композиции.
Для
определения
апостериорных
вероятностей
или плотностей
p X Y 
вероятностей f  X Y  необходимо знать f Y X  ,
которая при заданном значении Y будет
зависеть только от X.
f Y X   L X 
Функция L X  называется функцией
правдоподобия. В зависимости от того,
является
ли
X
дискретной
или
непрерывной
величиной,
функция
правдоподобия L X  может принимать
конечное или бесконечное множество
значений.
ПРОВЕРКА ПРОСТОЙ
ГИПОТЕЗЫ
ПРОТИВ ПРОСТОЙ
АЛЬТЕРНАТИВЫ
Вероятности правильных и
ошибочных решений
1. Переходим к простейшей задаче — проверке
простых гипотез. Ситуация в этом случае
такова. Имеется некоторое число наблюденных
значений х1, х2, . . ., хn (выборка размера n) и
известно, что эти значения принадлежат
одному из двух распределений: f0(x1, x2, …, xn |
s0) или f1(x1, x2, …, xn | s1), связанных с
взаимоисключающими состояниями s0 и s1
изучаемого явления. Задача состоит в том,
чтобы указать наилучший (в каком-нибудь
смысле) алгоритм обработки наблюдаемых
данных с целью решить, какому из указанных
распределений
принадлежит
полученная
выборка.
Обозначим через Н0 и Н1 — гипотезы о том,
что
выборочные
значения
принадлежат
распределениям f0(x1, x2, …, xn | s0) и f1(x1, x2,
…,xn | s1) соответственно, а через γ0 и γ1 —
решения,
состоящие
в
принятии
или
отклонении гипотезы Н0.
Гипотеза Н1 является простой альтернативой
Н0, и поэтому может рассматриваться только
одна гипотеза Н0. Ясно, что отклонение
гипотезы Н0 означает принятие гипотезы Н1.
Для
рассматриваемых
здесь
нерандомизированных
процедур
проверки
гипотезы задача состоит в установлении до
наблюдений правила, согласно которому
каждой выборке х1,х2,…, хn приписывалось бы
одно из решений γ0 или γ1, иначе говоря, в
установлении правила, по которому можно
было бы принять или отвергнуть гипотезу Н0 на
основании данных, накопленных в процессе
наблюдения изучаемого явления.
Установление
указанного
правила
эквивалентно разделению n - мерного
пространства выборок (х1,…, хn) на две непересекающиеся области v0 и v1.
Если данная конкретная выборка попадает в
область v0, то гипотеза H0 принимается, а если
она попадает в область v1, то она отвергается
(т. е. принимается гипотеза H1). Таким образом,
( x1 ,..., xn )  v0   0 ,
( x1 ,..., xn )  v1   1
Область v0 принятия гипотезы называют
допустимой, а область v1 отклонения
гипотезы
—
критической.
Уравнение
поверхности D (х1, . . ., хn) = const в n-мерном
пространстве,
разделяющей
указанные
области, является аналитическим выражением
правила выбора решений.
При
использовании
любого
заранее
установленного правила выбора решений
наряду с правильными решениями неизбежны
(в силу случайной природы выборки) и
ошибочные. Возможны ошибки двух родов.
Ошибка первого рода возникает, когда
выборка попадаете критическую область v1,
когда
изучаемое
явление
находится
в
состоянии s0. Тем самым будет отвергнута
гипотеза v0, хотя в действительности она верна.
Ошибка второго рода возникает,
когда выборка попадает в допустимую
область v0, хотя изучаемое явление
находится в состоянии s1. В результате
будет
принята
ложная
гипотеза.
Аналогично могут рассматриваться и два
вида правильных решений; принятие
верной гипотезы (выборка попадает в
область v0, когда имеет место состояние
s0) и отклонение ложной гипотезы
(выборка попадает в область v1, когда
имеет место состояние s1).
Нетрудно написать выражения для условных
вероятностей ошибок для заданного состояния
изучаемого явления. Условная вероятность α
ошибки первого рода равна
  P{ 1 | H 0 }  P{( x1 ,..., xn )  v1 | s0 }  
v1
f
n
( x1 ,..., xn | s0 )dx1...dxn
Условная
вероятность
правильного
решения, состоящего в принятии верной
гипотезы
H0 .
дополняет
указанную
вероятность до единицы, т. е.
P{ 0 | H 0 }  P{( x1 ,..., xn )  v0 | s0 }  
v0
 1 
v1
f
n
f
( x1 ,..., xn | s0 )dx1...dxn  1  
n
( x1 ,..., xn | s0 )dx1...dxn 
Условная вероятность
второго рода равна
  P{ 0 | H1}  P{( x1 ,..., xn )  v0 | s1}  
v0
f
β
n
ошибки
( x1 ,..., xn | s1 )dx1...dxn
Условная вероятность правильного
решения, состоящего в отклонении
ложной гипотезы, дополняет β до
единицы, так как
P{ 1 | H1}  P{( x1 ,..., xn )  v1 | s1}  
v1
 1 
v0
 W ( x ,..., x
n
1
n
f
| s1 )dx1...dxn  1  
n
( x1 ,..., xn | s1 )dx1...dxn 
Вероятность α ошибки первого рода (т. е.
вероятность отвергнуть правильную гипотезу
Н0) называют иногда уровнем значимости, а
вероятность 1 – β отвергнуть ложную гипотезу
— мощностью правила выбора решений.
Если известно, что априорные вероятности
состояний s0 и s1
равны q и р=1-q
соответственно, можно найти априорные
вероятности принятия решений γ0
и
γ1
которые определяют частоты появления
отдельных
решений
в
длинной
последовательности принятия решений.
P{ 0 }  qP{ 0 | H 0 }  pP{ 0 | H1}  q(1   )  p
P{ 1}  pP{ 1 | H1}  qP{ 1 | H 0 }  p(1   )  q
Для заданного размера выборки невозможно
одновременно сделать сколь угодно малыми
вероятности ошибок и первого, и второго рода.
Например,
чтобы
уменьшить
уровень
значимости, нужно уменьшить критическую
область
При этом, конечно, увеличится допустимая
область и понизится чувствительность правила
решения в отношении ошибок второго рода.
Поэтому для того, чтобы сформулировать то
или
иное
правило
выбора
решений,
необходимо выработать какие-то разумные
подходы. Путь к таким подходам указывают
критерии качества.
Обнаружение сигнала
Задача
обнаружения,
как
отмечалось,
состоит в том, чтобы в результате обработки
принятого сигнала Y установить, содержится ли
в нем полезный сигнал X или нет.
Пусть принимаемый сигнал является суммой
полезного сигнала и помехи
yt   xt    t 
Полезный сигнал может принимать два
x1
значения:
иx 0 с априорными
соответственно
px1 
px0 
вероятностями
и
.
Так как сигнал X наверняка имеет одно из
этих
двух
значений,
то
справедливо
соотношение
px0   px1   1
Таким образом, возможны две взаимно
исключающие
(альтернативные)
гипотезы: в принятом сигнале содержится
полезный сигнал (гипотеза H1) и
отсутствует полезный сигнал (гипотеза
H0).
Решающее устройство приемника по
данным выборки должно установить,
какая из этих гипотез является истинной.
В
геометрической
интерпретации
поставленная
задача
может
быть
сформулирована
следующим
образом.
Пространство принятых сигналов V условно
v1
разбивается на две части:
область
соответствующую принятию гипотезы H 1 о
том, что X  x1 и область v0 соответствующую
принятию гипотезы H 0 о том, что
X  x0 .
Это значит, что если вектор принятого
сигнала окажется в пределах области v1 то
принимается гипотеза H 1 . Если же вектор
сигнала
Y окажется в области v 0 , то
принимается гипотеза H 0 .
В этих условиях могут иметь место два
значения апостериорной вероятности p X Y 
p X 1 Y  — условная вероятность наличия
полезного сигнала X при данном значении
выборки Y,
условная
вероятность
p X 0 Y  —
отсутствия X при данном значении
выборки Y.
Аналогично можно рассматривать два
значения функции правдоподобия L X  :
плотность
Lx1   f Y X  условная
вероятности выборки Y при наличии
полезного сигнала X;
Lx0   f Y x0  условная
плотность
вероятности выборки Y при отсутствии X.
Отношение функций правдоподобия
Lx1  f Y x1 


Lx0  f Y x0 
Для выбора гипотезы H0 или H1 должно
быть взято за основу определенное
правило принятия решений.
Выбор правила принятия решения в
математическом отношении сводится к
оптимальному разбиению пространства
принимаемых сигналов V на области v1
и v 2.
Для того чтобы выбрать то или иное
правило
принятия
решения,
необходимо
руководствоваться
определенными критериями.
Критерии принятия
решения
Критерий максимума
правдоподобия
Этот критерий формулируется следующим
образом: наиболее правдоподобно то значение
параметра
X,
для
которого
функция
правдоподобия L(X) максимальна.
В соответствии с этим критерием в случае
двухальтернативной ситуации (обнаружение
сигнала) сравнивается два значения функции
правдоподобия Lx1  и Lx0  и принимается та
гипотеза, которой соответствует большее
значение функции правдоподобия. Если,
например
Lx1   Lx0  , то принимается
гипотеза
H1. Если же
Lx1   Lx0  , то
принимается гипотеза H0.
Этот критерий можно записать в
следующем виде через отношение
правдоподобия:
если
Lx1 

 1 , то
L x 0 
x  x1
eсли
Lx1 

1
L x 0 
x  x0
, то
Таким образом, в соответствии с данным
критерием методика принятия решения
сводится к следующему: вычисляются функции
L x 0 
правдоподобия
и Lx1 , определяется
отношение правдоподобия X, и в зависимости
от того, больше, равно или меньше единицы X
принимается соответствующая гипотеза.
Практическое достоинство данного критерия
заключается в том, что при его применении не
требуется знания априорных вероятностей
px0 
и сигнала X.
px1 
Критерий максимума
апостериорной вероятности
По этому критерию при полученном
значении выборки Y принимается та
гипотеза, при которой апостериорная
p X Y 
вероятность
максимальна.
Для
случая
двухальтернативной
ситуации сравниваются два значения
апостериорной вероятности px0 Y  и
px1 Y  .
Обычно рассматривается отношение
этих величин и правило принятия
решения записывается в виде:
если
px1 Y 
 1 , то
p x0 Y 
X  x1
eсли
px1 Y 
1
p x0 Y 
X  x0
, то
Используя формулу Байеса, выразим
отношение апостериорных вероятностей
через отношение функций правдоподобия
px1 Y  px1 L X 1  px1 



px0 Y  px0 L X 0  px0 
Тогда
критерий
максимума
апостериорной вероятности может быть
следующим образом выражен через
отношение правдоподобия:
если
px1 
 1
p x0 
, то
X  x1
eсли
px1 
 1
p x0 
, то
X  x0
Также соотношение можно представить
в виде:
если
px0 

 0
px1 
, то
X  x1
eсли
px0 

 0
px1 
, то
X  x0
где  0 - пороговое значение отношения
правдоподобия.
Таким образом, процедура принятия решения
согласно критерию максимума апостериорной
вероятности такая же, как и согласно критерию
максимума
правдоподобия.
Отличие
заключается лишь в том, что в первом случае
отношение правдоподобия сравнивается с
единицей, а во втором случае — с отношением
априорных вероятностей
px0  px1  . При
наличии априорных данных px0  и px1 
целесообразно
применять
критерий
максимума апостериорной вероятности, так как
при этом имеется возможность пользоваться
дополнительной информацией, позволяющей
точнее решить задачу обнаружения сигнала.
Критерий идеального
наблюдателя
(критерий Котельникова)
Согласно данному критерию принимается та
гипотеза, при которой обеспечивается минимум
общей ошибки принятия решения.
При решении задачи обнаружения сигнала
могут иметь место ошибки двух родов:
1) при отсутствии полезного сигнала Y вектор
принятого сигнала оказывается в области v1 и
принимается в соответствии с этим гипотеза H1,
2) при наличии полезного сигнала вектор Y
оказывается в области
v0 и принимается
гипотеза H0.
Первая ошибка называется ошибкой первого
рода, или «ложной тревогой». Вторая ошибка
называется ошибкой второго рода, или
«пропуском сигнала». Количественно ошибки
первого и второго рода оцениваются условными
вероятностями
и
ошибочных
 решений о

наличии
полезного
сигнала,
когда
в
действительности он отсутствует, и об
отсутствии сигнала, когда в действительности
он имеется
  pY  v1 x0    wY x0 dY
v1
  pY  v0 x1    wY x1 dY
v0
Общая безусловная вероятность ошибочного
решения определяется выражением
pîø  px0   px1 
Следовательно,
условие
оптимального
решения по критерию идеального наблюдателя
имеет вид
pош  px0   px1   мин
Значения ошибок первого и второго рода
pош  px0  wY x0 dY  px1  wY x1 dY
v1
v0
Ошибку второго рода можно представить
в виде
  pY  v0 x1   1  pY  v1 x1   1   wY x1 dY
v1
Подставив значение  , получим
pош  px1     px1 wY x1   px0 wY x0 dY
v1
Тогда критерий Котельникова может
быть следующим образом выражен через
отношение правдоподобия:
если
eсли
px0 
f Y x1 
 
 0 , то
f Y x0 
px1 
p x0 
wY x1 

 0
wY x0 
px1 
X  x1
, то X  x
0
Таким образом, правила решения,
соответствующие критериям идеального
наблюдателя и максимума апостериорной
вероятности,
совпадают.
Отличие
заключается лишь в исходных условиях
Критерий Неймана—Пирсона
Данный критерий основан на том, что ошибки
первого и второго рода не одинаково опасны,
причем ошибка первого рода приводит к таким
последствиям, что ее вероятность необходимо
ограничить некоторой очень малой величиной.
Вторую
ошибку
желательно
при
этом
обеспечить минимальной.
Исходя из этого, критерий Неймана—Пирсона
можно сформулировать следующим образом:
наилучшим решением является такое, при
котором
обеспечивается
наименьшая
вероятность ошибки второго рода при
заданной допустимой вероятности ошибки
первого рода.
Итак,
согласно
критерию
Неймана—Пирсона должно быть
обеспечено
   f Y x1 dY  мин
при
v0
   f Y x0 dY  
v1
где  - наперед заданная величина.
Задача может быть решена методом
Лагранжа
отыскания
условного
экстремума.
Для упрощения задачи целесообразно
перейти от многомерной переменной Y к
одномерной переменной X, что можно
осуществить с помощью равенств
f Y x1 dY  f  x1 d
f Y x0 dY  f  x0 d
При таком переходе областям v1 и v0 в
пространстве V соответствуют области
0  0  и 0   значений X.
Условные
вероятности
ошибок
первого и второго рода будут при этом
представлены в виде

   f Y x0 dY   f  x0 d
v1
0
0
   f Y x1 dY   f  x1 d
v0
0
Тогда
для
отыскания
экстремума должна быть
вспомогательная функция
условного
составлена
0

F    f  x0 d   f  x1 d
0
Взяв производную
нулю, получим
F
 0
0
f 0 x1   f 0 x0   0
Cледовательно
и приравняв ее
f 0 x1 

f 0 x0 
w x1  wY x1 


w x0  wY x0 
Таким образом
f 0 x1 
 0
f 0 x0 
Таким образом, данный критерий будет
справедлив при   0
где пороговое
0
значение
определяется из
равенства

   f Y x0 d  
0
Итак, правило принятия решения
согласно критерию Неймана— Пирсона
может быть записано в виде:
если
f Y x1 
   0
f Y x0 
, то
X  x1
eсли
f Y x1 
   0
f Y x0 
, то
X  x0
Критерий минимального риска
(критерий Байеса)
Этот критерий учитывает не только неравноценность
ошибок первого и второго рода, но и те последствия, к
которым приводят эти ошибки. Для учета этих
последствий
введены
весовые
коэффициенты
r10 и
r01
(коэффициенты цены ошибок)
,
приписываемые соответственно ошибкам первого и
второго рода.
Усредненная величина
r  r10 px0   r01 px1 
получила название риска.
В
соответствии
с
критерием
минимального риска правило выбора
решения формулируется следующим
образом: принимается та гипотеза, при
которой обеспечивается минимальный
риск:
r  мин
Представим формулу в виде

0
0
0
r  r10 px0   f  x0 d  r01 px1   f  x1 d 
 r01 px1    r01 px1  f Y x1   r10 px0  f Y x0 dY
v1
Минимум
выражения
будет
при
условии, если подинтегральная функция
положительная
r01 px1  f Y x1   r10 px0  f Y x0   0
Отсюда получаем следующее правило
принятия решения:
если
r10 px0 
f Y x1 
 
 0
f Y x0 
r01 px1 
, то
X  x1
eсли
r10 px0 
f Y x1 
 
 0
f Y x0 
r01 px1 
, то
X  x0
Рассматриваемый критерий наиболее
целесообразен экономически, так как
обеспечивает
минимизацию
потерь,
обусловленных ошибками в принятии
решений. Но он требует максимальной
априорной информации, ибо помимо
функций распределения
и
f Y X 
априорных вероятностей p X  необходимо
также знание весовых коэффициентов
r10 и r01 .
Минимаксный критерий
Минимаксный критерий представляет собой
специальный случай критерия минимального
риска, когда априорные вероятности px0  и
px1  не заданы.
Дело в том, что риск r, получающий
наименьшее значение при условии, зависит от
априорных вероятностей. При определенном
соотношении этих вероятностей, который мы
назовем наихудшим, риск будет максимален.
Идея минимаксного критерия заключается в
том, что обеспечивается минимум риска при
наихудшем
соотношении
априорных
вероятностей.
Для определения наихудшего соотношения
px1  необходимо приравнять
между px0  и
нулю производную от правой части по px1  (или
по px0  ).

0
0
0
r  r10 px0   f  x0 d  r01 px1   f  x1 d 
 r01 px1    r01 px1  f Y x1   r10 px0  f Y x0 dY
v1
В результате получается трансцендентное
уравнение, обеспечивающее максимум риска.
Затем
определяется
пороговое
значение отношения правдоподобия
r10 p x0 
 
*
r01 p x1 
*
*
0
p * x1 
где p* x0 
и
— наиболее
неблагоприятные значения априорных
вероятностей px0  и px1  , полученные из
условия r  0 .
p x1 
Таким образом, правило принятия
решения
для
всех
рассмотренных
критериев одинаково и сводится к
сравнению отношения правдоподобия  с
пороговым
значением  0 .Отличие
*
заключается лишь в величине  0 .Для
наглядности значения
для отдельных
критериев сведены в табл.1.
№
п.п.
1.
2.
3.
Наименование критерия
Максимум правдоподобия
Пороговое значение отношения
правдоподобия
0  1
Максимум апостериорной вероятности
0 
Идеальный наблюдатель
0 
p  x0 
p x1 
p  x0 
p x1 
0 находится из условия
4.
Нейман-Пирсон

 w x d  
0
0
5.
Минимальный риск
0 
r10 p x 0 
r01 p x1 
r10 p *  x 0 
,
 
*
r01 p x1 
*
0
6.
Минимакс
где p *  x0  и p *  x1  находится
r
из условия
0
p  x1 