Адаптивные методы анализа зашумленных нестационарных

Саратовский государственный университет им. Н.Г. Чернышевского
На правах рукописи
НАЗИМОВ Алексей Игоревич
АДАПТИВНЫЕ МЕТОДЫ АНАЛИЗА ЗАШУМЛЕННЫХ
НЕСТАЦИОНАРНЫХ СИГНАЛОВ НА ОСНОВЕ
ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ И АЛГОРИТМА
ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
01.04.03 – Радиофизика
Диссертация на соискание ученой степени
кандидата физико-математических наук
Научный руководитель
профессор, д.ф.–м. н.
А.Н. Павлов
Саратов – 2014
2
Содержание
Введение
1
3
Современные методы анализа сигналов и экспериментальных
измерений
1.1 Анализ главных компонент…………………………………………...
1.2 Преобразование Фурье…………………………………………………
1.3 Непрерывный вейвлет-анализ………………………………………..
1.4 Искусственные нейронные сети………………………………………
1.5 Применение вейвлет-функций в технике искусственных
нейронных сетей………………………………………………………..
2
Результаты решения задачи классификации зашумленных
импульсных сигналов с использованием алгоритма
искусственных нейронных сетей
2.1 Алгоритм тестовой классификации…………………………………..
2.1.1 Функция G «солитоноподобного» импульса……………………
2.1.2 Пороговая идентификация коротких импульсных сигналов.
Схема алгоритма тестовой классификации……………………...
18
28
33
38
48
55
61
65
2.1.3 Применение анализа главных компонент в классификации
коротких импульсных сигналов………………………………….
2.2 Адаптивные алгоритмы на основе искусственных нейронных
сетей и вейвлет-функций……………………………………………….
2.2.1 Адаптивный непрерывный вейвлет-анализ………………………
2.2.2 Многослойные нейронные сети…………………………………..
2.2.3 Применение вейвлет-функций в алгоритме нейронных сетей.
Алгоритм последовательных коррекций…………………………
2.3 Результаты анализа тестовых данных на основе нейросетевых
алгоритмов………………………………………………………………..
3
Результаты экспериментальных исследований применения
адаптивных методов в анализе сигналов
3.1 Идентификация осцилляторных паттернов на
электроэнцефалограмме………………………………………………...
3.2 Анализ динамики сосудов мозга в оптической когерентной
томографии……………………………………………………………….
3.3 Нейросетевые алгоритмы для передачи информации
в защищенном режиме.............................................................................
77
85
95
102
110
123
133
140
Заключение
151
Список сокращений и условных обозначений
152
Список литературы
153
3
Введение
Актуальность исследуемой проблемы
Одними из первых методов адаптивной обработки сигналов в радиофизике
можно считать фильтрацию с автоматически подстраиваемой частотной характеристикой [1,2]. Подобные технические нововведения используются до сих пор в
различных системах обработки аналоговых сигналов. Способы цифрового анализа
сигналов [3-7] активно совершенствуются с середины прошлого века, и на сегодняшний день данное направление существенно потеснило технику аналоговой
обработки сигналов [1]. Методы цифровой обработки сигналов прошли длительный путь совершенствования от интегралов «королевства Фурье» [8,9] до теории
вейвлетов [9,10], включая методы адаптивного спектрального анализа, технику
искусственных нейронных сетей [11,12] и многое другое [13]. Появление более
мощных вычислительных машин привело к тому, что область радиофизики, связанная с анализом сигналов, нашла широчайшее применение в разных сферах от
экономики [14] до экологии [15], охватывая биофизику и медицинскую физику.
Современные микропроцессорные устройства по своим размерам в сотни и тысячи раз более компактны по сравнению со своими аналогами полувековой давности. Миниатюризация микропроцессоров позволяет из любого технического
средства, помещающегося на ладони, сделать цифровое измерительное устройство, способное проводить регистрацию нужных величин, анализировать динамику, а также, по возможности, делать прогнозы на некоторое время вперед. Безусловно, все подобные результаты рассчитываются на основе как адаптивных, так
и автоматических алгоритмов цифровой обработки сигналов и регистрируемых
данных [16,17].
В последнее десятилетие среди методов анализа сигналов стали все чаще
появляться подходы, в которых находят свое применение адаптивные алгоритмы.
4
Отмечается, что в ряде случаев их эффективность существенно выше по сравнению с автоматической обработкой. Наибольшую научно-практическую ценность
применения таких алгоритмов представляет направление прикладных исследований из областей биофизики и медицинской физики [18]. Рассматривается большой спектр проблем от анализа динамики клеток различных тканей живого организма до построения систем обработки диагностических данных. В рамках проведения исследований мы уделили внимание такой проблеме из области биофизики,
как анализ активности нейронных клеток нервных тканей. Динамическая активность нейронов может быть зафиксирована на основе измерения разности электрических потенциалов на мембране [19]. При этом микроэлектрод, помещаемый
в межклеточное пространство, будет фиксировать сигналы от других нейронов
как от дополнительных источников электрического поля, которые в силу морфологии нервной ткани могут располагаться на близком расстоянии. Очевидно, для
того чтобы оценить активность и динамические особенности функционирования
исследуемой нейронной клетки, нужно решить задачу идентификации и классификации импульсов, генерируемых данной клеткой, отфильтровав при этом активность фоновых источников электрического поля. Проработка как методов автоматической, так и адаптивной классификации коротких импульсных сигналов в
присутствии аддитивных фоновых помех представлена в работах [20-22]. Однако
до сих пор не были подробно изучены проблемы адаптивного анализа коротких
зашумленных импульсов в зависимости от параметров источников фоновых помех. Детальное рассмотрение данной проблемы позволило бы обобщить ранее
полученные результаты, рассчитать эффективность использования алгоритмов
идентификации и классификации и проработать применение новых адаптивных
подходов, которые могут быть существенно эффективнее автоматических аналогов.
Актуальность создания адаптивных методов анализа сигналов заключается
в том, что их алгоритм не имеет строго направленного применения. Гибкость настройки параметров позволяет засчет проведения стадии адаптации решать самые
разные задачи, связанные со спектральным анализом, фильтрацией, идентифика-
5
цией и классификацией зашумленных фрагментов сигналов и изображений. Одним из таких примеров построения адаптивных методов анализа является техника
искусственных нейронных сетей [11]. Это направление активно развивалось в течение второй половины двадцатого столетия, в результате чего появились способы, основанные на применении персептронов [11], рекуррентных нейронных
сетей [11], а также самый востребованный на сегодняшний день алгоритм обратного распространения ошибки [11,12].
Степень разработанности решений различного рода задач с применением
искусственных нейронных сетей высока. Алгоритмы, построенные на основе теории вейвлетов [9,10], из-за своей популярности за последние два десятилетия были самым подробным способом изучены как на практике, так и в теории. Несмотря на то, что многие алгоритмы, построенные на основе искусственных нейронных сетей или на использовании вейвлет-преобразования, уже являются стандартными способами, применяющимися в теории анализа [21] и демонстрирующими высокую эффективность, - проблемы их совершенствования актуальны, так
как ошибка применения подобных алгоритмов при решении самых разных задач
по-прежнему не близка к нулю. Руководствуясь данным фактом, многие исследователи продолжают развивать эти направления засчет создания специальных
адаптивных методов анализа как на основе вейвлет-преобразования, так и на основе техники искусственных нейронных сетей. Бесспорно, до сих пор актуальны
работы, посвященные комбинированным алгоритмам, в которых применяются и
нейронные сети, и вейвлет-функции [14,15,21].
Основная цель диссертационной работы состоит в построении новых алгоритмов адаптивного спектрального анализа на основе непрерывного вейвлетанализа, которые имеют широкое применение в области прикладных исследований по обработке сигналов и изображений, а также эффективно сочетаются с техникой искусственных нейронных сетей. Для достижения данной цели решались
следующие задачи:
6
1. Создание и реализация алгоритма численного расчета функционала ошибки
методов автоматической и адаптивной классификации зашумленных коротких
импульсных сигналов с учетом параметров спектра импульсов и фоновых шумов.
2. Численное исследование функционала ошибки анализа главных компонент при
его использовании в алгоритмах автоматической классификации коротких зашумленных импульсных сигналов.
3. Определение наилучшего функционального вида базисной функции для проведения непрерывного вейвлет-анализа сигналов при наличии сильных фоновых помех.
4. Разработка новых методов адаптивного анализа на основе непрерывного вейвлет-преобразования и техники искусственных нейронных сетей; решение ряда
сопутствующих задач по их сочетаемости в рамках общего алгоритма вейвлетных нейронных сетей.
5. Сравнение эффективности применения алгоритмов автоматического и адаптивного анализа фрагментов сигналов на примере решения задач по идентификации и классификации коротких импульсов при наличии сильных аддитивных
помех.
6. Применение адаптивного вейвлет-анализа к решению задачи идентификации
осцилляторных структур на электроэнцефалограмме мозга.
7. Создание новых алгоритмов адаптивного спектрального анализа данных оптической когерентной томографии сосудов головного мозга с доплеровскими измерениями скорости кровотока.
Методология исследований заключается в том, что согласно разработанному алгоритму анализа функциональной зависимости ошибки при идентификации и классификации фрагментов сигналов проводится серия численных экспериментов, основной целью которых является расчет функционала ошибки автоматических и адаптивных способов анализа сигналов на примере решения задачи
классификации коротких импульсов. При этом в качестве автоматического метода
7
использовался анализ главных компонент, а в качестве адаптивных методов использовались непрерывное вейвлет-преобразование и техника искусственных
нейронных сетей. Методы исследований, применяемые в рамках разработанного
алгоритма расчета функциональной зависимости ошибки, основаны на использовании способов спектрального анализа с применением дискретного преобразования Фурье. В целом вся схема расчетов, включая все преобразования, представляет собой последовательность численных алгоритмов, которые реализуются при
помощи электронно-вычислительных машин. Научная новизна проведенных исследований состоит в разработке новых способов адаптивного анализа сигналов с
использованием вейвлет-преобразования, техники искусственных нейронных сетей, а также элементов теории стохастической оптимизации. По результатам решения поставленных задач были впервые определены следующие результаты:
1. Определен общий вид функционала ошибки Ε для задачи классификации зашумленных импульсов с использованием соответствующих алгоритмов классификации фрагментов сигналов (анализ главных компонент, вейвлет-анализ и
искусственные нейронные сети) – для численного расчета были дополнительно
разработаны две функции: 1) функция, определяющая степень сходства фрагментов сигналов в виде ∆ x ; 2) функция короткого импульса в виде G ( p, t ) .
r
2. Показано, что функция G ( p, t ) является универсальным примером «солиr
тоноподобного» короткого импульса, который может быть использован в
нейродинамике в качестве модельного сигнала отклика нейронной клетки.
3. Рассчитан и проанализирован функционал ошибки Ε по классификации коротких зашумленных импульсов типа G ( p, t ) для анализа главных компонент – по
r
результатам исследований определена зависимость ошибки Ε по классификации фрагментов сигнала от ширины спектра, центральной частоты и величины
спектральной энергии фоновых помех.
4. Для анализа нестационарных сигналов предложены новые методы адаптивного
непрерывного вейвлет-анализа, свойства которых были подробнейшим образом изучены на примере решения задачи классификации коротких импульсных
8
сигналов в присутствии сильных фоновых помех с соответствующим расчетом
функционала ошибки Ε .
5. С использованием стандартного метода обратного распространения ошибки и
адаптивного непрерывного вейвлет-анализа с элементами стохастической оптимизации разработан комбинированный алгоритм по расчету параметров
многослойных искусственных вейвлетных нейронных сетей, которые применены к решению задачи классификации коротких импульсов G ( p, t ) в присутстr
вии сильных фоновых помех.
6. В работе рассмотрена проблема зависимости ошибки классификации зашумленного фрагмента сигнала от того, насколько точно данный фрагмент изначально локализован и идентифицирован. Предложено решение задачи идентификации импульсов G ( p, t ) в присутствии широкополосных фоновых цветных
r
шумов на основе алгоритма адаптивной пороговой идентификации. При этом
впервые показано то, как влияет точность пороговой идентификации на значение функционала Ε ошибки классификации.
7. Усовершенствован стандартный метод идентификации осцилляторных структур на электроэнцефалограмме, в котором использовалось непрерывное вейвлет-преобразование. Модернизация данного метода заключалась в разработке
новых функционалов оптимизации параметров непрерывного вейвлет-преобразования и процедуры вторичной фильтрации – для поиска экстремальных значений функционалов была использована процедура стохастической оптимизации, что в совокупности позволило увеличить эффективность и уменьшить
ошибку идентификации по сравнению с ранее применяемым стандартным методом, что отражено в результатах анализа экспериментальных сигналов.
8. Предложен способ диагностики патологических изменений в динамике сосудистого тонуса на основе анализа численных данных, регистрируемых при доплеровских измерениях скорости кровотока. В основе алгоритма этого способа
было использовано адаптивное непрерывное вейвлет-преобразование с процедурой стохастической оптимизации. При проведении численных расчетов была
9
получена оценка возможностей данного алгоритма при классификации нормального и патологического состояний сосудистой системы головного мозга.
9. Разработан метод импульсного кодирования и передачи информации в защищенном режиме на основе использования принципов нейросетевого детектирования импульсов типа G ( p, t ) на фоне сильных фоновых помех. Метод был
r
апробирован в ходе численного моделирования и показал свою эффективность
при передаче многоканальной информации в режиме 2-х , 4-х и 27-ми независимых сообщений по одному каналу связи.
Теоретическая и практическая значимость. В работе решена одна из современных проблем радиофизики, связанная с адаптивным анализом и классификацией локализованных фрагментов сигналов в присутствии аддитивных цветных
шумов. При этом в качестве основного примера такой задачи рассмотрена проблема классификации коротких «солитоноподобных» зашумленных импульсов
типа G ( p, t ) . В качестве общепринятого решения данной проблемы был использоr
ван алгоритм автоматического распознавания на основе анализа главных компонент. В качестве альтернативных подходов предложены методы на основе искусственных нейронных сетей, и их всевозможные модификации в виде нейронных
сетей, использующих вейвлет-функции. Проведенные нами исследования не направлены на то, чтобы определить, что, к примеру, анализ главных компонент как
метод автоматической классификации менее точен по сравнению с адаптивным
вейвлет-преобразованием, и поэтому вейвлет-анализ является более предпочтительным [25] – главная идея представленных результатов исследований состоит в
том, что по общей схеме численных экспериментов на основе автоматических и
адаптивных методов рассчитываются соответствующие функционалы ошибки Ε
классификации зашумленных импульсов G ( p, t ) для каждого метода в отдельноr
сти. На проведенных сериях численных экспериментов показаны принципиальные различия между методами автоматической и адаптивной классификаций.
Продемонстрированы преимущества использования адаптивных подходов. На ос-
10
нове результатов серий численных экспериментов по расчету функционала Ε
предложен алгоритм импульсного кодирования и передачи информации в защищенном режиме, в котором как раз и реализуется использование конкурентного
преимущества адаптивных алгоритмов по сравнению с автоматическими методами. При этом отдельное внимание уделено изучению характеристик искусственных нейронных сетей и нейронных сетей, в которых используются вейвлетфункции. Для сочетания техники искусственных нейронных сетей с вейвлетфункциями предложен специальный способ адаптации таких сетевых алгоритмов,
включающий в себя элементы адаптивного непрерывного вейвлет-анализа. Благодаря использованию данного метода удалось самым эффективным способом сочетать вейвлет-преобразование и искусственные нейронные сети. Предложено развитие концепции адаптивного вейвлет-преобразования для решения ряда задач
биофизики. В частности, адаптивное вейвлет-преобразование использовалось для
идентификации осцилляторных структур на электроэнцефалограмме. Результаты
данного исследования показали эффективность предложенного подхода по сравнению со стандартным алгоритмом на основе непрерывного вейвлет-анализа.
Точность стандартного метода повешена более чем на 25%. В качестве другой области применения адаптивного вейвлет-преобразования была рассмотрена проблема анализа динамики сосудистого тонуса. Применение адаптивного вейвлетпреобразования позволило проводить более точный анализ сигналов при доплеровских измерениях скорости кровотока и выявлять патологические изменения в
динамике. Эффективность такого метода проверена на небольшой серии экспериментов по классификации нормального и патологического состояний.
Основные положения и результаты, выносимые на защиту:
Положение 1: Использование адаптивной подстройки частотно-временного
разрешения базиса непрерывного вейвлет-преобразования, применяемого при решении задачи классификации коротких зашумленных импульсных сигналов, позволяет снижать величину ошибки классификации.
11
Положение 2: Значение функционала Ε = Ε(∆ x , Λ ) ошибки классификации
r
(
r
m − классов коротких импульсных сигналов G Pm , t
)
в присутствии аддитивных
фоновых шумов, спектр которых перекрывается со спектром G (Pm , t ) , - стремится к
r
нулю при использовании алгоритмов классификации на основе многослойных искусственных нейронных сетей при условиях, что процедура расчета параметров
для адаптации искусственной нейронной сети устойчива, а функционал ошибки,
показывающий оптимальность настройки сетевого алгоритма, принимает экстремальные значения.
Результат 1: В решении задачи классификации коротких зашумленных импульсных сигналов G (P, t ) на основе адаптивных методов в виде искусственных
r
нейронных сетей и искусственных нейронных сетей, использующих вейвлетфункции, обнаружен эффект «идеальной классификации», суть которого состоит
в том, что функционал ошибки метода классификации в виде Ε = Ε(∆ x , Λ ) приниr
мает значения, близкие к нулю, и не зависит от энергии аддитивных фоновых
помех.
Результат 2: Адаптивные алгоритмы на основе вейвлетных нейронных сетей, использующих вместо синаптических коэффициентов в модели формального
нейрона дискретизованные значения непрерывной вейвлет-функции, более эффективны по сравнению со стандартными искусственными нейронными сетями,
если на этапе адаптации, согласно методу обратного распространения ошибки,
использовать дополнительные способы оптимального поиска значений параметров вейвлет-функции – в качестве одного из примеров таких комбинированных
подходов в адаптации вейвлетных нейронных сетей предложен алгоритм последовательных коррекций, включающий элементы стохастической оптимизации.
Результат 3: Для идентификации осцилляторных структур в S (t ) − сигналах
электроэнцефалограммы по результатам численных экспериментов доказана эффективность использования адаптивных комбинированных алгоритмов фильтрации в виде: Φ ΙΙ ( ΡΙΙ , Φ Ι (ΡΙ , S ) ), построенных на принципах адаптивного непрерывr
r
12
ного вейвлет-анализа, по сравнению со стандартными алгоритмами на основе непрерывного вейвлет-преобразования.
Результат 4: Использование стохастической оптимизации параметров в виr
де x для адаптивного непрерывного вейвлет-преобразования с определением соответствующего функционала (например, R(x ) ) дает возможность увеличения точr
ности идентификации спектральных особенностей нестационарных сигналов по
сравнению с классическими методами спектрального анализа на основе преобразования Фурье, а экстремальное значение самого функционала может рассматриваться в качестве показателя идентичности спектрального состава анализируемых фрагментов сигнала.
Результат 5: Разработан принцип импульсного кодирования и передачи информации в защищенном режиме на основе нейросетевого детектирования сигнала, состоящего из последовательностей коротких импульсов (в виде G ( p, t ) ), и
r
аддитивного цветного шума.
Достоверность полученных результатов подтверждается тем, что исследуемые алгоритмы адаптивного анализа имеют строгое математическое обоснование, записанное в виде общей теории оптимизации. Сочетаемость способов поиска оптимальных значений параметров вейвлет-преобразования и искусственных
нейронных сетей подтверждается устойчивостью данных методов при переходе
от стадии адаптации к стадии анализа. Результаты применения адаптивных подходов воспроизводимы с точностью реализации процедуры их настройки (то есть
адаптации). Эффективность разработанных методов показана на примере ряда
численных экспериментов и на основе результатов решения прикладных задач из
области биофизики.
Апробация результатов и публикации: Основные результаты, описанные
в диссертации, были представлены на конференциях: «Нелинейные дни 2008,
2009, 2010, 2011, 2012» (г. Саратов), «Студенческая наука СГУ, 2008, 2009, 2010,
2011» (г. Саратов), «Stat Info - 2009» (г. Саратов), «Методы компьютерной диаг-
13
ностики в биологии и медицине 2009,2010,2011» (г. Саратов), «Нелинейные феномены, хаос, критические явления и методы их исследования с помощью вейвлетного, кластерного и спектрального анализа в геоэкологических процессах
2009» (г. Саратов), «Saratov Fall Meeting - SFM 2010» (г. Саратов), «Хаотические
автоколебания и образования структур – ХАОС 2010» (г. Саратов), «Dynamics and
Fluctuations in Biomedical Photonics VIII -2011» (США), «Modeling Week, 2012»
(Испания, г. Мадрид), «Экология: синтез естественнонаучного, технического и гуманитарного знания, 2012» (г. Саратов), «Dynamics and fluctuations in Biomedical
Photonics Х -2013» (США), «Moscow science week – MSW, 2014» (г. Москва). Материалы и результаты научных исследований неоднократно обсуждались на семинарах, проводимых на кафедре радиофизики и нелинейной динамики НИУ «СГУ
им. Н.Г.Чернышевского». Часть разработанных методов была апробирована при
проведении научных исследований в рамках грантов «Научно и научно-педагогические кадры инновационной России на 2009-2013гг.» и федерально-целевой программы «Исследования и разработки по приоритетным направлениям развития
научно технологического комплекса России на 2007-2013 годы». Созданы программные продукты и полезные модели, которые прошли освидетельствование в
федеральной службе по интеллектуальной собственности «Роспатент». В результате получено 6 авторских свидетельств на программы для ЭВМ и 1 патент на полезную модель. Результаты проведенных научных работ опубликованы в следующих реферируемых научных журналах и материалах конференций: «Известия
Саратовского университета. Серия Физика», «SPIE-proceedings», «Радиотехника и
электроника», «Письма в журнал технической физики», «Journal of Innovative Optical Health Sciences (JIOHS)», «The European Physical Journal Special Topics. Всего
опубликовано 14 статей, из них 7 - в журналах, рекомендованных ВАК РФ. Основные работы внесены в список литературы по номерами [108-115]
Личный вклад. Постановка задачи, получение основных научных результатов, разработка программных средств, проведение серий численных экспериментов по адаптивному анализу сигналов – солитоноподобных импульсов, осцилляторных структур на электроэнцефалограмме мозга, сигналов доплеровской оп-
14
тической когерентной томографии, - а также интерпретация результатов выполнены лично автором диссертации. Данные для проведения анализа предоставлены
группами биологов под руководством О.В. Семячкиной-Глушковской (Саратовский государственный университет), Е.Ю. Ситниковой (Институт высшей нервной деятельности и нейрофизиологии РАН, г. Москва).
Структура и объем работы. Диссертационная работа состоит из вводной
части, трех глав, заключения, списка используемых сокращений и списка литературы. Объем текста диссертации составляет 162 страницы текста, включает 18 иллюстраций, 1 таблицу. В список литературы включены 115 источников.
Вводная часть диссертации содержит в себе материал, касающиеся актуальности темы исследований и ее прикладных аспектов, а также показывает, какую роль в современном развитии науки и техники играют методы, применяемые
в данной области исследований. Обсуждается степень разработанности основной темы исследований, формулируются цели диссертационной работы. Включено описание методологии и методов исследования, элементов научной новизны
проводимых исследований. Вводная часть содержит положения, выносимые на
защиту, описание структуры и объема работы и информацию о научных публикациях.
В первой главе диссертации проведено всестороннее рассмотрение современных методов анализа сигналов и обсуждаются различные алгоритмы, которые
используются при их практическом применении. Основной акцент сделан на таких методах, как анализ главных компонент, преобразование Фурье, непрерывный вейвлет-анализ, техника искусственных нейронных сетей, а также комбинированные алгоритмы на основе нейронных сетей и вейвлет-функций. Определены
преимущества, недостатки, и возможные пути развития алгоритмов на основе рассмотренных методов.
Во второй главе решается задача классификации коротких импульсных
сигналов в присутствии аддитивных фоновых помех. Рассмотрена проблема математического моделирования алгоритмов цифровой обработки таких сигналов.
15
Разработан алгоритм тестовой классификации, для которого предложены функции и функционалы ошибки. В качестве первой серии численных экспериментов
в алгоритме тестовой классификации применен анализ главных компонент. Результаты определили ряд новых свойств при использовании анализа главных
компонент в классификации импульсных сигналов. В качестве второй серии численных экспериментов в алгоритме тестовой классификации применялся новый
адаптивный алгоритм непрерывного вейвлет-преобразования, в котором использованы элементы стохастической оптимизации. Результаты второй серии численных экспериментов были учтены в моделировании искусственных нейронных сетей, использующих вейвлет-функции. Для такого рода нейросетевых методов был
предложен алгоритм последовательных коррекций, позволяющий проводить стадию адаптации наиболее эффективно, что подтверждается третьей серией экспериментов, в которой использовался алгоритм тестовой классификации с техникой
искусственных нейронных сетей. Выявлен эффект «идеальной классификации».
По результатам трех серий численных экспериментов приводятся соответствующие выводы и комментарии.
В первой части третьей главы обсуждается проблема идентификации осцилляторных структур на электроэнцефалограмме. Предлагается концепция комбинированной адаптивной фильтрации типа Φ ΙΙ ( ΡΙΙ , Φ Ι (ΡΙ , S ) ), в которой применяr
r
ются ранее рассмотренные принципы адаптивного непрерывного вейвлет-анализа.
Результаты численных исследований на 5 экспериментальных сигналах показали,
что рассмотренный способ адаптивного анализа типа Φ ΙΙ ( ΡΙΙ , Φ Ι (ΡΙ , S ) ) по своей эфr
r
фективности существенно улучшает результаты применения стандартного метода
на основе непрерывного вейвлет-преобразования.
Во второй части третьей главы рассмотрена задача, связанная с анализом
нестационарных сигналов, которые получаются после обработки данных оптической когерентной томографии мозга с доплеровскими измерениями. Экспериментально показано, что ранее предложенные алгоритмы адаптивного вейвлет-анализа являются одним из самых эффективных средств анализа сигналов, содержа-
16
щих частотные модуляции. По результатам применения адаптивного вейвлет-анализа на небольшой серии практических экспериментов определен пороговый критерий, по которому, согласно данным оптической когерентной томографии, можно классифицировать нормальное и патологическое состояния сосудистого тонуса.
В третьей части третьей главы предлагается новое решение для проблемы
передачи информации в защищенном режиме. На основе ранее полученных результатов (использован эффект «идеальной классификации») применения сетевых
алгоритмов в классификации зашумленных импульсов типа G ( p, t ) разработана
r
техника импульсного кодирования и передачи информации в защищенном режиме. Представлены результаты численной симуляции работы кодирующего передатчика и декодирующего приемника в режиме 2-х, 4-х и 27-ми одновременно
передаваемых сообщений с использованием одного канала связи.
В заключении диссертации приводится обобщение всех экспериментальных и теоретических результатов, даются промежуточные оценки эффективности
разработанных методов адаптивного спектрального анализа.
Основные результаты и выводы
Согласно полученным результатам теоретических и экспериментальных работ, представленных в диссертации, можно сформулировать следующие выводы.
1. Разработан и реализован способ по изучению функциональной зависимости
ошибки методов автоматической и адаптивной классификации фрагментов зашумленных сигналов в виде алгоритма тестовой классификации, по которому
были построены и изучены функционалы ошибки для анализа главных компонент, адаптивного непрерывного вейвлет-преобразования, а также для техники
искусственных нейронных сетей.
2. Предложена концепция адаптивного анализа на основе непрерывного вейвлетпреобразования с использованием элементов стохастической оптимизации.
Адаптивный вейвлет-анализ был применен при построении схемы обучения
многослойных нейронных сетей согласно методу обратного распространения
17
ошибки. Сочетание подобных методов было преобразовано в алгоритм последовательных коррекций, который можно использовать при проведении процедуры настройки нейронных сетей, использующих вейвлет-функции. Алгоритм
последовательных коррекций показал свою эффективность в ходе численных
экспериментов.
3. Рассмотрена проблема идентификации осцилляторных структур на электроэнцефалограмме мозга. Разработан способ комбинированной адаптивной фильтрации Φ ΙΙ ( ΡΙΙ , Φ Ι (ΡΙ , S ) ), в котором использованы принципы адаптивного непреr
r
рывного вейвлет-анализа с элементами стохастической оптимизации. Эффективность адаптивного анализа на основе Φ ΙΙ ( ΡΙΙ , Φ Ι (ΡΙ , S ) ) в сравнении со станr
r
дартными методами доказана по результатам численных экспериментов.
4. Разработан алгоритм адаптивного непрерывного вейвлет-преобразования, которое позволяет на основе анализа сигналов доплеровской оптической когерентной томографии определять нормальное и патологическое состояния сосудистого тонуса головного мозга.
5. На основе полученных результатов применения алгоритма тестовой классификации разработан способ импульсного кодирования и передачи информации
в защищенном режиме. Предложенные алгоритмы приемника и передатчика
сообщений прошли ряд испытаний в виде серий численных симуляций, подтвердив свою эффективность.
18
Глава 1
Современные методы анализа сигналов и
экспериментальных измерений
Методы спектрального анализа сигналов составляют основу современных
подходов в области обработки данных при помощи электронно-вычислительной
техники [26-30]. Цифровая обработка [3,4] позволяет строить системы автоматического управления, применение которых в науке и технике сложно недооценить.
Развитие теорий в области анализа данных способствует построению новых систем, оснащенных признаками сложной, нелинейной логики. Алгоритмизация технических процессов как для производственных нужд, так и для социальных потребностей приводит к необходимости использования новых моделей и парадигм.
На сегодняшний день научное сообщество накопило достаточный материал, чтобы с успехом решать часть вопросов, связанных с кодированием информационных потоков [31], сжатием информационных потоков [32], анализом голосовых
сообщений [33-35], фильтрацией звуковых записей [34], распознаванием фрагментов звуковых записей [36,37], фильтрацией изображений [36], выделением фрагментов изображений [38], последовательным анализом и обработкой кадров на
видеозаписях [39], выделением и распознавание фрагментов видеозаписи и так
далее. Все эти результаты невозможно получить без применения и развития методов спектрального анализа [40-43], элементов статистического анализа [44,45],
теории оптимизации [46-54], нелинейной динамики [55-58], теорий нечеткой логики и искусственных нейронных сетей [11,12,59-61].
В повседневном общении все чаще используется слово «умный». Так стали
называться разнообразные технические устройства, например: «умный телефон»
(от английского «smart phone»), «умный телевизор» (от английского «smart TV») и
так далее. Современный уровень развития электронно-вычислительной техники
19
действительно позволяет решать технически сложные вопросы радиофизики по
передаче, приему и обработке сигналов в режиме реального времени, исполняя
при этом большие процедуры анализа так, что оператор («пользователь»), определяя нужные начальные значения и условия, может немедленно получать результаты и возможные предложения от самого алгоритма (которые по расчетам электронно-вычислительной машины являются более рациональными). Такое всестороннее развитие в области цифровой электроники и радиофизики не обошло стороной медицину и биофизику [13,20]. В этих направлениях можно выделить ряд
вопросов, связанных с построением современных подходов по анализу данных в
режиме реального времени [5,6], а также с изучением динамики функционирования различных органов живых организмов (например, нервная и сердечно-сосудистая системы живого организма) [62-67]. Задачи обработки сигналов и биомедицинских данных решаются уже достаточно давно, в то время как проблемы
анализа различных параметров динамики развития и существования живых организмов имеют менее продолжительную историю, которая связана с попытками
моделирования поведения нервной системы. Хорошим тому примером является
изучение динамики нейронных клеток [66]. Отодвигая на второй план многие
биологические и медицинские аспекты в исследованиях живых систем, мы необратимо сталкиваемся с проблемами, относящимися к области радиофизики, посвященной построению методов полуавтоматического или автоматического анализа данных, получаемых в ходе эксперимента. Применяются процедуры фильтрации и удаления различных артефактов, которые непременно записываются при
проведении экспериментальных измерений параметров динамики исследуемых
объектов (например, исследования отделов нервной системы живых организмов
[67]). Из опыта известно, зачастую классические подходы фильтрации и обработки экспериментальных данных [1-4], которые с успехом применяются в радиофизике, оказываются малоэффективными из-за нестационарности амплитудно-частотных характеристик анализируемых временных рядов и присутствия
сильных фоновых помех. В этих случаях научное сообщество пришло к выводу,
что спектральные подходы [1] являются, безусловно, важными элементами любой
20
системы анализа, но далеко не всегда эффективными. Поэтому сравнительно недавно было начато развитие и использование методов адаптивного анализа данных [11]. Адаптивные методики позволяют улучшать работу алгоритмов фильтрации и повышать эффективность в решении задач распознавания и классификации данных в целом, что также отмечено [20].
Уточним, что под данными в широком смысле понимается совокупность
измерений физических величин при исследовании какого-либо объекта. Физические величины, такие как скорость движения частиц в потоке жидкости, давление,
электрический потенциал и другие, - могут вполне однозначно характеризовать
мгновенное состояние процессов, наблюдаемых в ходе жизненного цикла живых
организмов. В частности, в нейрофизиологии основной характеристикой состояния нейронной клетки является разность концентраций ионов натрия, калия и
кальция [68]. Наличие перечисленных ионов металлов в разных концентрациях
внутри нейронной клетки и снаружи приводит к возникновению разности потенциалов, которая фиксируется как при внутриклеточных, так и при внеклеточных
измерениях [68]. Динамика изменения концентраций ионов определяется активностью специальных ионных каналов, расположенных на мембране нейронной
клетки [68]. Равновесный электрический потенциал может быть изменен при помощи входного возмущения, получаемого от нейронных входов (дендритов [68]).
При возникновении изменения внутриклеточного потенциала нейрона происходит нарушение равновесного состояния [68], вследствие чего последовательно
срабатывают натриевый и калиевый каналы, что приводит к резкому изменению
потенциала электрического поля в положительную, а затем – в отрицательную
стороны соответственно [68]. При проведении осциллографических измерений
подобной активности на экране осциллографа фиксируется короткий импульс,
имеющий локализацию во времени и сообщающий о том, что в силу возбуждения
данной нейронной клетки произошла генерация отклика как подтверждение реакции на внешнее электрическое возмущение. Протекание реакции возбуждения
одиночного нейрона в больших нейронных ансамблях сравнимо с появлением
уровня логической единицы на выходе логического элемента цифровой электро-
21
ники [1]. Только в отличие от электронных логических элементов (например,
триггеров и компараторов [1]), которые способны обрабатывать только упрощенный цифровой сигнал, нейронная динамика по своей вариабельности является более сложной. Это связано с тем, что кодирование информационного потока в живых нейронных сетях имеет свои закономерности. Согласно одной из теорий, информационная составляющая в работе нейронов связана с кодированием интенсивности внешнего возмущения при помощи изменения частоты генерации импульсов. Интенсивность внешнего возмущения определяет отклик нейронных
клеток [68], то есть то, какой амплитуды будут импульсы, а также их количество.
На основе нейронных откликов, которые могут содержать от одного до нескольких десятков импульсов, передается накопленная информация от сенсорных к
центральным частям нервной системы. В данном контексте исследования параметров динамики одиночных нейронных клеток отодвигаются на второй план, так
как особый интерес приобретают различные аспекты изучения коллективной динамики нейронов [19,66,67], которая анализируется при обработке электрических
сигналов, продуцируемых нейронными ансамблями (рис.1.1, А).
Коллективная динамика нейронов может быть зарегистрирована на основе
измерения электрического потенциала микроэлектрода, помещенного во внеклеточное пространство (рис.1.1, А). При этом микроэлектрод регистрирует потенциал как от наиболее близко расположенных нейронных клеток, так и от отдаленных нейронов. Суперпозиция электрических потенциалов может быть записана
при помощи анализирующего устройства на основе электронно-вычислительной
машины (рис.1.1, А). В прикладных исследованиях [19] отмечается, что геометрия
микроэлектрода влияет на то, как он регистрирует сигналы от нейронных клеток,
расположенных на разном расстоянии от него. При различной конфигурации
окончания микроэлектрода появляется возможность наилучшим образом записывать только сигналы от близлежащих нейронов или иметь более широкий захват,
проводя регистрацию сигналов от отдаленных нейронов. Стоит отметить, что при
помощи одного микроэлектрода трудно проводить регистрацию сигналов более
чем от четырех нейронных клеток. Следовательно, сигналы от близлежащих ней-
22
ронов номер «1», «2» и «3» (рис 1.1, А, Б) будут регистрироваться с большими амплитудами, а сигналы клеток, расположенных в некотором отдалении от микроэлектрода – с меньшими амплитудами. Очевидно, что отдаленные клетки генерируют очень слабый сигнал, который при суммировании с сигналами других клеток, находящихся так же на большом расстоянии от микроэлектрода, становится
похожим на фоновый шум и играет скорее роль фоновых помех, которые аддитивно накладываются на регистрируемый сигнал от нейронов, близко расположенных к микроэлектроду. Пример регистрации такой активности в виде S (t ) показан на рисунке 1.1, Б.
Помимо амплитудных различий сигналов, регистрируемых от разных нейронных клеток, имеются и временные различия, связанные с длительностью нейронного импульса. При этом очевидно, что с точки зрения решаемой проблемы
необходимо однозначно проводить идентификацию и классификацию коротких
импульсов, чтобы была возможность выделить из большого множества регистрируемых импульсных сигналов сигналы от отдельных нейронов, находящихся
вблизи микроэлектрода; то есть осуществить условное разделение исходного набора импульсов на предполагаемое количество классов, относящееся к количеству исследуемых нейронов. При этом под идентификацией (локализацией) какого-либо фрагмента сигнала S (t ) понимается поиск некоторого отрезка t ∈ [τ 1 ,τ 2 ],
внутри которого S (t ) удовлетворяет определенным критериям, которые могут
быть связанны с мгновенными значениями амплитуд, частот или энергии S (t ) .
Ошибкой идентификации называется величина, пропорциональная количеству
неправильно определенных или пропущенных временных отрезков t ∈ [τ j ,τ j +1 ],
внутри которых амплитудно-частотные характеристики сигнала S (t ) удовлетворяют критериям идентификации. А под классификацией каких-либо фрагментов
сигнала S (t ) подразумевается такое определение множества {τ j } отрезков [τ j ,τ j +1 ]
( t ∈ [τ j ,τ j +1 ]), подмножества которого по критериям, связанным с мгновенными
значениями амплитуд, частот или энергии S (t ) , могут быть разделены и интерпретированы в виде набора классов. Ошибка классификации - это величина, пропорциональная отношению всех неправильно определенных элементов подмножеств
(классов) для множества {τ j } к общему количеству элементов {τ j } сигнала S (t ) .
23
Рисунок 1.1 - Схемы экспериментальных измерений. А – Схема экспериментальных исследований, проводимых для анализа динамики нейронов малых нейронных ансамблей
(применяется для изучения механизмов кодирования и передачи информации отдельными нейронными клетками). Б – пример экспериментально зарегистрированного сигнала S (t ) по схеме А. В – измерение активности отделов мозга при помощи электроэнцефалографии. Г – пример записанного сигнала S (t ) на электроэнцефалограмме, на котором серым цветом отмечены два типа осцилляторных структур на основе проведения
визуального анализа.
24
Правильная классификация импульсов в экспериментальных исследованиях
из области биофизики позволяет определить временные параметры нейронных
откликов в составе нейронных ансамблей [19]. Отметим, что проведение правильной классификации импульсов при наличии сильных фоновых помех с точки зрения радиофизики – это выполнение специальной адаптивной процедуры фильтрации, которая осуществляет точную реконструкцию зашумленных фрагментов
сигнала S (t ) , решая при этом задачи идентификации и классификации. Так фрагменты, содержащие нейронный отклик в виде импульса (рис.1.1, Б), предварительно идентифицируются, адаптивно фильтруются, после чего полученные результаты анализируются для решения задачи классификации [19-25] по соответствующим критериям. Простейшая идентификация для импульсов сигнала S (t )
(рис.1.1, А) осуществляется стандартным алгоритмом порогового детектирования
[19], а проблеме адаптивной фильтрации коротких импульсных сигналов посвящены работы, связанные с анализом главных компонент [19], вейвлет-преобразованием [22], техникой искусственных нейронных сетей [21], а также с комбинированными методами [21]. Тем не менее, в вопросах адаптивной фильтрации коротких импульсов (рис. 1.1, Б) остается еще ряд нерешенных проблем, которые
обсуждаются в данной главе.
Другим направлением в современной нейродинамике и нейрофизиологии
является изучение ритмической активности больших нейронных ансамблей, которые могут включать в себя до нескольких сотен тысяч нейронных клеток, образующих отделы головного мозга. Технически подобные исследования связаны с
разработкой методов регистрации электрических сигналов при проведении электроэнцефалографии мозга (рис. 1.1, В). Большинство направлений ориентировано, прежде всего, на создание интерфейса «мозг-машина». Как известно, сопряжение технических устройств с деятельностью человеческого мозга является
давно обозначенной проблемой, возможное решение которой долгое время считалось фантастикой. Но согласно работам [69-74] можно заключить, что результаты
анализа нестационарных процессов активности мозга могут быть интерпретированы в команды, исполняемые на технических устройствах. Другой аспект иссле-
25
дования сигналов электроэнцефалографии – это проведение диагностических работ по определению патологий и заболеваний мозга [75-89]. При этом они могут
выступать в качестве источника информации при наблюдении за умственной активностью и общим состоянием организма [90-93]. В данном направлении существует целый ряд работ, посвященных проблемам диагностики и лечения абсансэпилепсии [75-78]. Заболеванию абсанс-эпилепсией может сопутствовать появление дрожи в конечностях, а также нарушение базовых функций мозга [79,84,86].
В целях изучения этой патологии проводятся исследования на крысах, которые
имеют генетическую предрасположенность к абсанс–эпилепсии [81]. Электроэнцефалографические наблюдения показывают, что при анализе регистрируемых
данных приходится иметь дело с сигналами, в которых присутствуют несколько
типов осцилляций. Регистрируемые осцилляторные структуры («паттерны») имеют характерный вид, идентифицируемый при визуальном анализе электроэнцефалограммы (ЭЭГ) (рис. 1.1, Г). Визуальный анализ действительно помогает производить идентификацию («разметку») характерных паттернов на ЭЭГ, особенно
если при этом наблюдения проводятся с учетом рассчитанных мгновенных характеристик анализируемого сигнала, таких как мгновенная частота или мгновенная
амплитуда [94,95]. Тем не менее, он может быть эффективен лишь при обработке
сигналов длительностью несколько часов, сигналы же большей длительности
размечать весьма затруднительно. На рисунке 1.1, Г показан фрагмент сигнала, в
котором отчетливо видно два типа визуально идентифицированных паттернов.
Подобная ситуация является скорее наглядным исключением, нежели правилом.
Зачастую мгновенные значения амплитуды паттернов могут варьироваться. Не
стоит исключать и фоновую активность, проявляющуюся в наличии сигналов, генерируемых другими группами нейронов. Такие фоновые сигналы имеют те же
спектральные характеристики, что и наблюдаемые паттерны, поэтому при их аддитивном суммировании получается сигнал, в котором визуальная идентификация уже крайне затруднительна (особенно при рассмотрении многочасовых записей). Для решения подобных проблем было разработано большое количество различных алгоритмов. Одним из последних подходов [75], в котором используется
26
спектральный анализ [94], является алгоритм на основе непрерывного вейвлетпреобразования [94]. Он эффективен в решении подобных задач, но имеет некоторые недостатки, которые полностью устранимы при реализации данного алгоритма с применением процедур оптимизации [46,50,53]. Более подробно проблемы применения методов теории оптимизации в непрерывном вейвлет-анализе на
ЭЭГ приведены в главе 3.
Рассмотрены способы, позволяющие проводить исследования нервной системы живых организмов на основе записи и дальнейшего анализа электрических
сигналов активности нейронных клеток и нейронных ансамблей в виде сигналов
S (t ) . Очевидно, что при решении различных задач на этапе анализа мы неотвра-
тимо сталкиваемся с необходимостью построения новых современных алгоритмов фильтрации и распознавания [96]. Это позволяет выявлять дополнительные
порции информации, которые являются недоступными при использовании более
упрощенных алгоритмов [1-4]. Построение систем автоматического анализа и
«мониторинга» сигналов, записываемых в ходе наблюдений за процессами, протекающими в ходе жизненных циклов организмов – это одно из самых передовых
направлений в области построения электронных систем анализа [18,28,63-65]. До
этого мы рассмотрели лишь эксперименты по исследованию нервной системы,
тогда как существует еще целый ряд направлений, связанных с развитием современных электронных мобильных устройств, для которых создаются всевозможные программируемые алгоритмы, позволяющие регистрировать параметры жизнедеятельности живых организмов [18]. При этом преследуется цель построения
общей диагностической картины состояния живого организма как для повседневного мониторинга, так и для решения проблем ранней диагностики заболеваний.
К числу измеряемых параметров относятся пульс, частота сердечных сокращений,
давление, оксигенация клеток крови, содержание сахара в крови и многое другое
[18]. В рамках проводимых научных исследований мы уделили внимание данному
направлению для апробации предложенных адаптивных способов анализа экспериментальных данных на основе непрерывного вейвлет-анализа. В опубликованных работах [18,97] рассмотрен один из возможных способов анализа динамики
27
изменения скорости кровотока в сосуде головного мозга. Цель данных исследований, с одной стороны, показать возможности адаптивного спектрального анализа
сигналов, регистрируемых в эксперименте по измерению скорости кровотока на
основе оптического когерентного томографирования с доплеровскими измерениями [97], а с другой – сделать первые шаги в построении систем ранней диагностики сосудистых заболеваний с использованием лазерных технологий оптического диапазона. Результаты применения предложенных адаптивных методов
спектрального анализа сигналов оказались положительными, что было продемонстрировано в серии экспериментов по классификации «нормального» и «патологического» состояний. Описание проводимых экспериментов, методики анализа
регистрируемых экспериментальных сигналов, а также элементы предлагаемого
адаптивного алгоритма анализа более подробно изложены в главе 3.
Основная цель данной работы – это создание новых алгоритмов адаптивного анализа нестационарных сигналов и их применение к обработке фрагментов
сигналов различной длительности и степени зашумленности. Рассматриваются
три примера экспериментальных исследований из области биофизики, в которых
необходимо анализировать подобные сигналы: солитоноподобные импульсы нейронных клеток, осцилляторные структуры на ЭЭГ и сигналы доплеровских измерений скорости кровотока. К решению каждой задачи были разработаны методы
на основе адаптивного непрерывного вейвлет-преобразования. Предложенные методы могут быть использованы при построении радиотехнических комплексов и
устройств. Предполагаемое применение таких комплексов относится к решению
проблем диагностики патологий мозга [86], анализу умственной активности [72],
построению интерфейсов «мозг-машина» [74], кодированию и передаче информации в защищенном режиме [98-103].
Основная цель главы 1 заключается в описании теории стандартных алгоритмов, имеющих широкое применение в прикладном анализе нестационарных
сигналов [19,75,97], проведении теоретической оценки эффективности данных алгоритмов и определении дополнительных механизмов, которые бы способствовали улучшению получаемых результатов на практике. Результаты численных
28
экспериментов, построенных по проведенным теоретическим выкладкам, подробно описаны в главах 2 и 3.
1.1 Анализ главных компонент
Анализ главных компонент (АГК) был введен на основе работ Карунена –
Лоева [11]. В настоящий момент является одним из классических методов, применяющихся в факторном анализе, а также в решении задач корреляционного анализа [11]. АГК используется в разных областях анализа экспериментальных данных статистических исследований, в биологии, экономике и медицине. Этот метод является относительно простым алгоритмом, позволяющим без проведения
процедур дополнительных настроек получить приемлемый результат в решении
задач классификации и выделения закономерностей в наборе входных данных.
Согласно работе [19], АГК позволяет проводить классификацию и распознавание
фрагментов данных при полном отсутствии априорной информации об исследуемом сигнале. Если же учесть тот факт, что большинство экспериментальных сигналов [19-25] содержат в себе фоновые помехи, то с точки зрения радиофизики
применение АГК является эффективным способом подавления шумов в условиях
априори неизвестных параметров фрагментов сигналов [19]. Рассмотрим данный
алгоритм подробнее.
АГК – это метод, основанный на свойствах корреляционных и ковариационных матриц. В рамках проводимых исследований мы рассматриваем применение АГК при решении задачи распознавания коротких импульсов сигнала S (t )
(рис. 1.1, Б). Для выполнения анализа необходимо построить исходную матрицу
S ji , в которой j − индекс отвечает за номер произошедшего события (сгенериро-
ванного одиночного импульса в сигнале S (t ) ) – а i − индекс указывает на смещенный отсчет по оси времени, относительно которой рассматривается данный непрерывный сигнал S (t ) . Таким образом, матрица S ji составляется из векторов, которые являются относительно короткими дискретизованными фрагментами анализируемого сигнала S (t ) с шагом дискретизации ∆t . Введем ковариационную
29
матрицу K при помощи S ji на основе выражения (1.1) (обозначим оператор математического среднего в виде
K ik =
l
, где l − индекс усреднения).
1
QE
QE
∑
j =1
(S
ji
− S ni
QE
n =1
) (S
jk
− S nk
QE
n =1
)
(1.1)
В данном выражении в виде набора векторов S ji представлены фрагменты
исследуемого сигнала S (t ) , где j − это номер фрагмента (то есть номер идентифицируемого импульса, где QE - количество таких импульсов), i − смещенный отсчет по времени. По своим математическим свойствам ковариационная матрица
K ik (1.1) является симметрической матрицей. Её основное свойство состоит в том,
что собственные вектора µ k ( k ∈ [1, QT ] ) соответствуют максимумам дисперсии осr
новных характеристик отличия исследуемых наборов векторов S ji . При этом, как
отмечается в работе [11], система собственных векторов является ортогональной
и удовлетворяет системе алгебраических уравнений (1.2), содержащей также собственные значения λi матрицы (1.1).
QT
∑K
k =1
r
ik
µ ki = λi µ i
(1.2)
Согласно работе [11] система собственных векторов µ ki соответствует максимумам характеристик отличия исследуемых векторов S ji . Другое важное математическое свойство матрицы K ik заключается в том, что данные максимумы являются убывающими по своей величине пропорционально тому, как убывают
собственные значения λi (1.2) для матрицы (1.1). Это позволяет утверждать, что
наибольший объем требуемой информации будет заключен в первых собственных
векторах. Показано, что при разложении исходного набора векторов S ji по первым собственным векторам матрицы ковариации K ik получаются коэффициенты,
которые несут в себе информацию о пространственном положении анализируемых векторов S ji . Для решения задачи классификации это означает, что вектора,
принадлежащие к одному классу и имеющие свои индивидуальные особенности,
при вычислении матричного произведения (1.3) с собственными векторами мат-
30
рицы K ik дадут множество точек, локализованных в ограниченной области Ω1 .
Если в исходном наборе векторов содержатся еще какие-то m − классы (m ∈ [1, QC ]) ,
то есть группы векторов, имеющие характерные отличия в значениях координат
относительно общего количества Q E = QC QS векторов, очевидно, что значения матричного произведения между S ji и µ ki будут так же локализованы в QT − мерном
пространстве в виде соответствующих множеств Ω m .
QT
C kj = ∑ S ji µ ik
i =1
, j ∈ [1 , Q E ] , k ∈ [1 , QT ]
(1.3)
Пример для анализируемых векторов двух классов (QC = 2) показан на рисунке 1.2.
Пространство, в котором располагаются соответствующие области Ω m , называется пространством характеристик [19]. При этом если точки внутри соответствующих областей Ω m имеют хорошую локализацию с малой величиной значения дисперсии Ω m , то такие области принято называть кластерами [19] (рис. 1.2,
А).
АГК – методы используются в разных направлениях теории анализа сигналов. Но стоит отметить, что немалую популярность данные подходы приобрели
при построении алгоритмов анализа коротких импульсных последовательностей
[19,22]. Объяснить это можно тем, что короткие импульсы типа нейронных потенциалов действия (рис. 1.2, А) могут быть довольно хорошо идентифицированы
в силу их простой формы на основе порогового алгоритма [19] с порогом Θ (рис.
1.2, А - более подробно рассмотрение алгоритма пороговой идентификации представлено в главе 2). Предварительная идентификация на основе порогового метода позволяет строить множества центрированных векторов в виде ранее обозначенной матрицы S ji (рис. 1.2, Б). Как показывает численный эксперимент, предварительная идентификация фрагментов сигнала S (t ) способствует проведению более точной процедуры классификации отдельных форм импульсов на основе результатов АГК по сравнению с классификацией внутри скользящего окна. Однако
подобное правило практически невыполнимо при анализе более сложных импульсных последовательностей, которые регистрируются при записи сигналов
31
Рисунок 1.2 – Графические построения: А – пространство характеристик для решения
задачи классификации с двумя классами, элементы которых представлены в виде
Ω1 , Ω 2 (в данном примере на пересечении множеств Ω1 , Ω 2 локализованы соответствующие подмножества Ω1′ , Ω′2 , указывающие на неклассифицированные импульсы). В части А показан механизм пороговой идентификации векторов относительно
порога Θ для двух классов. Б – построение матрицы идентифицированных импульсов
S ji из исходного сигнала S (t ) . В – вейвлет-функции: WAVE , MHAT , DOG , MORLET .
32
электроэнцефалограммы мозга [75] или при регистрации локальных потенциалов
поля нейронной активности [66]. Поэтому применение АГК непосредственно для
анализа фрагментов таких сигналов является затруднительным.
В прикладных исследованиях в области анализа нейронных импульсов
очень часто приходится иметь дело с вычислением ошибки применяемого метода.
Для АГК определение ошибки осуществляется исключительно на основе вычисления областей пересечения множеств Ω m [19]. Под областями пересечения множества Ω m в данном случае понимается определение подмножества Ω′m данного
множества Ω m, , которое лежит внутри границ другого множества Ωi , i ≠ m , но изначально принадлежит множеству Ω m . Фактически, если кластеры пересекаются
(«перекрываются») (рис.1.2, А), то в области пересечения невозможно корректно
определять принадлежность классифицируемых векторов к предполагаемому
набору классов. Если для какой-либо произвольной задачи классификации векторов необходимо знать, насколько точно способен работать алгоритм АГК в зависимости от ряда экспериментальных параметров, полагается для расчетов подмножеств Ω′m использовать последовательность векторов в виде S j i , в которой изначально задаются вектора с количеством априори определенных m − классов , j ∈ [1, QS QC ] , m ∈ [1, QC ] , i ∈ [1, QT ] (рис.1.2, А, QC = 2 ). В этом случае после проведения вычислений (1.1), (1.3) можно восстановить огибающую кривую для границ
множества Ω m в пространстве характеристик, а также рассчитать подмножества
Ω′m , лежащие в области пересечения. При наличии Ω m и соответствующих им
Ω′m ошибка метода может быть получена на основе выражения (1.4)
QC
∑ Ω′
Ε = 100 * mQ=C1
∑Ω
m =1
(в выражении (1.4) оператор
m
(1.4)
m
обозначает оператор вычисления количества эле-
ментов соответствующего множества)
33
Очевидно, что немалый интерес представляет исследование различных закономерностей того, как будет зависеть ошибка Ε метода АГК от разных параметров проведения численного эксперимента [22,25] (имеется в виду импульсный
состав сигнала S (t ) , геометрические формы импульсов и спектральные параметры
фоновых аддитивных шумов). Результаты проведенных исследований для АГК в
серии численных экспериментов показаны в главе 2. Главная цель – это наиболее
полное исследование функциональной зависимости ошибки (1.4) от спектральных
параметров фоновых шумов, которые аддитивно добавляются к исходному сигналу S (t ) .
1.2 Преобразование Фурье
В современной физике преобразование Фурье - это одна из основ представления всех колебательных процессов [8] в виде соответствующих коэффициентов
ряда Фурье. Разложение функций в ряд Фурье позволяет решать многие проблемы математической физики, оптики, акустики и квантовой физики, которые не
связанны с теорией сигналов [1]. Данное преобразование с успехом используется
в теории колебаний, нелинейной динамике и радиофизике [55,56]. Такая широта
применения объясняется тем, что многие из перечисленных областей оперируют с
функциями x(t ) , представимыми в виде коэффициентов ряда Фурье.
При расчете коэффициентов ряда Фурье учитывается условие квадратичной
интегрируемости:
+∞
∫ x(t )
2
dt < ∞
−∞
При этом нетрудно показать, что рассматриваемые нами задачи анализа экспериментальных сигналов типа S (t ) (рис. 1.2) так же удовлетворяет данному условию.
Коэффициенты ряда Фурье могут быть получены на основе применения прямого
преобразования Фурье с действительными тригонометрическими функциями [8].
Тем не менее, в теории анализа сигналов принято использовать комплексное преобразование Фурье, которое может быть записано в виде (1.5).
34
Fx (ω ) =
+∞
∫ x(t ) e
− jωt
(1.5)
dt
−∞
Комплексный вид преобразования позволяет анализировать сигнал x(t ) по ортогональной системе тригонометрических функций [8] синуса и косинуса. Одновременное разложение x(t ) по этим двум функциям дает наиболее полное представление в спектральной области об исследуемом сигнале. В ходе прямого преобразования Фурье вычисляется Fx (ω ) − Фурье-образ x(t ) , который несет в себе ключевую информацию о том, какие спектральные компоненты представлены в x(t ) .
Исходя из теоремы Парсеваля [40] на основе Фурье-образа можно рассчитать
спектральную плотность S x (ω ) сигнала x(t ) в виде функции квадрата модуля от
Fx (ω ) . На практике все исследуемые процессы представимы в виде соответствую-
щих сигналов, которые нестационарны, имеют конечную длительность и дискретизацию по оси времени в виде ∆t . Все эти факты приводят к необходимости
усреднять значения S x (ω ) по реализациям x(t ) , для того чтобы исходный сигнал
x(t ) был представлен в спектральной области наиболее точно [9]. На практике
применяются алгоритмы [9], позволяющие проводить такие усреднения значений
спектральной плотности по количеству n - реализаций исследуемой функциональной зависимости x(t ) = { x1 (t ) , x2 (t ) , K , xn (t ) } . Один из наиболее распространенных
алгоритмов может быть записан на основе выражения (1.6).
S x (ω ) =
+∞
∫ x (t )e
2
− jωt
n
(1.6)
dt
−∞
n
Получение усредненных значений спектральной плотности по n - реализациям
сигнала x(t ) позволяет нам судить, прежде всего, о спектральном составе исследуемого процесса. На основе функции плотности спектральной энергии S x (ω ) рассчитывается значение спектральной энергии (1.7)
Gx =
+∞
∫
−∞
S x (ω ) dω
=
+∞
∫ x(t )
2
dt
(1.7)
−∞
Одно из наиболее важных свойств преобразования (1.5), основанного на
тригонометрических функциях синуса и косинуса, состоит в возможности прове-
35
дения обратного преобразования исследуемого сигнала по его Фурье-образу.
Осуществляется данная процедура на основе выражения (1.8).
x(t ) =
1
2π
+∞
∫ F (ω ) e
x
jω t
dω
(1.8)
−∞
Преобразование Фурье довольно широко используется в цифровом анализе
сигналов и изображений. При анализе длительных фрагментов используются алгоритмы на основе быстрого преобразования Фурье [9], так как простые численные методы [104,105] расчета выражений (1.5) - (1.8) становятся малоэффективными и требуют больших вычислительных мощностей. При построении систем
цифрового анализа данных очень часто исследователи сталкиваются с необходимостью спектрального исследования изучаемых процессов. В большинстве таких
случаев, как показывает опыт, без использования преобразования Фурье обойтись
крайне сложно. Рассмотрим наиболее часто встречающиеся задачи в обработке
сигналов [3].
Расчет спектров. На практике задачи по расчету спектров исследуемой
временной зависимости физической величины встречаются очень часто. При этом
применяется вышеописанный метод на основе (1.6) или один из методов, рассмотренных в работах [9]. Расчет соотношения «шум-сигнал». Соотношение «шумсигнал» является очень важной характеристикой в спектральных исследованиях,
особенно в области радиофизики и радиотехники [1]. По сути это основной параметр, значение которого показывает уровень шумового искажения сигнала, подлежащего интерпретации или обработке внутри разрабатываемой системы. Соотношение «шум-сигнал» удобно рассчитывать на основе теоремы Парсеваля [40] ,
если при этом имеется сигнал, который хорошо соответствует шумовому сигналу,
аддитивно добавленному к информационному сигналу. В этом случае спектральная энергия может быть получена как величина, пропорциональная интегралу от
квадрата модуля сигнала (1.7). В остальных случаях необходимо производить
расчет в соответствии с (1.6) и последующим интегрированием тех фрагментов
спектральной плотности, которые соответствуют спектру шума. Интегрирование
(1.7) по соответствующим областям определяет спектральные энергии шума
36
(«noise») и сигнала («signal») соответственно, по которым вычисляется линейное
соотношение «шум-сигнал» ΛNSR на основании выражения (1.9).
ΛNSR
Gnoise
Gsignal
=
(1.9)
Проблемы, связанные с моделированием временных процессов согласно
спектральным характеристикам, рассматриваются в работах [22-25]. Безусловно,
в решении таких задачах применяются выражениями (1.5), (1.8). Модельные сигналы находят свое применение при построении систем адаптивного анализа, а
также при проведении численных экспериментов, когда необходимо симулировать экспериментальные фоновые шумы, которые в ряде случаев имеют особую
спектральную характеристику, схожую с цветными шумами [7]. В этом случае
было предложено [109] использовать прямое (1.5) и обратное преобразования Фурье (1.8) в следующей последовательности. Изначально рассчитывается амплитудный спектр g x для некоторых n - фрагментов моделируемой функции x(t ) на основе выражения (1.10)
g x (ω ) =
+∞
∫ x (t )e
n
−∞
− jωt
(1.10)
dt
n
К функциональной зависимости g x (ω ) (1.10) необходимо применить пороговое
преобразование (1.11) с порогом g0 .
 g x (ω )
, g (ω ) > g 0

max ( g x (ω )) x
g x (ω ) = 
0 ,
g x (ω ) ≤ g 0
(1.11)
Таким образом, мы получаем нормированную амплитудно частотную характеристику фоновых флуктуаций в виде g x (ω ) . Для построения модельного сигнала для
x(t ) по данной характеристике необходимо взять фрагмент сигнала белого шума
[40] и рассчитать его Фурье-образ Fx (ω ) . Далее полученный Фурье-образ необходимо умножить на рассчитанную амплитудно частотную характеристику g x (ω )
(умножение производится для всех точек из рассматриваемой области частот, при
некоторых несовпадениях спектральных характеристик по количеству отсчетов в
частотной области к одной из них применяется процедура интерполяции [104]).
37
При осуществлении процедуры обратного преобразования Фурье (1.8) для скорректированного Фурье-образа в виде Fx (ω )g x (ω ) восстановится модель исходного
процесса x(t ) .
Классификация фрагментов сигналов. Частотные характеристики любого
сигнала являются основными маркерами, по которым исследуемый процесс x(t )
может быть в ряде случаев идентифицирован и охарактеризован даже при наличии фоновых флуктуаций, затрудняющих его анализ во временной области. Поэтому целесообразно в таких ситуациях применять методы, основанные на математическом анализе спектра. Для этого выделяются определенные фрагменты
спектральной плотности в виде S xp (ω ) (1.12) согласно их соответствию критериям,
вводимым в области значений или на основе введения ограниченной области
определения DSp для спектральной плотности S x (ω ) .
x
{
S x (ω ) = S x (ω ) S x (ω ) > S 0 ∨ ω ∈ DSpx
p
}
(1.12)
Преобразование Фурье, как было показано выше, это незыблемая основа современной теории цифрового анализа сигналов. Однако основным недостатком
данного типа преобразования является отсутствие возможности анализировать
мгновенные характеристики сигнала [94] (например, энергию) для разных частотных диапазонов. Для устранения этого недостатка преобразование Фурье часто
модернизируется на основе оконных функций или функций Габора [9]. Данное
решение является, безусловно, необходимым, но не всегда достаточным для достижения оптимальной величины спектрально-временного разрешения [9]. Для определения мгновенных значений основных спектральных характеристик сигнала
используется вейвлет-преобразование [9,10]. Преобразование Фурье - это алгоритм классического спектрального анализа, который широко используется как
при доказательстве теоретических выкладок, так и в практическом численном
эксперименте. В численных экспериментах, представленных в главах 2 и 3 использовались все выше описанные методы анализа сигналов, основанные на дискретном преобразовании Фурье. Результаты проводимых исследований приведены в соответствующих главах.
38
1.3 Непрерывный вейвлет – анализ
Теория спектрального анализа временных рядов в течение длительного периода времени не имела методик, позволяющих анализировать спектральные
свойства сигналов относительно временной оси. К исключениям в данном случае
можно отнести преобразование Гильберта [2,3]. Для решения этой проблемы изначально были предложены способы, основанные на применении преобразования
Фурье с временным окном [94]. При развитии теорий было определено, что помимо оконного преобразования Фурье можно ввести специальный набор базисных функций, которые с точки зрения спектрально - временного разрешения являются более предпочтительными по сравнению с оконным преобразованием Фурье. Такие функции были определены в виде «вейвлетов» [9] в работах Гроссмана
и Морле на примере непрерывного вейвлет-преобразования. В процессе развития
данных подходов были разработаны дискретные вейвлет-функции. Вейвлет-преобразование было введено в непрерывном и в дискретном видах [9,10]. Эти формы преобразования имеют ряд существенных отличий по способам численного
расчета и по набору применяемых вейвлет-базисов. В данной работе мы не рассматривали уместность применения дискретных вейвлет-алгоритмов в адаптивном спектральном анализе. Но не стоит исключать тот факт, что дискретные
вейвлет-базисы могут быть применены к рассматриваемым задачам [23,24].
Наибольшее внимание к технике непрерывного вейвлет-преобразования
связано со следующими ключевыми особенностями данных подходов: возможность использования как для случая анализа непрерывных, так и для случая дискретных временных функций, и дифференцируемость вейвлет-базиса по параметру, определяющему его спектральные свойства. Рассмотрим основные элементы теории непрерывного вейвлет-преобразования, которые будут в дальнейшем использованы нами при построении методов адаптивного спектрального
анализа временных рядов.
Непрерывное вейвлет-преобразование (НВП) основывается на использовании масштабируемых непрерывных вейвлет-функций ψ (t ) . Под масштабирова-
39
нием вейвлет-функции понимается способность данной функции изменять свою
локализацию во временной области. Это свойство может быть отражено в следующем виде:
ψ a (t ) =
1 t
ψ 
a a
В этом случае исходную функцию ψ (t ) принято называть материнской вейвлет-функцией, по которой могут быть получены любые базисы с произвольной
шириной локализации во временной области, соответствующей параметру масштаба a . Параметр масштаба – это коэффициент, значение которого определяет
локализацию вейвлет-функции в частотной области. Если условно разделить всю
частотную область на области высоких частот и низких частот, то в данном рассмотрении малые значения параметра масштаба вейвлет-функции соответствуют
локализации ψ a (t ) в высокочастотной области спектра, а большие значения – в
низкочастотной области спектра. Главное преимущество теории вейвлетов состоит в том, что используемые масштабированные ψ a (t ) локализованы во временной области. Соответствующий коэффициент смещения b позволяет изменять локализацию вейвлет-функции типа ψ a b вдоль временной оси.
ψ a b (t ) =
1
t −b
ψ

a  a 
Из записанного определения для функции ψ a b следует, что частотно-временная
локализация вейвлет-функций и возможность осуществления сдвига вдоль оси
времени позволяют проводить анализ произвольного процесса x(t ) , выявляя различные спектральные особенности данного процесса в частотной области согласно параметру a в зависимости от времени по параметру b . Осуществить такую процедуру анализа возможно на основе вычисления НВП (1.13).
W (a, b ) =
1
a
+∞
t −b
 dt
a 
∫ x(t ) ψ 
−∞
(1.13)
Выражение (1.13) имеет математический вид, сходный с непрерывным преобразованием Фурье, записанным в виде (1.5). Из-за этого НВП часто называется модифицированным преобразованием Фурье.
40
При масштабировании ψ (t ) изменяется ширина временного окна, следовательно, возрастает возможное количество осцилляций x(t ) , которые могут захватываться данным окном. Таким образом, коэффициенты W (a, b ) будут иметь разные значения, если мы будем рассматривать равномощные фрагменты спектральной области x(t ) путем задания соответствующих значений для параметра a .
Для устранения неравномерности вводится специальная нормировка, накладывающая ограничения на квадрат модуля ψ (t ) .
+∞
∫
ψ (t )
2
dt = 1
−∞
Именно из-за введения данного ограничения ψ (t )
2
в выражении (1.13) перед ин-
тегралом определен коэффициент, обратно пропорциональный
a . Тем не менее,
в некоторых задачах, связанных с применением вейвлет-функций ψ a b , нормирующий коэффициент можно не учитывать [78,106,107]. Помимо нормировки, все
вейвлет-функции удовлетворяют требованиям нулевого среднего значения, что
дает возможность проводить локализованный спектральный анализ, исключая
низкочастотные тренды. В обобщенном виде такое рассмотрение вводится, исходя из удовлетворения вейвлет-функции требованию нулевого момента n – го
порядка. Согласно предположению, сделанному в работе [94], чем выше порядок
n , тем лучше рассматриваемый вейвлет-базис подходит для проведения процедур
локализованного спектрального анализа, в ходе которого полиномиальные тренды
в виде t n могут быть полностью игнорированы, а учитываются только осцилляции, которые по частотным характеристикам соответствуют заданному масштабу
a.
+∞
∫ t ψ (t ) dt = 0
n
−∞
Примечательно, что большое значение для степени n может определять то, насколько подходит данная функция к решению задач идентификации фрагментов
сигнала на основе адаптивных подходов [94,106]. Но стоит заметить, что матема-
41
тически строгие обоснования по данной проблеме в научной литературе отсутствуют [94].
В теории НВП было введено довольно большое количество вейвлет-функций, которые могут быть использованы в преобразовании (1.13), все же наиболее
распространенными являются четыре функции, представленные в виде выражений (1.14), (1.15), (1.16) и (1.17).
ψ (t ) = t e −0.5t
2
ψ (t ) = (1 − t 2 )e −0.5t
(1.14)
2
ψ (t ) = 2e −2t − e −0.5t
2
ψ (t ) =
1
4
π
(1.15)
2
( cos (ω t ) + j sin (ω t ) ) e −0.5 t
(1.16)
2
(1.17)
Так согласно выражениям (1.14) - (1.17) вейвлет-функция WAVE в «материнском»
виде записывается в виде (1.14), MHAT - (1.15), DOG - (1.16), MORLET - (1.17)
(вейвлет Морле записан в комплексном виде, j = − 1 ). Построение во временной
области для данных функций приведено на рисунке 1.2 , В [94].
Как отмечалось выше, вейвлет-преобразование может иметь ряд преимуществ перед оконным преобразованием Фурье. В частности, одним из таких преимуществ является изменение спектрально-временного разрешения в зависимости
от значения величины масштаба. При изменении масштаба a меняется разрешающая способность вейвлет-базиса. Очевидно, что при анализе низкочастотных процессов необходимо использовать базисы с большим масштабом. При больших
значениях коэффициента масштаба непрерывные вейвлет-базисы (1.14)-(1.16) могут обладать хорошим разрешением по шкале частот и сравнительно низким разрешением по оси времени. При переходе из низкочастотного диапазона в высокочастотный диапазон масштаб уменьшается, соответственно, разрешение по
оси времени увеличивается – в то время как разрешение по шкале частот уменьшается. Данный факт является одним из примеров принципа неопределенности
Гейзенберга [9,94]. Проявление принципа неопределенности при изменении величины масштаба хорошо наблюдается в исследовании многочастотных хаоти-
42
ческих [40,45] процессов, а также процессов, имеющих сплошной спектр, сопоставимый со спектром модели белого шума [40].
В теории непрерывных вейвлет-функций отдельное место занимает вейвлет
MORLET (1.17). Данный вейвлет имеет одну особенность, которая заключается в
использовании модулирующей функциональной части, основанной на гармонических функциях синуса и косинуса, частота осцилляций которых представлена
значением параметра ω . Параметр ω влияет на частотно-временное разрешение
вейвлета MORLET таким образом, что для одного и того же значения масштаба
вейвлет-функция может быть локализована как в низкочастотной области, так и
высокочастотной области при соответствующем изменении значения ω . Это позволяет более точно настраивать данный базис на оптимальные временное или частотное разрешения. Для вейвлет-функций (1.14)-(1.16) это невыполнимо. Если
рассматривать вейвлет MORLET с точки зрения его Фурье-спектра, то получается,
что одно и то же значение точки f максимума спектральной плотности S x (2π f )
(1.6) для x(t ) может быть получено при разных значениях масштаба a вейвлета и
частоты осцилляции ω . Следовательно, дополнительный параметр ω дает возможность более точной подстройки оптимального разрешения в частотно-временной области. Данный факт нетрудно доказать математически, если рассмотреть выражение (1.18), которое задает функциональную зависимость f от a , ω
[42].
f =
ω + ω2 + 2
4π a
(1.18)
Набор вейвлет-функций (1.14)-(1.17) может применяться для решения самых разнообразных задач, таких как локализованный спектральный анализ одномерных и многомерных временных рядов, исследование фазовых особенностей
сигналов, классификация фрагментов сигналов [13,22], построение систем идентификации фрагментов сигналов на основе характерных спектральных особенностей [75]. В рамках диссертационного исследования мы рассматривали применение вейвлет-анализа к задачам классификации и идентификации зашумленных
43
фрагментов сигналов. Рассмотрим два алгоритма, предложенные в работах
[22,75], которые имеют широкое применение в данной области.
Один из примеров использования непрерывных вейвлет-функций обсуждается в работе [22], посвященной решению задачи классификации импульсных сигналов, генерируемых при помощи малого ансамбля нейронных клеток (рис. 1.1,А,
Б). Для решения поставленной задачи анализируется записанный сигнал, из которого предварительно выделяются и центрируются предполагаемые нейронные
импульсы. (Методика выделения и центровки сигналов основана на применении
стандартного алгоритма в виде порогового метода, рассмотренного для алгоритма
АГК (рис. 1.2, А)). Результатом такой пороговой идентификации становится матрица S ji , в которой j ∈ [1, QE ] , а i ∈ [1, QT ]
(рис. 1.2, Б). Для составленной таким об-
разом матрицы можно провести процедуру АГК на основе выражений (1.1) и
(1.3). Анализируя центры множеств точек Ω m , m = 1,2 в виде соответствующих
подмножеств ο m ⊂ Ω m , можно на основе процедуры усреднения (1.19) импульсных
форм для центральных точек ο m (рис. 1.2, А) частично восстановить не зашумленные формы импульсов в виде матрицы smi ( i − определяет смещенный отсчет
по времени i ∈ [1, QT ]).
s mi =
1
οm
(В выражении (1.19) обозначением
∑S
j∈ο m
ji
(1.19)
показана операция вычисления количества
элементов множества) По полученным значениям smi можно провести процедуру
поиска значений параметров вейвлет-функции согласно выражению для D(ak , bk ) ,
представленному в виде разности вейвлет-коэффициентов (1.20).
D(a k , bk ) =
1
ak
QT
 i∆t − bk
 ak
∑ψ 
i =1

 (s1i − s 2i )

(1.20)
Произвольные значения параметров ak , bk могут считаться оптимально подобранными [22], если они соответствуют максимуму модуля разности коэффициентов
(1.20) для двух классов импульсов smi , полученных согласно (1.19). Из найденных
значений масштаба можно рассчитать значение вейвлет-коэффициентов в виде
44
(1.21) [9]. Множества точек в виде (1.3) или (1.21) определяют соответствующие
множества Ω1 , Ω 2 , которые в контексте решаемой задачи классификации исходного набора импульсов S ji могут быть интерпретированы абсолютно одинаково, и
к ним может применяться формула для расчета ошибки (1.4).
C =
k
j
1
ak
QT
∑S
i =1
ji
 i∆t − bk
 ak
ψ 

 , j ∈ [1 , QE ] , k ∈ {1, 2, K }

(1.21)
Комбинированный подход, состоящий из последовательного использования
выражений (1.19) - (1.21), был предложен в работе [22] в качестве альтернативы
для АГК при решении задачи классификации коротких зашумленных импульсов
[19]. Заметим, что данный алгоритм по своей структуре относится к алгоритмам
неавтоматического распознавания форм сигналов, что отчасти и позволяет ему демонстрировать высокие результаты при решении подобных задач. Однако к классу методов неавтоматического анализа относятся алгоритмы, основанные на теории искусственных нейронных сетей [11]. По сравнению с ними предложенный
метод на основе вейвлет-интегрирования (1.21) выглядит не столь привлекательно. Объяснить это можно экспериментальными расчетами, полученными
нами в ходе предварительных исследований. Во-первых, очевиден тот факт, что
при помощи одной вейвлет-функции наиболее точно можно решить задачу классификации для двух классов потенциалов действия при использовании (1.19) (1.21). С ростом количества классов метод на основе вейвлет-анализа теряет свою
эффективность, в то время как алгоритм на основе теории искусственных нейронных сетей может довольно эффективно решать подобные задачи для трех-пяти
классов, что подтверждается результатами численных экспериментов и материалами работ [70,71]. Во-вторых, выражение (1.21) по своей структуре схоже с выражениями для однослойных нейронных сетей, рассмотренных в работах [11],
эффективность использования которых признана более низкой по сравнению с
общераспространенным алгоритмом обратного распространения ошибки [12],
применяющегося для адаптации многослойных нейронных сетей. В-третьих, в
выражениях (1.19) - (1.21) не содержится ответа на вопрос о том, какую вейвлетфункцию (1.14)-(1.17) нужно использовать для наиболее эффективного решения
45
задачи классификации согласно (1.21), о чем также сообщается в статье [22]. В
целом, анализируя результаты работ [20-25] и результаты вычисления алгоритма
(1.19) - (1.21), очень сложно произвести какие-либо строгие оценки о применимости адаптивного вейвлет-анализа к решению задач классификации импульсов,
особенно если речь идет о выборе между различными типами дискретных [94,95]
или непрерывных вейвлет-функций. Тот же вывод напрашивается относительно
опубликованных результатов применения техники искусственных нейронных сетей в сочетании с вейвлет-функциями в статье [21]. Таким образом, очевидно существование как минимум трех вопросов, актуальность ответов на которые бесспорна. Вопрос первый: возможно ли эффективное использование двух разных
алгоритмов в виде нейронных сетей и вейвлет-анализа в рамках общей сетевой
конструкции на примере [21]? Вопрос второй: насколько эффективным может
быть использование техники искусственных нейронных сетей по сравнению с
комбинированными нейронными сетями, включающими в себя элементы вейвлетанализа, а также каковы наиболее эффективные способы сочетания вейвлет-анализа и техники искусственных нейронных сетей? Вопрос третий: какие непрерывные вейвлет-функции (1.14)-(1.17) можно считать наиболее подходящими при использовании в алгоритмах искусственных нейронных сетей? Ответы на эти вопросы получены в рамках проведения серии численных экспериментов, методы,
результаты и основные выводы которых представлены в главе 2.
Идентификация фрагментов сигналов на электроэнцефалограмме – это несколько отличная область применения техники вейвлетов по сравнению с решением задачи классификации коротких импульсных сигналов. В рамках решения
данной задачи основная проблема состоит в том, чтобы провести идентификацию
определенной формы сигнала произвольной длительности по времени. Рассмотрим это более детально. Имеется запись одноканального сигнала S (t ) электроэнцефалограммы мозга [75] крысы (рис. 1.1, В). В эксперименте принимает участие особый вид крыс WAG/Rij, который [75] имеет генетическую предрасположенность к заболеваниям абсанс-эпилепсией [83]. Данная патология может проявляться в виде дрожи конечностей и появлении различных отклонений в раз-
46
витии памяти и когнитивных функций мозга. Очевидно, что при этом нарушается
динамика активности больших нейронных ансамблей мозга, что сопровождается
появлением характерных типов осцилляторных структур (паттернов), основные
типы которых рассмотрены в работе [75] (рис. 1.1, Г). В рамках проводимых исследований мы рассматривали проблему идентификации паттернов типа «спайковолновые разряды» (введем обозначение «SWD») и «сонные веретена» (введем
обозначение «SS»). Необходимо идентифицировать паттерны типа SS и SWD на
фоне присутствующих помех, которые проявляются в виде фоновой активности
других нейронных ансамблей, регистрируемых при записи сигнала ЭЭГ S (t ) . Решение подобной задачи означает получение алгоритма, способного на определенном участке сигнала S (t ) автоматически провести построение сигналов разметки
S MSWD и S MSS (рис. 1.3, А), которые совпадают с сигналами так называемой «идеаль-
ной (экспертной) разметки» S ESS и S ESWD (методика построения сигналов экспертной разметки представлена в работе [75]). Корректное решение данной задачи в виде S MSWD и S MSS является одним из ключевых фактов в построении аналитических оценок временных параметров динамики больших нейронных ансамблей. Не стоит упускать из виду тот факт, что появление SWD паттернов играет
скорее отрицательную роль в активности мозга, нежели положительную. Введение алгоритмов цифровой обработки на основе вейвлетов – это возможность построения технических интерфейсов [82], которые бы позволили осуществлять
противодействие различным патологическим активностям и поддерживали бы
нормальную динамику нейронов путем своевременных электрических воздействий на соответствующие отделы мозга. Алгоритмы, предложенные в работах
[75,82,86], показали хорошие результаты в решении подобных задач. Рассмотрим
один из таких алгоритмов применения НВП в цифровой обработке экспериментальных сигналов на ЭЭГ S (t ) .
За основу подобных алгоритмов принимается прямое НВП типа (1.13). Для
расчета коэффициентов Wab применяется вейвлет-функция MORLET (1.17). По полученным коэффициентам можно рассчитать как мгновенные значения амплитуд,
47
так и мгновенные значения энергии, которые характерны для определенного диапазона значений параметра a . Будем рассматривать мгновенные амплитуды Α S (b )
на основе (1.22).
Α (b ) =
S
a max
1
− a min
a max
1
∫
a
a min
+∞
t −b
 dt d a
a 
∫ S (t ) ψ 
−∞
(1.22)
Для того чтобы корректно воспользоваться (1.22), предлагается определить диапазон значений масштаба a на основе некоторой основной частоты, которая присутствует в спектральном составе идентифицируемого фрагмента сигнала паттерна. Основная частота определенного типа паттернов (предположим, SS ) может
быть найдена при использовании процедур, рассмотренных в параграфе 1.2 для
преобразования Фурье. На основе полученных значений частоты f SS , используя
выражение (1.18), можно определить значения масштаба a . Зная значение a , на
основе выражений (1.23) можно рассчитать значения a max , amin и применить (1.22).
a max = (1 + χ ) a ( f
SS
( ),
),
a min = (1 − χ ) a f
SS
χ = 0.15
(1.23)
Для построения сигнала S MSS идентифицируемого типа паттернов SS сигнал Α S (t )
дополнительным образом фильтруется и подвергается пороговому преобразованию [75]. Причем фильтрация Φ SW проводится по методу скользящего среднего
(1.24) [17], а сравнение на основе порогового метода (1.25).
Α S (i ∆t ) ( j ) =
1
k =i + N H
∑
2 N H + 1 k =i − N H
Α S (k∆t )
(
( j −1)
Α S (t ) = Φ SW Α S (t ), N S , N H , ∆t
1, Α S (t ) ≥ Θ
S (t ) = 
0 , Α S (t ) < Θ
SS
M
, j ∈ [1; N S ] ,
)
(1.24)
(1.25)
( N S − количество скольжений, N H − полуширина скользящего окна) В отличие от
аналитически строгого подбора значений для параметра масштаба согласно (1.23)
для применения (1.22), параметры вторичного фильтра N S , N H (1.24) и значение
порога Θ (1.25) предлагается подбирать эмпирическим способом [75,86]. Применение комбинированного алгоритма на основе вейвлет-преобразования (1.13) рассмотрено в работах [75,76,86]. На основе этого метода можно строить последова-
48
тельные процедуры идентификации как паттернов типа SS , так и SWD . При этом
в работе [75] замечено, что данный алгоритм наилучшим образом применим для
решения задачи идентификации SWD . Наличие эмпирически настраиваемой второй части невольно приводит к следующим выводам. Во-первых, очевидно, что
отсутствие возможности введения строгой процедуры подбора значений параметров N S , N H , Θ снижает эффективность проведения вейвлет-фильтрации на основе
(1.22). Во-вторых, одним из недостатков является несогласованность процедур
(1.22) и (1.24), которая осложняется отсутствием строгих правил в определении
значений параметров N S , N H , Θ (1.24). Исправление всех неточностей, по мнению авторов [75], может быть проведено при использовании процедур ручного
перебора значений параметров и визуальном сравнении получаемых результатов
S MSS с фрагментами S ESS . Рассмотренный вейвлет-алгоритм (1.22)-(1.25) относится к
числу основных подходов, применяемых при идентификации паттернов на ЭЭГ,
который показывает хорошие результаты, несмотря на ряд мелких недостатков,
обозначенных выше. В рамках данной работы большая часть указанных недостатков была устранена путем усовершенствования исходного алгоритма дополнительными процедурами настройки, имеющими согласно теории оптимизации [46-54] строгое теоретическое обоснование. Описание таких процедур, а также результаты экспериментальных исследований по проблеме адаптивной
вейвлет-фильтрации на ЭЭГ приводятся более подробно в главе 3.
1.4 Искусственные нейронные сети.
Искусственные нейронные сети (ИНС) – это пример методов анализа данных, имеющих сетевую структуру, часто интерпретируемую на основе теории
графов [50]. Существует очень много различных способов реализации алгоритма
искусственных нейронных сетей [11,59,60], которые имеют ряд отличий. Тем не
менее, у любого нейросетевого подхода есть две характерных черты. Во-первых,
нейросетевой алгоритм всегда имеет распределенную сетевую структуру, состоящую из элементов, называемых «формальными нейронами» [11]. Во-вторых, ней-
49
росетевой алгоритм всегда представляет собой адаптивный подход или другими
словами – «обучаемый алгоритм». Одни сети обучаются изначально, а только потом демонстрируют результаты при анализе реальных данных, другие обучаются
по ходу анализа (в контексте проводимых нами исследований термины «адаптация» и «обучение» являются очень близкими по смыслу, означающими подстройку параметров алгоритма или метода в целях оптимизации его функциональных возможностей.). Тем не менее, в обоих случаях техника адаптации сети
является неотъемлемой частью всего сетевого алгоритма. Отходя от этих двух основополагающих принципов, стоит отметить, что все сетевые методы являются
по-своему уникальными. Отличительными чертами одного сетевого алгоритма от
другого являются следующие элементы: количество используемых формальных
нейронов (элементов сетевой структуры) [11], выделение в данной сетевой структуре упорядоченных образований (которые принято называть слоями) [11], количество используемых нейронных слоев [11], наличие или отсутствие дополнительных входов и выходов в отдельных нейронных слоях [11,59], наличие или отсутствие обратных связей и внутренних итераций [59,60], структура алгоритма
адаптации (обучения) [11], использование алгоритма адаптации как в виде отдельной стадии, так и в процессе функционирования сети [11]. Несмотря на такое
большое количество отличительных особенностей, пожалуй, модель формального
нейрона, записанная в виде выражения (1.26) [11,12], может быть отнесена к
списку наиболее общих деталей всех алгоритмов, основанных на технике искусственных нейронных сетей.
r
M
y = F  ∑ xi wi − θ , ϑ 
 i =1

(1.26)
Формальный нейрон (1.26) рассматривался в работах Мак-Каллока и Питтса
[11]. Данное представление основывается на том, что у нейрона имеется набор
r
синапсов, которые обозначаются в виде вектора входных значений x и соответстr
r
вующих синаптических коэффициентов w . Скалярное произведение векторов x и
r
w олицетворяет взвешенное интегрирование входов, которое проводится в ре-
жиме жизненного цикла любого нейрона нервной системы живых организмов.
50
Рисунок 1.3 – графические построения сигналов. А - пример экспериментальной записи
сигнала S (t ) на электроэнцефалограмме, на котором обозначены варианты экспертной
S ESS (t ) и S ESWD (t ) разметки основных паттернов, а также соответствующие им сигналы
разметки, построенные на основе НВП S MSS (t ) и S MSWD (t ) . Б – пример искусственной нейронной сети, в которой в качестве блока синаптических коэффициентов нейронов используются дискретизованные значения вейвлет-функции. В – пример искусственной
нейронной сети, в которой в качестве функции активации нейронов используется вейвлет-функция.
51
Пороговое преобразование полученного результата взвешенного интегрирования
входов осуществляется на основе вычитания порогового коэффициента θ . По физическому смыслу пороговое преобразование показывает наличие или отсутствие
локального потенциала электрического поля, относительно которого происходит
возбуждение нейронной клетки [68]. Активация формального нейрона (1.26) осr
нована на активационной функции F с соответствующим вектором параметров ϑ
[11]. Исходя из выражения (1.26) можно построить нейронную сеть с абсолютно
произвольной структурой, что является весьма реалистичным по сравнению со
сложными нейросетевыми соединениями отделов нервной системы живых организмов [66-68]. Тем не менее, создание эффективного алгоритма обучения для такой сети – процедура сложная и вряд ли осуществимая, поэтому при практическом применении техники искусственных нейронных сетей используются архитектуры с определенной упорядоченностью в распределении элементов сети. Хорошим примером таких включений является персептрон [11] как сеть нейронов, в
которой имеется фиксированное количество слоев, и нейроны каждого слоя
включены по принципу «каждый с каждым». Математически произвольный персептрон, имеющий K - слоев с соответствующим количеством входов M k и выходов N k для нейронов каждого слоя, где k = 1,2,K K , - может быть записан в виде
(1.27).
r
 Mk
y jk = F  ∑ yi k −1wijk − θ jk , ϑ  ,
 i =1

j ∈ [1 , N k ]
(1.27)
В такой нейронной сети типа (1.27), при k = 1 вектор матрицы yi k −1 тождественно
равен входному вектору xi , а вектор матрицы y jk при k = K - выходному вектору
y j . Правило включения «каждый с каждым» математически может быть выра-
жено при помощи (1.28) для нейронных сетей, состоящих из произвольного количества K слоев.
M 1 = const1 , N1 = M 2 , N 2 = M 3 ,K, N K −1 = M K , N K = const2
(1.28)
Рассмотрим в качестве примера нейронную сеть, состоящую из двух слоев:
одного скрытого и одного выходного (1.29). Такие сети имеют довольно широкое
52
распространение в различных научных областях, где распознавание и прогнозирование фрагментов временных рядов [106] являются крайне необходимым инструментом анализа. Алгоритмы применяются как в виде обычных нейронных сетей, так и в виде нейронных сетей, использующих вейвлетные функции [14,15].
 M2
y j 2 = F  ∑ F
 i =1
r
r
 M1
 ∑ xk wki1 − θ i1 , ϑ  wij 2 − θ j 2 , ϑ 

 k =1


(1.29)
Очевидно, что информационной составляющей для такой сети является входной
r
вектор x . А вот обработка данного вектора производится на основе коэффициенr
тов сети в виде матриц wijk и θ jk (компоненты вектора ϑ не рассматриваются, так
как они являются постоянными параметрами функций активации). Сеть считается
правильно обученной, если при проведении соответствующей процедуры значения элементов матриц wijk , θ jk скорректированы таким образом, что при подаче
r
входного вектора x nm на вход сети (где n обозначает порядковый номер данного
вектора из множества векторов, разделенного на QCA - классов и применяемых для
обучения n ∈ [1, QSA ] , m ∈ [1, QCA ]) из множества векторов, используемых для обучения
сети, - на выходе персептрона получается выходной вектор y 2 (x nm ) , находящийся
r r
r
в пространстве на малом расстоянии от вектора y m , который определяет корректr
ную реакцию сети на входной вектор x nm . В противном случае сеть считается необученной и матрицы коэффициентов такой сети необходимо корректировать согласно правилам адаптации. Для двухслойных упорядоченных сетей, организованных по принципу выражений (1.27)-(1.29), в качестве способа адаптации применяется методика обратного распространения ошибки (МОРО) [12]. Алгоритм
данной методики можно условно разделить на две части.
Первая часть связана непосредственно с адаптацией, в ходе которой сети
r
предъявляется последовательность входных векторов x nm и оценивается ее выходная реакция по соответствующим компонентам y m , y K (x nm ). Заметим, что индекс
r
[
]
[
r
r
]
n указывает на номер вектора n ∈ 1 , QSA , а m ∈ 1, QCA - на принадлежность к опредеr
ленному классу векторов [11]. (В контексте задачи анализа сигналов вектора x nm
– это дискретизованные фрагменты сигнала S (t ) ; соответственно понятие класса
53
вектора не противоречит общему определению классификации фрагментов сигнала S (t ) , которые были предложены во вводной части главы 1.) В ходе адаптации
коэффициенты сети, записанные в виде матриц wijk и θ jk , изменяют свои значения
согласно заданным правилам адаптации, параметрам сети и соответствующим
r
r
векторам x nm , y m .
Вторая часть – это функционирование адаптированной сети согласно ее
основным преобразованиям, которые могут быть записаны для двухслойного типа
на основе (1.29). На протяжении второй части МОРО коэффициенты wijk и θ jk , полученные в ходе выполнения первой части, остаются без изменений, а по реакции
данной сети определяется принадлежность входного вектора к одному из классов,
которые были заданы на этапе адаптации.
Очевидно, что входные вектора на первой и второй частях МОРО могут отr
личаться, поэтому чем точнее характеристики множества векторов x nm , используемых для проведения адаптации, соответствуют спектральным и статистическим
свойствам векторов, предъявляемых в ходе анализа реальных данных, - тем точнее будет работать нейронная сеть. Отдельные требования по точности предъявляются к самому алгоритму коррекции коэффициентов сети wijk и θ jk в ходе адаптации. Рассмотрим более подробно первую часть МОРО.
r
Согласно МОРО ошибка анализа входного вектора x nm записывается в виде
(1.30).
En m
( ( )
[
)
]
[
2
r
1 NK
= ∑ y jK x nm − y mj , n ∈ 1, QSA , m ∈ 1, QCA
2 j =1
]
(1.30)
В качестве альтернативного способа расчета ошибки предлагается использовать
[11] функционал (1.31). Однако, из проведенных собственных исследований и результатов работ [11] можно заключить, что функционал (1.31) является неэффективным по сравнению с (1.30). Особенно это наблюдается, если QSA > 5000 .
E = ∑ E nm
(1.31)
n ,m
Функционал ошибки (1.30) должен стремиться к бесконечно малому значению
r
при анализе векторов x nm . Для минимизации предлагается использовать проце-
54
дуру градиентного метода [51,54], которая в общем случае может быть записана в
виде (1.32).
wijk
( q +1)
= wijk
(q )
− hNN
∂E nm
∂wijk
(q )
, θ jk
( q +1)
= θ jk
(q )
− hNN
∂E nm
∂θ jk
(q )
(1.32)
Выражения (1.32) представляют итерационный градиентный [54] способ с параметром шага hNN для q - коррекции коэффициентов, в ходе которой каждый коэффициент изменяется согласно антиградиенту функционала ошибки (1.30). В (1.32)
показаны только шаги q , q + 1 соответственно, в общем случае таких шагов может
быть бесконечное количество, пока не выполнится одно из условий:
Enm ≤ ET
∂
∑ ∂w
i , j ,k
(1.33)
E nm ≈ 0.0 ∨ E nm ≈ 0.0
ijk
Enm
( q +1)
− Enm
(q )
≤ ET
Данные условия управляют выходом из градиентного алгоритма оптимизации по
q - итерациям. Универсального рецепта выбора условия здесь нет, поэтому устаv
r
новка способа выхода из процедуры адаптации для векторов x nm , y m лежит исключительно в ведении экспериментатора. Из опыта известно, что для проведения
экспериментов при решении задачи классификации коротких импульсных сигналов (рис. 1.2, Б) неплохо подходит условие (1.33). После того, как будут произведены необходимые коррекции (1.32) по всем параметрам сети и по всем векторам
r
v
x nm , y m в необходимом количестве повторений, сеть может считаться адап-
тированной согласно функционалу (1.30).
55
1.5 Применение вейвлет-функций в технике
искусственных нейронных сетей
В ряде работ, посвященных проблеме анализа и классификации различных
информационных массивов данных, огромное внимание уделяется построению
нейросетевых алгоритмов, использующих вейвлет-функции [21] («вейвлетные
нейронные сети» - ВНС). Для решения задачи анализа больших объемов данных
применяются преимущественно нейросети, использующие процедуры дискретного вейвлет-преобразования [95]. В некоторых случаях для задач классификации
используются как непрерывные [94], так и дискретные вейвлет-функции, а для задач прогнозирования – непрерывные вейвлет-функции. Рассмотрим несколько основных способов использования вейвлет-преобразований в алгоритме нейронных
сетей.
Для того чтобы можно было применить вейвлет-преобразование в нейронных сетях, многие исследователи не рассматривают проблемы математического
сочетания данных алгоритмов, а выполняют сначала вычисление вейвлет-коэффициентов, а затем производят нейросетевые преобразования полученного набора
коэффициентов в выходные вектора сети. По такой последовательной схеме проводятся обе части МОРО. При таком шаблонном методе сочетания двух алгоритмов могут быть использованы как непрерывные, так и дискретные вейвлет-преобразования. Для непрерывного вейвлет-преобразования используется выражение
(1.13), для дискретного вейвлет-преобразования распространены пирамидальные
алгоритмы [95]. Подобная схема применяется в основном в решении задач классификации входных данных [23,24]. Использование первичной вейвлет-обработки
позволяет проводить предварительный спектральный локализованный анализ
входного вектора, что в свою очередь возможно только при внедрении теории
вейвлетов.
В силу того, что модель формального нейрона (1.26) основана на скалярном
произведении вектора синаптических коэффициентов и входного вектора, была
разработана модель формального нейрона, который вместо значений синаптиче-
56
ских коэффициентов использует дискретизованные значения вейвлет-функции
(рис. 1.3, Б), выполняя тем самым локальное вычисление коэффициентов для нелинейной функции активации. Значения синаптических коэффициентов такого
нейрона можно вычислить на основе следующего выражения ( ∆t − параметр временной дискретизации):
 i∆t − b jk
wijk = ψ 
 a
jk





Полученные подобным образом синаптические коэффициенты могут применяться
в общем выражении для формального нейрона (1.26). Корректировка значения
параметров a jk , b jk производится на основе соответствующих производных для
функционалов ошибки (1.30), (1.31). Примеры использования подобных схем сочетания вейвлет-функций и сетевых алгоритмов опубликованы в работах [21,78].
При этом алгоритм функционирования сети становится компактным и более продуктивным по сравнению с простым последовательным включением.
Другой способ введения техники вейвлетов в сетевой алгоритм это использование вейвлет-функций в виде функций активации нейронов типа (1.26). Математически это можно записать с помощью модели формального нейрона со значением выхода в виде y jk :
y jk
 Mk
 ∑ y ik −1 wijk − b jk
= ψ  i =1
a jk




 .



Слой, составленный из таких нейронов, может быть использован в многослойной
нейронной сети. Параметры масштаба a jk и смещения b jk корректируются в ходе
адаптации на основе алгоритма градиентной оптимизации (1.32) при помощи соответствующих производных по функционалам (1.30), (1.31). Согласно опубликованным результатам [14,15] сети, использующие вейвлет-функции в качестве
функций активации (рис. 1.3, В), показывают хорошие результаты при решении
задач прогнозирования. При этом строгих рекомендаций по поводу определения
57
начальных значений для параметров a jk , b jk , и по выбору типа непрерывной вейвлет-функции (1.14)-(1.17) в научной литературе не приводится [106,107].
Для того чтобы использовать технику ИНС и ВНС для решения задач классификации (например, коротких импульсных сигналов (рис. 1.2, Б)), необходимо
r
определить реакцию выходного слоя в виде векторов y m , а также набор входных
v
векторов x nm ; затем провести последовательно две части алгоритма МОРО. Рассмотрим, как можно представить последовательность коротких импульсов в качеr
стве входных векторов x nm в первой части МОРО. Пусть имеется непрерывная
функция (сигнал) s(t ) , в которой локализованы n − импульсы, n ∈ [1, QSA ] каждого
[
]
m − класса, m ∈ 1, QCA . Предполагаемая нейросеть должна быть настроена под ре-
шение задачи классификации таких импульсов. Для упрощения процесса классификации импульсов, локализованных в s(t ) , предполагаются поиск и предварительная идентификация нужных дискретизованных фрагментов сигнала (шаг ∆t ),
которые содержат классифицируемые импульсы. Чтобы корректно «вырезать»
фрагменты сигнала, содержащие такие импульсы, и провести классификацию, мы
предлагаем использовать пороговую идентификацию для определения матрицы
r
s ji (рис. 1.2) по сигналу s (t ) . Полученная матрица s ji сопоставима с матрицей x nm ,
если принять во внимание следующие тождества:
[
]
[
]
[
s ji = xinm , i ∈ [1, QT ] , j ∈ 1, QEA , n ∈ 1, QSA , m ∈ 1, QCA
]
, QEA = QSAQCA .
r
Представленные тождества определяют набор входных векторов x nm . Для задания
r
набора выходных векторов y m следует предположить, по аналогии со сделанными
раннее утверждениями для АГК и вейвлет-анализа, что выходной вектор y K (xinm )
r
сети, состоящей из K − слоев, должен аппроксимировать значения точек в пространстве характеристик, образуя тем самым соответствующее множество Ω :
{ ( ) ( )
( ) }
r r
r r
r r
Ω = y K x1m , yK x 2 m ,K, yK x nm ,K
.
Способ представления входных векторов для нейронной сети с использованием
порогового метода можно считать универсальным и применимым как в первой,
так и во второй частях МОРО. При проведении первой части МОРО для классификации коротких импульсов в виде s ji сигнала s(t ) будут проявляться характер-
58
ные подмножества Ω m , принадлежащие множеству Ω . Количество таких подмноv
r
жеств определяется количеством классов QCA для x nm , y m . Наличие m − подмножеств в исходном множестве Ω , которые будут иметь четкие границы и локализацию, как и ранее описанные кластеры, является строго необходимым. В противном случае адаптация такой нейронной сети неверна. Появление кластеров при
проведении второй части МОРО для неизвестного сигнала S (t ) является необязательным. В этом случае, если предполагается определять в анализируемом
наборе векторов S ji какие-то классы в виде Ω m − множеств, а нейронная сеть их не
определяет, то это означает, что их там вовсе нет, либо нейронная сеть в ходе
адаптации не приобрела нужных свойств, необходимых для распознавания элементов представленного множества входных векторов S ji . Очевидно, что существует проблема контроля корректности проведенной процедуры адаптации в первой части МОРО. Оценку корректности обучения, мы предполагаем, следует проводить на основе генерации конечного множества векторов с заранее известным
количеством классов QC в виде некоторого сигнала S (t ) . Применяя пороговую
идентификацию к заданному сигналу, получить входные вектора S ji . При
нейросетевом преобразовании входных векторов в выходные, например при помощи (1.29), мы должны получить Ω m - кластеры, в которых m ∈ [1, QC ] , а также
соответствующие множества Ω′m . Применяя к множествам Ω m , Ω′m выражение
(1.4), рассчитывается значение ошибки Ε для нейронной сети. Если получаемое
значение близко к нулю, то это означает, что контроль корректности обучения
пройден и нейросетевой алгоритм можно считать адаптированным
МОРО.
согласно
59
Основные выводы к главе 1
1. Несмотря на то, что АГК является общепринятым стандартным методом в решении задачи классификации зашумленных коротких импульсных сигналов,
до сих пор слабо изучены свойства данного алгоритма с точки зрения его
функционала ошибки. Не приводится точных данных о зависимости функционала ошибки от спектральных и энергетических параметров фоновых шумов и
анализируемых фрагментов сигналов.
2. Для применения непрерывных вейвлет-базисов в решении задач классификации коротких импульсных сигналов остается открытым вопрос о том, насколько применим тот или иной функциональный вид вейвлет-функции
( WAVE , MHAT , DOG, MORLET ).
3. Применение непрерывного вейвлет-анализа в решении задач идентификации и
классификации сигналов считается общепринятым подходом, однако, в ряде
задач необходимо применять специальные механизмы подстройки спектральных свойств вейвлет-базисов, универсальных адаптивных механизмов такой
подстройки пока не предложено.
4. Эффективность применения ИНС и ВНС в решении задачи классификации зашумленных импульсных сигналов изучена слабо. Особый интерес может представлять использование сетевых алгоритмов при обработке сильно зашумленных фрагментов сигналов.
5. Техника ИНС используется в сочетании с НВП в решении целого ряда задач
радиофизики, тем не менее, общего теоретически и практически обоснованного подхода в адаптации таких комбинированных алгоритмов в научной литературе представлено не было.
6. Необходимо определить общий метод расчета ошибки алгоритмов адаптивного
(НВП, ИНС и ВНС) и автоматического (АГК) анализа нестационарных сигналов, который бы позволил на основе анализа тестовых данных строго разграничить их области применения.
60
7. Проведенный теоретический анализ показал, что использование адаптивных
подходов в решении задачи идентификации осцилляторных структур в сигналах ЭЭГ позволит исключить эмпирические настройки стандартных алгоритмов, что в свою очередь приведет к снижению ошибки всей процедуры обработки ЭЭГ сигналов. С другой стороны, обобщение методов адаптивного вейвлет-анализа для ЭЭГ может быть применено в анализе нестационарных сигналов доплеровской оптической когерентной томографии [18], в которой согласно современным исследованиям необходимо проводить классификацию
нормального и патологического состояний исследуемого фрагмента сосудистой системы.
61
Глава 2
Результаты решения задачи классификации зашумленных
импульсных сигналов с использованием алгоритма
искусственных нейронных сетей
2.1 Алгоритм тестовой классификации
2.1.1 Функция G «солитоноподобного» импульса
Рассматриваемая задача по классификации коротких солитоноподобных
импульсов имеет большое прикладное значение для нейродинамики и нейрофизиологии. Из представленного материала главы 1 нетрудно заметить, что одним
из примеров таких коротких импульсов являются потенциалы действия нейронных клеток нервной системы [19] (рис. 1.1, А). Для симуляции динамики нейронов разработаны различные модели электрической активности ионных каналов
мембраны нейронов (например, модель Ходжкина-Хаксли [68]). Однако применение систем дифференциальных уравнений для аппроксимации сигналов активности экспериментально исследуемых фрагментов нервной ткани живых организмов
это чрезвычайно сложная задача, решений которой не так много – с другой стороны, проведение идентификации и классификации коротких импульсов для такого рода сигналов позволяет находить ответы на целый ряд экспериментальных
вопросов. В рамках данной работы мы рассматриваем проблему классификации
предварительно идентифицированных солитоноподобных импульсов при наличии
фоновых шумов. При этом за основу форм коротких импульсов мы взяли импульсы нейронных клеток. В качестве примеров форм таких импульсов мы выбрали электрические сигналы нейронов мозга крысы [67]. Для решения данной
задачи исключительно с позиции теории анализа сигналов необходимо задать
функцию элементарного фрагмента сигнала в виде G . Для такого определения мы
62
не предлагаем использовать громоздкие дифференциальные уравнения, наоборот,
дополнительно к этому набору инструментов моделирования мы вводим функцию
r
G ( p, t ) (2.1), которая позволяет с минимальным значением ошибки [104] аппрок-
симировать фрагменты экспериментально записанных сигналов S (t ) электрической активности нейронных клеток.
2
r
 2π

G ( p, t ) = ae e − ( ρ e (t − qe )) (at + bt th(ρt (t − qt ))) sin 
f st + ϕ s 
 τ

r
p = {at , bt , ρt , qt , ae , ρ e , qe , f s , ϕ s , τ = QT ∆t } , t = i ∆t
(2.1)
К полезным свойствам данной функции можно отнести наличие параметров, отвечающих за временной масштаб: ρ e , ρ t , τ , - изменение значений которых
позволяет растягивать и сжимать импульс вдоль оси времени t , а наличие функции Гаусса в выражении (2.1) делает функцию G локализованной во временной
области [9]. Таким образом, функция G ( p, t ) является полезной моделью коротr
кого солитоноподобного импульса, который может находить самые разные применения в решении задач по численному моделированию проблемы идентификации и классификации коротких импульсных сигналов в присутствии фонового
цветного шума. (Проблема идентификации импульсов G ( p, t ) как фрагментов сигr
нала S (t ) будет рассматриваться далее.) Определим, что такое классы импульсов с
точки зрения (2.1). Согласно математическому определению классификации (см.
глава 1), чтобы ввести классы импульсов G ( p, t ) необходимо рассматривать наr
боры векторов параметров в виде p m , m ∈ [1, QC ] . При этом очевидно, что при решеr
нии задачи классификации импульсов (2.1) в присутствии аддитивных фоновых
сигналов шума необходимо учитывать, насколько данные импульсы отличаются
друг от друга. Для введения метрик отличия мы предлагаем использовать функцию «относительной разности» импульсных сигналов в виде ∆ x (2.2). Значение
∆ x показывает разницу между импульсами двух классов, усредненную по времен-
ной ширине данных импульсов QT ∆t . При этом, чем больше значение ∆ x стремится к нулю, тем меньше отличий по форме, а чем больше значение ∆ x , тем
соответственно больше отличий присутствует в формах импульсов.
∆x =
1
τ
τ
63
r
r
G ( p1 , t ) − G ( p 2 , t )
1 , t ≥ 0
dt , τ = QT ∆t , Η (t ) = 
∆ G (t )
0 , t < 0
r
r
∆ G (t ) = max { G ( p1 , t ) , G ( p 2 , t ) }
r
r
1
∆Θ =
max { max ( G ( p1 , t ) ) , max ( G ( p 2 , t ) ) }
20
∫ Η (∆ (t ) − ∆
G
0
Θ
)
(2.2)
(В выражении (2.2) max{} – это оператор поиска максимума на множестве точек, а
max() – это оператор поиска максимального значения для функции) Единственное,
что не показывает функция (2.2), это то, насколько локализованы отличия между
импульсами G ( p1 , t ) и G ( p 2 , t ) относительно оси времени. Для расчета эксперименr
r
r
тальных значений параметров p m для классов m = 1,2 мы использовали следующий
алгоритм анализа экспериментальных записей активности нейронных клеток в
виде сигналов S (t ) .
Шаг 1. На экспериментальной записи сигнала S (t ) активности нейронных клеток
нервной системы выделить пороговым методом [19] набор импульсов в виде матрицы S ji , j ∈ [1, QE ] , i ∈ [1, QT ], после чего применить к полученным импульсам
процедуру аппроксимации [104] их форм методом наименьших квадратов с исr
пользованием нелинейной функции G ( p, t ) (2.1).
Шаг 2. По полученным результатам аппроксимации векторов матрицы S ji , предr
ставленным в виде матрицы p′j (рис.2.1, А), с использованием (1.19) необходимо
визуально выделить основные формы импульсов s mi (рис.2.1, Б) при анализе про-
(i ∈ [1 , QT ] , m ∈ [1 , QC ]) . При
r
повторной аппроксимации функцией G ( p, t ) импульсов матрицы s mi определить
r
соответствующие вектора p m .
странства Ω и его подмножеств в виде ο m и Ω m
Для проведения численных экспериментов по решению задачи классификации на основе выше описанного алгоритма (шаги 1-2) было выделено и аппроксимировано 5 пар (рис.2.1, В-Ж) коротких солитоноподобных импульсов типа
r
G ( p m , t ) , для которых были так же соответствующим образом рассчитаны значения
функции ∆ x (2.2). Как показано на примере аппроксимации пяти пар (рис. 2.1, ВЖ) импульсов (которые были отобраны из 11 сигналов записей электрической активности нейронных клеток), функция (2.1) позволяет аппроксимировать большинство форм дискретизованных по времени импульсов с минимальным значением ошибки, которая в среднем не превышает 6 %.
64
Рисунок 2.1 – Результаты применения алгоритма для функции G. А - пространство характеристик, построенное по результатам анализа экспериментальной записи S (t ) на осr
нове соответствующих значений компонент a e j и ρ e j матрицы p ′j (обозначены
характерные подмножества ο m , Ω m ). Б – пример сглаженных форм импульсов s mi , по
r
которым рассчитываются параметры p m согласно рассмотренному алгоритму для функции G . В-,Г-,Д-,Е-,Ж – результаты анализа 5 разных пар импульсов (∆t = 0.0001c ) на основе аппроксимации функцией G по соответствующим импульсам матрицы s mi (также
показаны расчеты значений функции ∆ x ). З- расчеты спектральной плотности для пары
импульсов, взятых из части Г. В части З представлены спектральные плотности одиночr
ного импульса типа G ( p, t ) , а также спектральная плотность последовательности
r
импульсов типа G ( p, t ) в виде сигнала S (t ) .
65
2.1.2 Пороговая идентификация коротких импульсных сигналов. Схема алгоритма тестовой классификации
Пусть имеется сигнал S (t ) , который измеряется в виде активности нейронных клеток [19,67] или воспроизводится в ходе численного эксперимента на основе функции G ( p m , t ) (2.1) с добавлением фонового цветного шума. Данный сигr
нал S (t ) имеет две составляющие: «информационную» - Ssignal и «шумовую» - Snoise.
Выполнение аддитивности (2.3) для сигнала S (t ) очевидно (рис.2.2, А).
S (t ) = S signal (t ) + S noise (t )
(2.3)
Для того чтобы наиболее эффективно решить задачу классификации всех коротких импульсов из рассматриваемого нами сигнала S (t ) , необходимо идентифицировать импульсы данного сигнала. В силу простоты формы импульса типа
r
G ( p, t ) для него можно применить пороговую идентификацию [19]. С учетом того,
что в численном эксперименте сигнал S (t ) длительностью T дискретизован с шагом ∆t , то представлять идентифицированные импульсы удобно в виде матрицы
S ji , где j − это индекс, указывающий на номер идентифицируемого импульса
( j ∈ [0, QE )) , а
i − это индекс, указывающий на относительный номер координаты
вектора S ji (i ∈ [0, QT )) , которая связана с дискретными отсчетами по времени сигнала S (t ) . Чтобы получить такую матрицу S ji , необходимо применить пороговую
идентификацию к сигналу S (t ) , в котором содержится некоторое количество импульсов QE . Рассмотри это подробнее.

S ( n j ∆t ) ≥ S ( (κ j + q )∆t ) ∧ 


ξ q =  S (κ j ∆t ), S ( (κ j + 1)∆t ),K, S ( (κ j + q )∆t ) ,K ∧ S ( n j ∆t ) ≥ Θ ,
,


∀ q ∈ [0, 2QH ]


[
(2.4)
)
κ j ∈ 0 , T ∆t − 2QH , n j = κ j + QH
На основе выражения (2.4) задается множество точек ξ q . Если применить к данному множеству операцию расчета элементов
, то при выполнении условия
ξ q = 2 QH + 1 (при условии, что 2QH +1 ≤ QT ) мы определяем локальный максимум в
66
точке S (n j ∆t ) , находящийся выше уровня порога Θ в границах множества ξ q с
количеством элементов 2QH + 1 . Определив локальный максимум, мы можем
утверждать, что относительно S (n j ∆t ) , производится идентификация импульса в
виде вектора для матрицы S ji на основе (2.5).
r
S j = { S (k∆t ), S ((k + 1)∆t ), K , S ((k + i )∆t ) } ,
r
Q
i ∈ [0, QT ) , j ∈ [0, QE ) , k = n j − T , S ji = S j
2
(2.5)
Для выражения (2.3) необходимо рассматривать два условия в виде (2.6) и (2.7).
max (S noise (t )) ≈ const , const = 1
max (S noise (t )) = const , const > 1
∞
(2.6)
∞
(2.7)
Для (2.3)-(2.5) предположим, что выполняется условие (2.6) и не выполняется условие (2.7). В этом случае локальные максимумы S (n j ∆t ) будут являться «истинными» (то есть не смещенными относительно оси времени при помощи фоновых
помех, а соответствующими локальным максимумам сигнала S signal ) локальными
максимумами и пороговая идентификация будет работать корректно при составлении матрицы S ji (2.5) (введем обозначение для такого условия в виде «идеальной пороговой идентификации» (ИПИ)). Если предположить обратное, что выполняется (2.7) и не выполняется (2.6), то при наложении двух сигналов (2.3) S (t )
будет довольно сильно искажен по сравнению с исходным S signal (t ) . При наличии
такой искажающей составляющей определенные на основании (2.4) локальные
максимумы будут отличаться как по своим значениям, так и по расположению
относительно оси времени. Очевидно, что в этом случае мы можем говорить о появлении ошибки в определении локальных максимумов. Тогда при выполнении
выражения (2.5) матрица S ji будет содержать отсчеты сдвинутых друг относительно друга импульсов по оси времени по сравнению с тем, как это могло бы
быть в случае с принятием условия (2.6). Учитывая это, мы можем заключить, что
сигнал фонового шума S noise , удовлетворяющий (2.7), во-первых, вносит ошибку в
идентификацию коротких импульсов относительно оси времени, а во-вторых, ис-
67
кажает пространственное расположение векторов матрицы S ji , от которого зависит точность выполнения процедуры классификации. (Различия в пространственном расположении классифицируемых векторов мы ранее охарактеризовали в
виде скалярной величины ∆ x (2.2).) Введем обозначение для процедур (2.4), (2.5)
с условием (2.7) в виде «стандартной пороговой идентификации» (СПИ) векторов матрицы S ji , так как этот механизм в отличие от ИПИ является общепризнанным и подробно рассматривается в частности в работе [19]. Результаты применения ИПИ и СПИ для соответствующих сигналов S (t ) показаны на рисунке 2.2 Б,
В. Из результатов видно, что фактор ошибки пороговой идентификации при использовании разных алгоритмов необходимо учитывать.
Ситуация неоднозначна при рассмотрении амплитудных характеристик
сигнала S noise . Обратимся к проблеме идентификации коротких импульсов,
подразумевая, что результат такой идентификации в виде матрицы S ji является
исходным набором данных для решения задачи классификации импульсов S ji .
Получается, что при малых уровнях шумов (2.6) алгоритм классификации должен
решать исключительно проблему удаления искажений, вносимых шумовой составляющей в набор центрированных импульсов при идентификации их в виде
матрицы S ji на основе выражений (2.4) и (2.5), а при относительно больших
значениях энергии фоновых шумов S noise (2.7) еще и дополнительно подавлять
ошибку идентификации таких векторов при выполнении (2.4) и (2.5). Ошибка
идентификации является дополнительным «паразитным» фактором, влияние которого следует обязательно учитывать, особенно при рассмотрении тестовых сигналов, построенных с использованием функций G ( p, t ) . Появление ошибки
r
идентификации при больших значениях амплитуд S noise не может быть исключено
никаким образом. Это нетрудно доказать из дифференцирования (2.3) и анализа
(2.4) и (2.5). Однако ее величина может быть уменьшена при сокращении величины разброса центральных точек S (n j ∆t ) при пороговой идентификации (2.5).
68
Рисунок 2.2 – Построение результатов пороговой идентификации. А – схематичная иллюстрация наложения аддитивных помех S noise на сигнал S signal , состоящий из коротких
импульсов типа G (показаны способы реализации пороговой идентификации с порогом
Θ ). Б – построение матрицы, содержащей отсчеты импульсов S ji , на основе ИПИ. В –
построение матрицы, содержащей отсчеты импульсов S ji , на основе СПИ. Г – применение порогового алгоритма в виде СПИ с появлением абсолютной ошибки в идентификации точек максимумов зашумленных импульсов.
69
Введем данный разброс на основе значения ∆ C (2.8) для некоторого набора
импульсов в количестве QE .
∆C =
n j − nWj
j
, j ∈ [0, QE )
(2.8)
В выражении (2.8) в качестве значения n j введена точка отсчета по шкале времени, относительно которой идентифицируется импульс. Значение n j принимается в качестве значения аргумента локального максимума функции S signal (ИПИ),
а величина nWj определяется при выполнении СПИ. Очевидно, что чем больше
энергия S noise (t ) (2.3), тем пропорционально больше разброс точек nWj относительно центрального значения n j (рис. 2.2, В, Г). В этом случае величина ∆ C в
виде (2.8) является характеристикой разброса идентифицируемых точек по шкале
времени и пропорциональна величине ошибки идентификации порогового метода
(2.4) и (2.5) с пороговым значением Θ .
Как было отмечено выше, снизить до нуля величину ∆ C невозможно, а
можно сократить ее значение. Для того чтобы это сделать, мы разработали специальный адаптивный алгоритм, модифицирующий пороговую идентификацию на
основе (2.4) и (2.5). Очевидно, что частично подавить фоновые шумы можно лишь
при помощи использования фильтров со специально подобранной частотной характеристикой. При разработке такого фильтрующего элемента сделан упор на
том, чтобы предполагаемый алгоритм был относительно простым и мог быть использован в описанной выше пороговой процедуре идентификации (2.4), (2.5).
Таким образом, в целях улучшения процедуры СПИ [19] мы предлагаем использовать алгоритм адаптивной пороговой идентификации (АПИ), который может
быть представлен в виде 3 шагов:
Шаг 1. Необходимо использовать скользящее окно стандартного порогового алгоритма идентификации (2.4) и определить всевозможные значения точек импульсов в виде характерных моментов времени n j ∆t в сигнале S (t ) относительно
порогового уровня Θ .
Шаг 2. В качестве адаптивной процедуры идентификации с использованием
фильтров необходимо решить задачу максимизации целевой функции Rg (τ ) для
70
функции сигнала S (t ) (2.9). Параметр K ρ задает свойства адаптивного фильтра,
его значения выбираются в зависимости от спектральных свойств шума Snoise (t ) .
Универсальная настройка K ρ = 0.5 .
R g (τ ) =
QT −1
 K ρ  QT

+ QR − τ   S
i −
2

T 

∑ g  3 Q
i =0
g (x ) = e
− x2
( (k + i ) ∆t )
Q
, τ ∈ [0 ; 2QR ] , k = n j − T
2
(2.9)
Шаг 3. После выполнения шага 2 необходимо произвести идентификацию импульсов в виде векторов матрицы S ji на основе выражения (2.10) при условии,
что идентификация для каждого импульса ведется по функции сигнала S (t ) с учетом рассчитанного оптимального значения τ при помощи выражения (2.9).
r
S j = { S (k∆t ), S ((k + 1)∆t ) , K , S ((k + i )∆t ) } ,
r
Q
i ∈ [0 , QT ) , k = n j − T − (QR − τ ) , j ∈ [0 , QS ) , S ji = S j
2
(2.10)
Представленный алгоритм АПИ может быть использован для идентификации любых солитоноподобных импульсов [66]. Параметры функции g (x ) можно
менять в соответствии с решаемой задачей. При необходимости можно функцию
g изменить на одну из вейвлет-функций ψ (1.14)-(1.17). Однако стоит отметить,
что анализ области оптимальных значений для (2.9) при использовании вейвлетфункций может усложниться. Алгоритм АПИ мы предлагаем использовать как
один из альтернативных способов предварительной пороговой идентификации на
основе ИПИ или СПИ.
Основная цель в решении задачи анализа солитоноподобных импульсов типа
G (2.1) это идентификация и классификации данных импульсов при обработке
соответствующего сигнала S (t ) (2.3), в котором они локализованы. Как отмечено в
главе 1, особый интерес здесь представляет расчет значений функционалов
ошибки классификации импульсов Ε (1.4) от ряда параметров, в том числе и от
величины ошибки предварительной идентификации данных импульсов. Из теоретического анализа, представленного в главе 1, показано, что классифицировать
импульсы можно на основе АГК, НВП, ИНС и ВНС. В главе 2 представлены 3
способа предварительной идентификации импульсов в виде ИПИ, СПИ и АПИ.
Соответственно, для того чтобы рассчитать функционалы ошибки (1.4) разных
71
методов классификации коротких импульсов, необходимо построить специальный алгоритм, который, используя функции (2.1) и (2.2), мог бы проводить соответствующие преобразования с учетом всех теоретических замечаний, касающихся ИПИ, СПИ и АПИ, а также всех особенностей использования алгоритмов
автоматической (например, АГК) и адаптивной (например, НВП, ИНС и ВНС)
классификаций. Рассмотрим теорию одного из возможных примеров такого метода.
Используя АГК, НВП или технику ИНС в решении задачи классификации
импульсных сигналов в сигнале S (t ) (рис. 2.2, А), стоит обратить внимание на тот
факт, что величина ошибки Ε может рассчитываться согласно простому выражению (1.4). Значение данной ошибки формируется из расчета количества элементов
подмножеств Ω′m множеств Ω m , m ∈ [1, QC ] . Если возвращаться к анализу главных
компонент (1.3), то появление областей Ω′m для двух множеств в пространстве характеристик означает наличие корреляций между двумя классами анализируемых
векторов (QC = 2) ; в вейвлет-анализе – это изменение мгновенных спектральных
характеристик на идентифицированных фрагментах сигнала, так что адаптированная вейвлет-функция с оптимизированными параметрами масштаба и сдвига
(1.13) не может корректно выявить данные изменения при интегрировании. Для
нейронных сетей (1.29) появление множеств точек перекрытия Ω′m в выходных
значениях сети означает неправильное распознавание входного вектора, который
не может быть корректно отнесен к одному из классов, заложенных на этапе адаптации. Получается, что в каждом из применяемых методов причина роста ошибки
Ε трактуется в зависимости от его теоретических основ. Все же, можно выделить
два общих фактора, в зависимости от которых варьируется величина ошибки Ε
для всех методов, применяемых к задаче классификации импульсов, полученных
на основе алгоритма идентификации из непрерывного экспериментального сигнала S (t ) в виде набора векторов.
Первый - это отличия индивидуальных форм импульсов, которые относятся
к разным классам ( m и m + 1 ). Очевидно, чем больше различий между
72
классифицируемыми импульсами, тем соответственно точнее можно осуществлять их классификацию, даже при наличии сильных фоновых помех.
Показано (рис. 2.1), что одним из возможных индикаторов таких отличий
может служить функция ∆ x (2.2).
Второй - фоновые шумы, аддитивно накладывающиеся на исходный сигнал
S (t ) , из которого идентифицируются данные вектора. Чем больше уровень
шумов, тем сильнее искажаются отличия ∆ x между анализируемыми векторами. Чем больше интенсивность фоновых шумов, тем соответственно
сложнее проводить как предварительную идентификацию на основе пороговых методов (2.5) и (2.10), так и последующую классификацию множества векторов S ji , j ∈ [1, QE ] , i ∈ [1, QT ] .
Из этого можно заключить, что ошибка метода классификации Ε (1.4) будет
зависеть как минимум от двух факторов: 1) схожесть импульсных форм классифицируемых объектов ∆ x , 2) совокупность спектральных и амплитудных
r
характеристик в виде Λ для сигналов и фоновых шумов ( ΛNSR − линейное
соотношение «шум-сигнал», ΛNBW − ширина спектра фонового шума, ΛNCF − центральная частота фоновых шумов).
QC
∑
r
Ε = Ε ∆ x , Λ = 100 * mQ=C1
(
)
Ω′m
∑Ω
m =1
,
{
r
Λ = ΛNSR , ΛNBW , ΛNCF
}
(2.11)
m
Предположим, что существует некоторый зашумленный сигнал S (t ) , в котором локализованы импульсные последовательности, количество классов которых
QC = 2 , а количество импульсов каждого класса QS , QE = QC QS . Фактически сигнал
S (t ) может быть получен на основании чередования соответствующих фрагменr
r
тов функции G ( p m , t ) , m ∈ {1 , QC = 2 } и наложения цветных шумов с параметрами Λ .
Для того чтобы произвести классификацию импульсов такого сигнала, надо применить процедуру пороговой идентификации к S (t ) (ИПИ, СПИ и АПИ), локализуя короткие импульсные сигналы в виде последовательности векторов S ji
73
, j ∈ [1, QE ] , i ∈ [1, QT ] , а затем применить один из алгоритмов классификации (АГК,
НВП, ИНС или ВНС), который используется для расчета подмножеств множества
Ω (1.4). При этом вся априорная количественная информация о сигнале может
быть использована для более точного разделения множества Ω на соответствующие подмножества, по которым производится расчет значения функционала
ошибки Ε (1.4). Чтобы выполнить расчет значений (2.11) для АГК, НВП, ИНС и
ВНС, мы разработали специальный алгоритм тестовой классификации (АТК), в
котором полностью учтены все особенности перечисленных методов при проведении расчетов значений функционала Ε = Ε (∆ x , Λ ). Рассмотрим основные шаги
r
АТК:
Шаг 1. Необходима генерация двух непрерывных сигналов (рис. 2.2 , А) S noise (t ) и
S signal (t ) . Для воспроизводства сигнала цветного шума S noise (t ) предлагается
использовать алгоритм моделирования сигналов на основе их спектральных характеристик (п. 2, глава 1). В качестве модельной функции (1.11) спектра цветного шума применить гауссиан g ( f ) ( f − значение частоты измеряется в Гц).
g( f ) = e − f
2
Функция g ( f ) модифицируется при введении коэффициентов смещения ΛNCF по
спектральной области и параметра ширины спектра ΛNBW . В измененном виде такая функция может быть записана с помощью (2.12).
g p1 p2
  f − p 2 
1
 
( f ) = exp  − 9 
p
2
 
 
p1 = ΛNCF , p 2 = ΛNBW
(2.12)
При применении (2.12) и алгоритма для моделирования сигналов на основе
преобразования Фурье мы будем получать цветной шум со спектром, определенным на основе g p p ( f ) с соответствующими параметрами ΛNBW и ΛNCF .
1 2
Шаг 2. Для того чтобы получить сигнал S signal (t ) , необходимо иметь две характерные, незашумленные формы импульсов (QC = 2 ) , которые могут быть описаны в
виде векторов pm , m ∈ [1 , QC ] для функции (2.1). По соответствующим значениям
r
функции G ( pm , t ) строится набор импульсов двух классов. Сигнал S signal (t )
r
восстанавливается при чередовании импульсов двух классов в количестве QS и
(рис. 2.2, А) длительностью QT ∆t . Необходимо рассчитать ∆ x на основе выраже-
74
ний (2.2) для двух незашумленных форм импульсов, определенных на основе
r
G ( pm , t ) .
Примечание: Если pm , m ∈ [1 , QC ] неизвестно, то необходимо применить алгоr
ритм анализа экспериментальных данных, который был представлен при определении функции G (2.1) (п. 1, глава 2).
Шаг 3. Рассчитать параметр величины отношения «шум-сигнал» без логарифмирования ΛNSR на основе (1.9) для сигналов S signal (t ) , S noise (t ) . После чего построить
сигнал S (t ) = S signal (t ) + Χ S noise (t ) . Коэффициент Χ выбирается из расчета заданного
соотношения «шум-сигнал» ΛNSR .
Шаг 4. Сигнал S (t ) необходимо подвергнуть пороговой идентификации и определить требуемый набор векторов S ji , представляющих дискретизованные короткие
импульсы.
Примечание: Пороговую идентификацию можно ввести на основе (2.5), (2.10)
(СПИ, ИПИ и АПИ). Выбор метода предварительной идентификации импульсов в виде матрицы S ji из непрерывного сигнала S (t ) это одна из структурных
установок алгоритма, которая определяется до начала выполнения АТК
(рис.2.3). При этом нужно учитывать, что для реализации ИПИ необходимо
применить выражение (2.5) к сигналу S signal , для того чтобы выполнить СПИ –
применить выражение (2.5) к сигналу S , а для реализации АПИ - (2.10) к сигналу S (рис.2.2, А)
Шаг 5. Полученный набор импульсов S ji необходимо подвергнуть классификации на основе алгоритма (АГК, НВП, ИНС и ВНС), для которого производится
реконструкция функционала (2.11). Результатом применения исследуемого алгоритма является множество точек Ω (1.4), отображаемое в соответствующем пространстве характеристик (рис. 2.3).
Примечание: Применяемый алгоритм может включать в себе требования к наличию дополнительных априорных данных для проведения процедуры адаптации (например, использование искусственных нейронных сетей). Для построения такой процедуры необходимо сгенерировать дополнительный сигнал
s (t ) на основе выполнения шагов 1, 2 и 3 АТК с тем лишь исключением, что
r
параметры шума задаются в виде вектора λ = {λNSR , λ NBW , λ NCF }, который в обr
щем случае отличается от вектора Λ . Соотношение «шум-сигнал» λ NSR
устанавливается соответствующим параметром χ : s(t ) = ssignal (t ) + χ snoise (t ) . Далее к полученному сигналу s(t ) применяется шаг 4 АТК (выполнение примечания к шагу 4 зависит от требований эксперимента). Исходя из того, что рас-
75
сматривается сигнал тестовый и имеется априорная информация об импульсах, на этапе пороговой идентификации определяется класс импульса и строится матрица s ji , j ∈ [1, QEA ] , i ∈ [1, QT ] , которой соответствует xinm ,
[
]
[
i ∈ [1, QT ] ,
]
m ∈ 1, QCA , n ∈ 1, QSA , QEA = QCAQSA . По xinm осуществляется процедура адаптации
применяемого алгоритма (на схеме рисунка 2.3 процедура адаптации приведена в виде отдельного структурного элемента АТК).
Шаг 6. На основе полученного множества точек Ω рассчитывается величина
ошибки (рис.2.3) Ε = Ε(∆ x , Λ ), полученная в ходе классификации импульсов S ji
r
сигнала S (t ) .
Шаг 7. Шаги 1-6 (рис.2.3) необходимо повторять для разных значений параметr
ров ∆ x , Λ пока в дискретном представлении
(
не восстановится поверхность
)
r
Ε = Ε ∆x,Λ .
Примечание к АТК: Если работает алгоритм, не требующий адаптации (например,
АГК), то в этом случае выполнение примечания к шагу 5 не имеет смысла, и для
того чтобы восстановить поверхность Ε = Ε(∆ x , Λ ) , нужно выполнить необходиr
мое количество повторений шагов 1 и 6 (рис.2.3). В обратном случае стоит выполнять примечание к шагу 5 в виде дополнительной последовательности процедур
(рис.2.3).
Результатом АТК является поверхность Ε = Ε(∆ x , Λ ). Она содержит в себе изr
быточную информацию об ошибке исследуемого метода, поэтому для извлечения
определенной части этой информации мы предлагаем рассчитывать характеристики (2.13) и (2.14) (в выражении (2.13)
Ι
(
Ε ∆x,Λ
NSR
k
,Λ
NBW
)= Λ
NCF
max
1
− ΛNCF
min
- оператор усреднения).
ΛNCF
max
∫ Ε (∆ , {Λ
x
NSR
k
})
, ΛNBW , ΛNCF dΛNCF
ΛNCF
min
(2.13)
ΛNSR k = {ξ1 , ξ 2 , K , ξ k K} , ξ k ∈ R
Ε
D
(∆
)
NBW
=
x, Λ
Ι
(
d Ε ∆ x , ΛNSR k , ΛNBW
dΛNSR k
)
Ι
≈
k
(
)
Ι
(
Ε ∆ x , ξ k , ΛNBW − Ε ∆ x , ξ k −1 , ΛNBW
ξ k − ξ k −1
)
(2.14)
k
76
Рисунок 2.3 – Схема алгоритма АТК. Фрагменты рисунка 1-7 указывают на соответствующие шаги АТК. Фрагмент 8 соответствует примечанию шага 5. Фрагмент 9 – примечанию шага 4.
77
Расчет значений Ε D и Ε I является необходимым, так как они показывают, насколько точно работает исследуемый алгоритм в зависимости от моделируемой
экспериментальной ситуации в более компактном виде по сравнению с функционалом Ε = Ε(∆ x , Λ ). Результаты применения АТК к АГК, НВП, ИНС и ВНС
r
представлены в главе 2.
2.1.3 Применение анализа главных компонент в
классификации коротких импульсных сигналов
АГК был наиболее подробно описан в п. 1 главы 1. Данный алгоритм имеет
довольно широкое применение в теории анализа сигналов [19], а также в изучении статистических закономерностей экспериментальных данных [36]. Объяснением столь широкой распространенности является тот факт, что АГК, во-первых,
имеет несложную математическую процедуру расчета, во-вторых, проводит анализ векторов (см. глава 1), которые составляются непосредственно из фрагментов
анализируемого массива данных и при этом не подразумевается никакой дополнительной обработки и настройки. Безусловно, выгодно сопрягать АГК с другими
алгоритмами в целях повышения его эффективности. Хорошим примером этого
является использование АГК совместно с процедурами кластерного анализа [19]:
например, в сочетании с алгоритмом k – средних или кластеризацией на основе
подходов Байеса [19]. Все же стоит отметить, что если анализ главных компонент
по каким-то причинам работает неточно, вследствие чего получается большая
ошибка Ε (1.4), предположим при классификации множества векторов, состоящего из двух классов – то очевидно, что ни один вторичный алгоритм обработки
пространства характеристик (например, алгоритм кластеризации [19]) не сможет
внести кардинальных изменений, которые приведут к снижению ошибки Ε в 3 и
более раз. Поэтому в решении ряда задач [20-25] требуется знать истинные возможности АГК. К числу таких задач относится рассматриваемый нами вопрос о
классификации коротких импульсных сигналов G ( p, t ) в присутствии сильных
r
фоновых помех. Как отмечалось выше, проблематика этого направления связана с
78
анализом экспериментальных сигналов в области нейрофизиологии (рис. 1.1). Из
результатов работы [114] следует, что классификация коротких импульсных
сигналов может применяться и в построении многоканальных систем связи с защищенным режимом передачи данных. Получается, что методы на основе АГК
могут быть использованы как при решении прикладных технических задач из области радиофизики, так и в работах, связанных с исследованиями в области
биологии и медицины [20-25]. А вопрос в обоих случаях один. Насколько эффективно может быть использован АГК (без применения дополнительных процедур
обработки) в решении задачи классификации импульсных сигналов типа G ( p, t ) в
r
присутствии сильных фоновых помех, которые аддитивно накладываются на сигнал, состоящий из последовательности таких импульсов? Любая фоновая помеха,
с точки зрения радиофизики, имеет частотный спектр. В связи с этим возникает
другой вопрос: а как будет зависеть эффективность применения АГК от параметров данного спектра? Как на первый, так и на второй вопросы развернутых ответов в научной литературе [19-25] не имеется, поэтому проводились исследования
на основе численных экспериментов АТК, которые в наиболее полном ракурсе
дали бы ответы на поставленные вопросы. Исследования строятся на основе экспериментов, в которых используется АТК для анализа функции ошибки (2.11) при
решении задачи классификации коротких импульсных сигналов. Стоит отметить,
что и применение введенного алгоритма не сможет отразить все мельчайшие подробности в обозначенных выше вопросах, тем не менее, АТК позволит наиболее
полно исследовать функциональную зависимость Ε = Ε(∆ x , Λ ) для АГК, которая
r
содержит решение большинства заявленных проблем. В проводимых численных
экспериментах уделялось внимание двум основным проблемам, которые удобно
представить в виде отдельных экспериментов.
Первый эксперимент. Построение функциональной зависимости Ε по
АТК. Данный эксперимент сводится к тому, что необходимо выполнить шаги 1-7
для расчета значений функционала Ε = Ε(∆ x , Λ ) в виде (2.11). При этом в качестве
r
процедуры предварительной идентификации использовать ИПИ в АТК для того,
чтобы исключить наложение ошибок идентификации при предварительном поро-
79
говом детектировании коротких зашумленных импульсов на значения функционала ошибки Ε = Ε(∆ x , Λ ), который строится исключительно по результатам классиr
фикации импульсов.
Второй эксперимент. Построение функциональной зависимости Ε (2.11)
для задачи классификации импульсов сигнала S (t ) согласно АТК. Последовательно выполняются шаги 1-7. При этом в качестве процедур предварительной
идентификации необходимо использовать ИПИ, СПИ и АПИ для определения
степени влияния абсолютной величины разброса центров импульсов ∆ C (2.8) на
форму функциональной зависимости ошибки классификации Ε .
Рассмотрим результаты первого эксперимента. Для построения функциональной зависимости Ε = Ε(∆ x , Λ ) ошибки для АГК при классификации коротких
r
зашумленных импульсов использовался АТК с ИПИ. Для генерации тестовых
сигналов мы выделили 5 пар импульсов (рис. 2.1, В-Ж), имеющих разные значения величины ∆ x (2.15).

∆ x = { 0.024, 0.080, 0.197, 0.354, 0.421 }


r

Λ = ΛNSR , ΛNBW , ΛNCF



ΛNSR ∈ [0 : 1.5]

(2.15)


 ΛNBW ∈ { 500, 800, 1100, 1400, 1700, 2000, 2300, 2600, 2900, 3200 } , ΛNBW = Гц


 ΛNBW 1 − ∆t ΛNBW 
ΛNCF ∈ 
,
 , ∆t = 0.00008 c , QT = 40 , QC = 2 , Q S ∈ [150,1000]
2
2
∆
t



r
r
Согласно алгоритму для построения Ε = Ε ∆ x , Λ на параметры вектора Λ не нало-
{
}
[
(
]
)
жено строгих ограничений, однако, вполне очевидно, что соблюдать условия непрерывности всех параметров в рамках проведения численного эксперимента неr
возможно, поэтому введены ограничения на значения параметров ∆ x , Λ в виде
выражений (2.15). В рамках первого эксперимента не учитывается ошибка пороговой идентификации импульсов ( ∆ C = 0 ) при расчете значений функционала
(
)
r
Ε = Ε ∆ x , Λ по АТК - реализуется ИПИ для зашумленных импульсов. Результаты
80
проведенных расчетов на основе условий (2.15) для АТК показаны на рисунках
2.4-2.6. На рисунке 2.4 (А-Д) приведены соответствующие построения значений
функционала Ε = Ε(∆ x , Λ ) при фиксированных значениях параметров ∆ x , ΛNSR , ΛNBW
r
(2.15) в зависимости от различных значений центральной частоты спектра фонового цветного шума ΛNCF . Из результатов (рис. 2.4 А-Д) можно сделать вывод, что
с ростом значения ∆ x ошибка АГК существенно снижается, и метод классификации на основе АГК функционирует корректно при сравнительно больших значениях ΛNSR . Если данный результат можно считать критерием эффективности
применения метода, то получается, что при увеличении ∆ x в 20 раз эффективность возрастает примерно в 10 раз. Показано также, что АГК не всегда может
отфильтровывать высокочастотные фоновые флуктуации. Этому свидетельствует
ряд результатов А-Д рисунка 2.4. Так при относительно малом значении параметра ΛNSR получается, что для всех пяти пар импульсов (рис. 2.1, В-Ж) метод
способен подавлять высокочастотные шумы и демонстрировать ошибку классификации Ε =0. С ростом ΛNSR функционал Ε может изменять свое значение
скачкообразно. Причем согласно Ε I (рис. 2.4, Е) величина ∆ x является параметром таких скачкообразных изменений. Трудно не согласиться с тем, что функциоr
нал Ε имеет нелинейную зависимость от значения ∆ x и компонент вектора Λ .
Если проанализировать результаты рисунка 2.4 в соответствующих частях А-Д, то
очевидно, что чем меньше значение параметра ∆ x , тем выше величина ошибки
классификации при одинаковом значении интенсивности фоновых шумов Snoise (t )
(2.3). Аналогичные заключения можно сделать и при рассмотрении рисунка 2.5,
показывающего зависимость функционала ошибки Ε для АГК от ширины спектра
фоновых осцилляций ΛNBW . Параметры нелинейности Ε могут быть определены
согласно полученным расчетам интегральной ошибки (рис. 2.4, 2.5, Е). Функционал интегральной ошибки Ε I показывает зависимость средней величины ошибки
по всему спектральному диапазону значений центральных частот спектров фонового цветного шума ΛNCF от значений ∆ x , ΛNSR , ΛNBW (рис. 2.4, 2.5).
81
Рисунок 2.4 – графические построения результатов первого эксперимента для АГК. А -,
Б -, В -, Г -, Д - результаты расчета Ε для пар импульсов с разными значениями ∆ x в
зависимости от значения центральной частоты ΛNCF , величины линейного соотношения
«шум-сигнал» ΛNSR при фиксированной ширине спектра шума ΛNBW = 1400 Гц для фоновых цветных шумов S noise (t ) . Е – расчет интегральной ошибки Ε I согласно (2.13) для результатов А – Д.
82
Рисунок 2.5 – графические построения для результатов расчета функционала Ε при
фиксированном значении ∆ x и разных значениях ΛNBW согласно (2.15) по первому
эксперименту для АГК. А-, Б-, В-, Г-, Д- результаты экспериментов численного расчета
Ε для разных значений ΛNBW , взятых из условий (2.15). Е – расчет функционала инте-
гральной ошибки Ε I (2.13) для серии экспериментов, показанных на А-Д.
83
Рисунок 2.6 – графические построения результатов второго численного эксперимента
для АГК: А – результаты расчета функционала Ε ошибки алгоритма классификации на
основе АГК согласно АТК, в котором были использованы ИПИ, СПИ и АПИ. Б – результаты расчета интегральной ошибки Ε I (2.13) и коэффициента Ε D (2.14) для серии
численных экспериментов, показанных в части A.
84
По характерному нелинейному виду такой зависимости можно оценить пороговые значения для ∆ x , ΛNBW , превышая которые, мы необратимо будем сталкиваться с тем, что точность классификации зашумленных импульсов на основе
АГК уменьшается скачкообразно.
Второй эксперимент. В рамках проведения второго эксперимента основной целью исследования стало изучение того, насколько точно может быть применен АГК к проблеме классификации коротких зашумленных импульсов при условии того, что в идентификации набора импульсов присутствует ранее оговоренная неточность ∆ C в определении центральных точек максимума идентифицируемых коротких импульсов. При этом был проведен сравнительный анализ эффективности АГК при работе со СПИ ( ∆ C ≠ 0 ), ИПИ ( ∆ C = const = 0 ) и АПИ ( ∆ C ≠ 0 )
в рамках АТК. Параметры АТК для данного эксперимента определялись из условия (2.15), а для осуществления АПИ в выражении (2.9) использовалась функция
Гаусса с параметром K ρ = 0.7, QH = 8, QR = 7 . Результаты серии численных
экспериментов представлены на рисунке 2.6.
По результатам второго эксперимента (рис. 2.6, Б) можно сделать два вывода. Во-первых, использование АГК совместно с ИПИ является более эффективным подходом в сравнении со СПИ. Во-вторых, использование АГК с ИПИ менее
эффективно, если в качестве альтернативы можно применить АГК и АПИ. Второй
вывод, подтвержденный всеми характеристиками функционала Ε (рис.2.6, Б),
показывает, что при наличии широкополосных фоновых помех с шириной спектра ΛNBW = 2000 Гц адаптивная пороговая идентификация (АПИ) (2.9) и (2.10)
позволяет определять матрицу векторов S ji таким образом, что их анализ и
классификация на основе ковариационной матрицы АГК наиболее оптимальны по
сравнению даже с теми случаями, в которых применяется ИПИ. Математически
объяснить данный результат весьма проблематично, а вот согласно общей теории
спектрального анализа это возможно. Собственные вектора матрицы ковариации,
с точки зрения спектрального представления, не имеют возможности для перестройки между наилучшим частотным и временным разрешениями. Это приводит
85
к тому, что любой вспомогательный алгоритм, который способен идентифицировать импульсы согласно принципам максимума мгновенной спектральной энергии, будет существенно содействовать наиболее точному расчету собственных
векторов матрицы ковариации, при которых образование кластеров (подмножеств
Ω (1.4)) в пространстве характеристик будет наиболее выражено. Другими сло-
вами, оптимизируя (2.9), мы находим не просто какой-то локальный максимум
амплитуды, а такую точку импульса, в которой мгновенное значение его спектральной энергии максимально, и идентифицированный импульс может быть
классифицирован существенно эффективнее, что и было показано в проведенной
серии экспериментов. Однако не стоит идеализировать принципы АПИ, так как
при их использовании в экспериментах с АГК снизить значение функционала Ε
до нуля не удается, что так же показано на примере результатов численных экспериментов (рис. 2.6, Б).
2.2 Адаптивные алгоритмы на основе искусственных
нейронных сетей и вейвлет-функций
2.2.1 Адаптивный непрерывный вейвлет-анализ
В качестве наиболее простого спектрального метода классификации коротких импульсов рассматривается НВП (1.13) с адаптивной подстройкой параметров масштаба и сдвига. Применяется непрерывная вейвлет-функция ψ следующих типов (1.14)-(1.17). Определим основную формулу расчета вейвлет-коэффициентов в виде y kj , которые могут быть использованы для построения пространства характеристик при решении задачи классификации коротких зашумленных
импульсов типа G ( p, t ) . Для вычисления НВП мы предлагаем выражение - аналог
r
функционала формального нейрона (1.26), в котором заменены синаптические коэффициенты wi на значения дискретизованной по времени (шаг дискретизации
∆t ) вейвлет-функции ψ (2.16). В (2.16) использована непрерывная вейвлет-функ-
ция ψ , при этом в качестве функции активации определяется функ-
86
ция, F (x,ϑ ) = ϑ1 x + ϑ2 , ϑ1 = 1 , ϑ2 = 0, а пороговые коэффициенты приравниваются
r
θk = 0 .
r
 QT
∆t
y = F  ∑ S ji ψ (ρ k (i − q k )) − θ k ,ϑ  , ρ k =
ak
 i =1

k
j
, qk =
bk
∆t
(2.16)
Временная дискретизация учитывается засчет значения масштаба ρ k . Результат
работы такого выражения y kj (S j ) (2.16) k ∈ {1,2} служит для построения двумерного
r
пространства характеристик с отображением точек множества Ω = { y 0j , y 1j } (п. 3,
глава 1). При проведении специальной процедуры адаптации параметров ρ k , q k
вейвлет-функции ψ можно добиться того, что множество Ω будет содержать
локализованные подмножества (кластеры), соответствующие классам множества
импульсов, представленного в виде матрицы S ji , j ∈ [1, QE ] , i ∈ [1, QT ] . Ошибка
классификации Ε при использовании оптимизированных значений НВП существенно сокращается. Решить задачу поиска оптимальных значений ρ k , q k мы
предлагаем на основе специально разработанного алгоритма с элементами стохастической оптимизации. Рассмотрим полностью алгоритм адаптации НВП.
Шаг 1. Для реализации данного алгоритма необходимо использовать тестовый
сигнал s(t ) , состоящий из двух компонент: s signal , s noise , - которые
s(t ) = s signal (t ) + χ s noise (t ) , λ NSR = λ NSR (χ , s signal , s noise ) ,
сигнал s signal генерируется при помощи последовательного составления априори
определенных импульсов G ( p m , t ) , m ∈ [1, QCA = 2] , в нужном количестве n ∈ [1 , QSA ] .
r
Сигнал snoise - это сигнал генератора цветного шума, полный вектор параметров
которого записывается в виде λ = {λ NSR , λ NBW , λ NCF }. На основе алгоритма порогоr
вой идентификации (ИПИ, СПИ и АПИ) из сигнала s(t ) составляется матрица
дискретизованных импульсов xinm , которая используется для алгоритма адаптации
НВП в виде (2.16).
Примечание: Шаг 1 может быть реализован при выполнении шагов 1-4 АТК
r
при учете компонент вектора λ .
Шаг 2. Для имеющегося множества векторов xinm ( m ∈ [1, QCA = 2] , n ∈ [1, QSA ] ,
i ∈ [1, QT ] ), на котором предполагается строить процедуру адаптации параметров
ρ k , q k , необходимо применить функционалы в виде RD и RI в виде выражений
87
(2.17)-(2.19). Для того чтобы произвести поиск оптимальных значений параметров вейвлет-функции ρ k , q k , k ∈ [1, N ] , необходимо выбрать либо функционал RD
(2.17), либо RI (2.18), после чего решить задачу оптимизации для выбранного
функционала для определения наиболее подходящих значений параметров ρ , q .
RD (ρ , q ) =
Wn1 ( ρ , q ) − Wn 2 ( ρ , q)
n
(2.17)
n
σ (Wn1 ( ρ , q)) + σ (Wn 2 ( ρ , q))
QS

R
=
rnI (ρ , q ) ,

∑
I
n =1


Wn1 (ρ , q ) − Wn 2 (ρ , q )
, Wn1 (ρ , q ) ≥ Wn 2 (ρ , q )


ρ
W
(
,
q
)
I
n
1
r ( ρ , q ) = 
W ( ρ , q ) − Wn 2 ( ρ , q )
n
 n1
, Wn1 (ρ , q ) < Wn 2 (ρ , q )


(
)
W
,
q
ρ
n
2


A
(2.18)
QT
Wnm (ρ , q ) = ∑ xinm ψ (ρ (i − q ))
(2.19)
i =1
Примечание 1: В определении функционала (2.17) при помощи фигурных скобок мы ввели процедуру вычисления арифметического среднего [44], а оператор σ − это вычисление среднеквадратического отклонения. Выражение (2.19)
– это упрощенная запись (2.16), сделанная с учетом всех предположений.
Примечание 2: Выражения (2.17)-(2.19), представленные выше, записаны для
вейвлет-функции, имеющей только два параметра
(ρ , q ) . Для того чтобы
применить вейвлет-функцию Морле в виде (1.17), необходимо учитывать параметр ω .
Примечание 3: Рассмотрим один из возможных способов решения поставленной задачи на примере функционала RD = RD (ρ , q, ω ) для вейвлета Морле.
Возьмем комплексную часть вейвлета Морле в виде ψ (t , ω ) (2.20), для которой
введем обозначение IMORLET
ψ (t , ω ) = sin (ω t ) e −0.5t
2
(2.20)
Оптимизацию RD = RD (ρ , q, ω ) проведем на основе методов стохастической
оптимизации [46]. Для этого выберем случайные величины ξ ρ , ξ q и ξω , имеющие равномерное распределение и функцию корреляции в виде дельта – функции [9]. Для каждой такой случайной величины определим границы в виде соответствующих областей значений Εξ .
 4

Εξ ρ : 
, 0.9 , Εξ q : [0 , QT ] , Εξω
 3QT

 π 2π
: ,
 4 5ξ ρ



88
Введем области оптимальных значений для рассматриваемого нами функционала RD = RD (ρ , q, ω )
ΕRD :
(− ∞ , 1] ∪ [1 , ∞ )
Если предположить, что мы производим n - итераций случайных величин
ξ ρ , ξ q и ξω , причем для каждой k − ой итерации рассчитываем значение
R D = R D (ρ k , q k , ω k ) , принимая ρ k = ξ ρ (k ) , q k = ξ q (k ), ω k = ξ ω (k ) , то получается,
что те значения RD , которые попали в диапазон оптимальных значений, соответствуют оптимальному выбору параметров ρ k , q k , ω k . Естественно, чем
больше значение RD стремится к бесконечности, тем правильнее выбор
ρ k , q k , ω k . (На практике такое возможно не всегда.) Из проведенных k −
итераций необходимо отобрать N - значений, при которых RD удовлетворяет
области ΕRD , и модуль величины RD имеет наибольший локальный максимум.
Оптимизированные таким образом значения ρ k , q k , ω k могут быть использованы в (2.16) в количестве N = 2 (для построения множества Ω в двумерном
пространстве характеристик).
Примечание 4: Для корректного применения методов, изложенных в примечании 3, к функционалу типа RI определим область оптимальных значений ΕRI .
ΕRI :
(− 2 , − 0.5] ∪ [0.5 , 2 )
Примечание 5: Шаг 1,2, а также все примечания рассматриваются для количества классов анализируемого множества векторов, равного 2 ( QCA = 2 ). Это связано с тем, что любое другое количество классов может быть представлено в
виде различных сочетаний двух классов, которые всегда можно условно разделить на две составляющие.
Важно учитывать, что для непрерывных вейвлет-функций ψ (t ) вида (1.14)(1.16) выражения (2.16)-(2.19) остаются неизменными, но если используется
предложенная вейвлет-функция
IMORLET
(2.20), то необходимо вносить
корректировку:
r
 QT
y kj = F  ∑ S ji ψ (ρ k (i − q k ) , ω k ) − θ k , ϑ  .
 i =1

Выражения (2.17)-(2.19) так же учитывают изменения согласно примечаниям
выше изложенного алгоритма.
89
Алгоритм оптимизации параметров НВП (2.16) на множестве импульсов в
виде x inm может быть использован в АТК. Как отмечалось в главе 1, слабо изученными остаются проблемы применимости различных непрерывных вейвлет-базисов (1.14)-(1.17) к решению задач классификации и идентификации фрагментов
сигналов [19,75]. Представленную версию адаптивного НВП (2.16) необходимо
использовать в теле АТК. Для этого предлагаются следующие численные
эксперименты.
Первый эксперимент. На основе условий (2.15) необходимо по АТК определить, какая из непрерывных вейвлет-функций (1.14)-(1.16), (2.20) для адаптивного НВП наиболее оптимально подходит под решение задачи классификации
импульсов типа G ( p, t ) при использовании предварительной ИПИ в АТК.
r
Второй эксперимент. На основе условий (2.15) и результатов первого эксперимента провести более подробные исследования применимости адаптивного
НВП для решения задачи классификации зашумленных импульсов типа G ( p, t ) с
r
использованием наиболее подходящих непрерывных вейвлетов (отобранных по
первому эксперименту). Использовать АТК с ИПИ.
Третий эксперимент. Изучить то, как влияет введение дополнительного
параметра ω k по подстройке частотно-временного разрешения вейвлет-функции
(на примере вейвлетов, отобранных по результатам первого и второго экспериментов) на значение ошибки по классификации коротких зашумленных импульсных сигналов на основе адаптивного НВП в АТК.
Рассмотрим результаты первого эксперимента. Предложено использовать
НВП со стохастической оптимизацией на основе функционалов R D и RI . Для
каждого из функционалов использовались вейвлеты (1.14)-(1.16) и (2.20). Параметры: ΛNBW = 1000 Гц, ∆ x ∈ {0.024, 0.197, 0.421} Параметры ΛNCF , ΛNSR выбраны из
условий (2.15). Адаптация вейвлет алгоритма происходит на каждой итерации
АТК, при этом вектор параметров λ = {λ NSR , λ NBW , λ NCF } эквивалентен Λ , по котоr
r
рому рассчитываются значения функционала Ε (2.11). Часть результатов расчета
Ε представлена на рисунках 2.7, А-Г (для функционала R D ) и Д-З (для функцио-
90
нала RI ) с вейвлет-функциями WAVE , MHAT , DOG и IMORLET соответственно. На
рисунках 2.7, И-М проиллюстрированы результаты расчета интегральной ошибки
Ε
I
(2.13) для исследуемого набора непрерывных вейвлетов, на основе которых
адаптивным способом решалась задача классификации с заданной величиной ∆ x .
Все проведенные серии экспериментов наиболее наглядно могут быть резюмированы на основе расчетов значений Ε D (2.14) для функционалов Ε . Экспериментально доказано, что самый эффективный способ классификации фрагментов сигналов при помощи НВП это способ, использующий вейвлет-функцию IMORLET .
По совокупности полученных результатов (рис. 2.7) исследуемый набор вейвлетов
можно
расположить
в
следующем
порядке
согласно
IMORLET , DOG, MHAT , WAVE . Отметим, что спад точности
росту
Ε :
D
адаптивного НВП
весьма незначителен при сравнении результатов для функций DOG и WAVE
(рис.2.7, О). Однако существенный перепад в значении Ε D наблюдается при переходе по диаграмме от DOG к IMORLET (рис.2.7, О) - это свидетельствует о том,
что на основе IMORLET можно строить самые эффективные методы в виде
НВП при классификации фрагментов сигналов по их спектральным особенностям.
Рассмотрим результаты второго эксперимента. Во второй серии численных
экспериментов основное внимание уделено тому, как с использованием вейвлетфункций можно распознавать пары импульсов при наличии широкополосного
фонового шума, а также как изменяется величина ошибки классификации зашумленных импульсов в зависимости от величины ширины спектра фонового цветного шума. В экспериментах были применены вейвлеты DOG, IMORLET . При
этом в решении задачи оптимизации был использован функционал RD (2.17).
Процедура адаптации производилась при каждой итерации АТК. В рамках АТК
r
r
применена ИПИ, вектор λ эквивалентен Λ . Из представленных результатов
(рис.2.8) нетрудно заметить, что при фиксированной величине ΛNBW (ширина спектра фонового шума) и изменении ∆ x (2.15) в сторону уменьшения, ошибка Ε
возрастает (рис. 2.8, А, Б).
91
Рисунок 2.7 - результаты экспериментов по исследованию адаптивного НВП при решении задачи классификации зашумленных импульсов. А-,Б-,В-,Г- результаты расчета
функционала Ε для адаптивного НВП на основе R D , в котором были использованы
вейвлет- функции WAVE , MHAT , DOG, IMORLET соответственно. Д-,Е-,Ж-,З- результаты расчета функционала Ε для адаптивного НВП на основе RI , в котором были
использованы вейвлет-функции WAVE , MHAT , DOG, IMORLET соответственно. И-,К-,
Л-,М- результаты расчетов интегральной ошибки Ε I . Н-,О- результаты расчетов
коэффициента Ε D для серий экспериментов (А-М) с RD и RI соответственно.
92
Рисунок 2.8 – результаты второго численного эксперимента: А-,Б-,В-,Г- построение
значений функционала Ε для вейвлет-функций DOG и IMORLET при использовании
функционала оптимизации RD ; Д- расчет значение Ε D (2.14).
93
Из этого можно сделать вывод о том, что чем меньше различий между формами
импульсов, тем соответственно сложнее решать задачу их классификации при наличии сильных фоновых флуктуаций, даже при использовании адаптивного НВП.
Как показали результаты численных экспериментов (рис.2.8, В, Г), классификация
на основе адаптивного НВП довольно сильно чувствительна к ширине спектра
фоновых осцилляций ΛNBW . Причем чем больше ΛNBW , тем выше ошибка
классификации Ε , и наоборот. Данная закономерность прослеживается во всей серии результатов (рис.2.8, Д) второго эксперимента.
Все же стоит заключить, что из сравнительного анализа между АГК и
адаптивным НВП превосходство второго метода более чем очевидно. Сравним
результаты АТК для АГК (рис. 2.4-2.6) и адаптивного НВП (рис. 2.7,2.8):
во-первых, для АГК было наглядно продемонстрировано, что чем больше
ΛNBW , тем ниже величина ошибки классификации Ε (рис. 2.5) – в то время как
адаптивный НВП демонстрирует обратное (рис. 2.7);
во-вторых, существенным преимуществом использования адаптивного НВП
является то, что данный метод способен отфильтровывать высокочастотные
помехи и его интегральная ошибка Ε I растет с увеличением ΛNSR только засчет
увеличения ошибки Ε = Ε(∆ x , Λ ) в области низких частот (рис. 2.7, 2.8) – с друr
гой стороны интегральная ошибка АГК может возрастать скачкообразно, и
вклад при таком росте достигается как засчет присутствия помех с высокочастотным спектром, так и помех с низкочастотным спектральным составом (рис.
2.5).
Результаты третьего эксперимента. Третья серия численных экспериментов – это обработка результатов второго эксперимента, в рамках которого были
очень подробно изучены Ε D , Ε I для адаптивного НВП с вейвлет-функциями
DOG ,
IMORLET
(функционал R D , идентификация на основе ИПИ). Значения
ошибки Ε для случая использования IMORLET (2.20) существенно меньше по
сравнению с DOG (рис. 2.9, Б).
94
Рисунок 2.9 – построение результатов третьего эксперимента. А – спектральная плотность импульса типа G и сигнала S (t ) , состоящего из последовательности таких
импульсов (∆ x = 0.080) . Б – значения функционала ошибки Ε для адаптивного НВП с
вейвлет-функциями: DOG , IMORLET . (Значения функционала построены при фиксированных параметрах: ∆ x , ΛNSR , ΛNBW ). В – ширина спектров вейвлет-функций при
оптимизированных параметрах согласно алгоритму адаптивного НВП.
95
Заметим, что оптимизация параметров IMORLET согласно общему алгоритму
допускает использование параметра ω , который с точки зрения спектрального
анализа позволяет проводить подстройку частотно-временного разрешение для
НВП. Из результатов третьего эксперимента показано, что изменение частотновременного разрешения может позволить существенно сократить ошибку классификации коротких импульсных сигналов. Рассмотрим данный результат подробнее. Согласно теореме о свертке [2,3], спектр вейвлет-функции, как и его форма,
определяет частотно-временное разрешение НВП. Поэтому, руководствуясь полученными наборами параметров (ρ , q ) для DOG и (ρ , q, ω ) для IMORLET , а также
способами вычисления частотных характеристик сигналов (см. глава 1, п. 2) на
основе преобразования Фурье, произведены расчеты ширины спектра пропускания DOG и IMORLET на уровне половинной мощности для всех итераций в АТК.
Результаты представлены на рисунке 2.9, В. Из результатов следует, что в области
низких частот (0 - 1200 Гц) ошибка классификации Ε (рис. 2.9, Б) не равна нулю,
однако, для случая использования НВП с IMORLET данная ошибка существенно
меньше по сравнению с DOG . Подобная эффективность достигается засчет
изменения частотного разрешения IMORLET при выборе значений параметров ω
и ρ , а также подстройки под него всех остальных характеристик на основе общего алгоритма адаптации для НВП, что является невыполнимым для более простых вейвлет-функций, таких как DOG (рис.2.9, В).
2.2.2 Многослойные нейронные сети
Теория многослойных нейронных сетей является одним из наиболее эффективных подходов для построения систем обработки данных (под данными понимаются одномерные или многомерные функции, которые можно представить в
виде набора векторов при определении констант дискретизации). В научной литературе [11] опубликовано большое количество результатов практического использования нейросетевых алгоритмов. В ряде задач нейросети показывают хорошие
результаты при использовании в качестве интерполяторов и экстраполяторов дан-
96
ных [106,107]. Отмечается, что при практическом применении нейросетевых алгоритмов можно добиться лучших результатов при внедрении в алгоритм вейвлет-функций (1.14)-(1.17). Опубликовано достаточно большое количество работ,
согласно которым краткосрочная экстраполяция может быть довольно точно реализована при использовании ВНС [106]. Примеры подобной практики могут быть
самые разные: от анализа и предсказания биологических экспериментов до анализа показателей экономики. При этом, как правило, используется многослойная
нейронная сеть, которая обучается «с учителем» (то есть имеется отдельный алгоритм настройки значений всех параметров сети (глава 1, п.4) на выделенном наборе входных и выходных значений сети). Ранее рассмотренный алгоритм МОРО
[12] в решении вопросов применения ВНС признан одним из самых эффективных
способов проведения адаптации сетей. МОРО применяется для разных способов
сетевых архитектур. В том числе нейронные сети, использующие вейвлет-функции, могут так же быть адаптированы на основе данного алгоритма [11]. Поэтому
как для ИНС, так и для ВНС имеется одна общая схема организации, согласно которой формальные нейроны объединяются в слои и включаются по принципу
(1.28). Такая многослойная сеть способна не только к аппроксимации вектора
входных значений в выходной, но и к решению задачи классификации входных
векторов по ряду признаков. Заметим, что решение задачи классификации имеет
ряд отличий по сравнению с решением задач аппроксимации. Прежде всего, отличия заключаются в том, что нейронная сеть при классификации должна более
детально выявлять основные закономерности во входных данных для корректной
классификации [21]. В то время как при аппроксимации или экстраполяции данных в первую очередь ставится вопрос о приближенном повторении или предсказании данных. В данной работе мы рассматриваем применение нейросетевых алгоритмов исключительно к решению задачи классификации коротких импульсных
сигналов типа G (2.1) при наличии сильных фоновых помех.
Задача классификации коротких импульсных сигналов может быть отнесена к ряду общих задач анализа сигналов [3]. Применение различных нейросетевых алгоритмов в проведении процедуры классификации импульсных сигналов
97
рассматривается в работах [21,78]. При этом предлагаются как различные способы использования стандартных алгоритмов нейронных сетей, так и всевозможные комбинированные подходы [97]. В ходе проведения численных экспериментов показана эффективность работы нейронных сетей даже при наличии сильных
фоновых помех. Основываясь на этих результатах, были построены алгоритмы
скрытой передачи информации [114]. Но несмотря на большой объем работы,
проделанной в данном направлении, можно определить еще несколько наиболее
приоритетных направлений исследований. В частности, слабо изучена проблема
адаптации искусственных нейронных сетей, использующих непрерывные вейвлет-функции. Проблемы построения процедур адаптации по принципам МОРО
могут также быть выделены в отдельное направление, так как при проведении
корректной процедуры настройки параметров нейронной сети можно получить
очень точные результаты при использовании только оптимально настроенного алгоритма. Возвращаясь к обозначенной проблеме классификации коротких импульсных сигналов, необходимо рассчитать то, насколько эффективно работает
техника ИНС в зависимости от ряда параметров, то, насколько может быть эффективным применение вейвлет-функций в составе алгоритмов нейронных сетей
к проблемам классификации импульсных сигналов с аддитивным наложением
сильных фоновых помех. Очевидно, что ответы на поставленные вопросы можно
получить из результатов исследования функционала ошибки метода в виде
(
r
Ε ∆x,Λ
)
r
в зависимости от значений ∆ x , Λ . Результаты таких исследований
представлены далее в главе 2.
Многослойные нейронные сети – это сети, в которых число нейронных слоев
может быть от двух и более. Изначально теория ИНС оперировала лишь с однослойными сетями [11]. Вскоре были показаны преимущества многослойных нейронных сетей, после чего большинство исследователей начали ориентироваться
на использование сетей с количеством нейронных слоев, превышающим два. При
этом распространена схема организации нейронных слоев ИНС без использования
дополнительных обратных связей. Такая схема была определена нами в главе 1 на
основе функционала (1.29). В главе 1 также рассмотрены примеры использования
98
алгоритма МОРО для построения процедуры адаптации двухслойных нейронных
сетей. К сожалению, в научной литературе не обсуждаются подробности процедуры расчета МОРО для нейронных сетей с количеством слоев более двух. Поэтому в рамках проведения численных экспериментов по изучению свойств многослойных нейронных сетей в задачах классификации импульсных сигналов мы
описываем теорию МОРО более подробно, для того чтобы попытаться определить
возможные способы улучшения данного алгоритма при использовании в ВНС.
Определим математически выражение для функционала Ν NN
j ( x ) трехслойной
r
нейронной сети в виде выражения (2.21)
 M3
r
r
r
 M2
 M1
r






Ν NN
=
=
−
−
−
(
x
)
y
F
w
F
w
F
w
x
θ
,
ϑ
θ
,
ϑ
θ
,
ϑ
j
j3
ij 3  ∑ ki 2  ∑ rk 1 r
k1
j3
 i2 
∑

 r =1

 k =1

 i =1

(2.21)
Параметры нейронной сети должны удовлетворять минимальным значениям
r
функционала E nm при подаче вектора x nm в качестве входных значений для синапсов нейронной сети, записанной в виде (2.21) (функционал ошибки E nm (1.30) был
подробно описан в главе 1, п.4).
En m =
( ( )
)
[
]
[
2
r
1 NK
y jK x nm − y mj , n ∈ 1, QSA , m ∈ 1, QCA
∑
2 j =1
]
Для того чтобы выполнить условие близости ошибки E nm минимальному значению ET (1.33), то есть к нулю, необходимо проводить процедуру градиентной минимизации [51,54], которая была записана на основе выражений (1.32). Для выполнения градиентной минимизации E nm требуется вычисление частных производных от функционала E nm по параметрам нейронов всех нейронных слоев
wijk , θ jk . Запишем выражения для соответствующих частных производных для
трехслойной нейронной сети в виде выражений (2.22)-(2.24). Рассмотрим подробнее (2.22) - (2.24). F - функция активации формального нейрона задается в виде
тангенса гиперболического с параметрами α , β [11]. Индексы n ∈ [1, QSA ] , m ∈ [1, QCA ]
r
указывают соответственно на количества векторов адаптации x nm и классов для
данных векторов. Значение M k определяет количество синаптических связей для
одного формального нейрона, который находится на k - нейронном слое, состоя-
99
щем из N k - количества нейронов (для выражений (2.22)-(2.24) k = 1,2,3 ). Значения
элементов матриц wijk , θ jk определяют синаптические коэффициенты, а также
пороговые коэффициенты соответственно для трехслойной ИНС (2.21), организованной по принципу (1.28). Для адаптации такой ИНС сети применяется алгоритм
МОРО (глава 1, п. 4). Рассмотрим, как можно применить первую часть МОРО в
предложенном нами АТК. Изначально пошагово опишем, как на основе наших
теоретических заключений адаптируется ИНС исходя из специфики решаемой задачи согласно МОРО.
( )
r
r
F x, ϑ = α th (β x ) , ϑ = {ϑ1 = α , ϑ 2 = β }
r nm
r nm
 ∂Enm
,
 ∂ w = yi 2 x δ j 3 x
ij 3

 ∂Enm
r
= − δ j 3 x nm ,

 ∂ θ j3

r
β
2 r
δ j 3 x nm = α 2 − y j 3 x nm
α

( ) ( )
( )
(
( )
 ∂Enm
r
= y k1 x nm δ l 2

 ∂wkl 2
 ∂E
r
nm
= − δ l 2 x nm

 ∂θ l 2

r
β2
δ l 2 x nm = 2 α 2 −
α

( )) (y (xr ) − y )
( ) (xr )
(
( )
)
(










3
δ xr nm = β α 2 − y 2 xr nm
s1
 s1
α3

( )
(
(2.22)
nm
nm
m
j
j3
.
,
(2.23)
,
( )) ∑ w (α
N3
2 r
yl 2 x nm
j =1
( )) (y (xr ) − y )
2 r
− y j 3 x nm
2
lj 3
r
∂Enm
= xrnmδ s1 x nm
∂wrs1
( )
r
∂Enm
= − δ s1 x nm
∂θ s1
( )
j =1
* α − y j3
(
(2.24)
m
j
j3
2
.
,
(y (xr ) − y )*
( )) ∑
m
j
,
N3
nm
nm
j3
2
( )) ∑ w
r
x nm
N2
l =1
(
( ))
2 r nm
2
lj 3 wsl 2 α − yl 2 x
.
Шаг 1. Необходимо сгенерировать тестовый сигнал s signal (t ) . В контексте данных
исследований в генерируемом сигнале должно присутствовать два класса импульсов QCA = 2 , на классификацию которых должна быть настроена ИНС (примеры пар таких импульсов показаны на рисунке 2.1). Для генерации импульсов
100
мы предлагаем использовать функцию G ( p m , t ) (2.1) с соответствующими вектоr
рами параметров p m , m ∈ { 1 , QCA = 2 }. Количество импульсов для каждого класса
r
QSA . Длительность каждого импульса в дискретном представлении равна периоду
QT ∆t . Общее количество генерируемых импульсов задается в виде QEA = QCA QSA .
Генерируется сигнал s noise (t ) цветного шума, его спектральные и энергетические
параметры
могут
быть
определены
в
виде
вектора
параметров
λ = { λ NSR , λ NBW , λ NCF }. (Способ для генерации такого цветного шума был подробно
r
описан в главе 1, п. 2, а способ задания спектральных характеристик определяется на основе (2.12).) Сигналы суммируются в соответствии с коэффициентом
χ = χ (λ NSR ) согласно выражению: s(t ) = ssignal (t ) + χ snoise (t ) . К сигналу s(t ) применя-
ется один из следующих алгоритмов: ИПИ, СПИ и АПИ, – для идентификации
импульсов и составления соответствующей матрицы s ji . Выбор между ИПИ,
СПИ и АПИ зависит от требований эксперимента (соответственно определяются
параметры: K ρ , QH , QR ). Матрица импульсов s ji , в которой j ∈ [1, QEA ], i ∈ [1, QT ] ,
[
]
[
]
QEA = QCA QSA приводится к виду матрицы ximn , в которой m ∈ 1, QCA , n ∈ 1, QSA . В
соответствии с набором векторов ximn обучающей выборки для ИНС необходимо
r
задать набор векторов y 3m в виде реализации случайных векторов, указывающих
на правильный отклик ИНС в ответ на входной вектор значений из множества
r
ximn . (Вектора y m выбираются таким образом, чтобы ИНС аппроксимировала про-
странство характеристик (глава 1, п. 4,5) и строила соответствующее множество
Ω .) Задать параметры конфигурации ИНС в виде M 1 = QT , N 1 , N 2 и N 3 = 2 , а
значения M 2 и M 3 вычислить согласно (1.28). Ввести количество повторений шагов адаптации в виде параметра Q A . Согласно полученным параметрам
конфигурации ИНС определяются значения матриц коэффициентов. Изначально
нужно определить матрицу синаптических коэффициентов первого нейронного
слоя wij1 . Для этого используется генератор белого шума ξ (i ) с нормальным или
равномерным законом распределения.
wij1 = ξ (i ) ∧ max{ ξ (i )} = c I max{ s ji } ∧ ξ (i ) = 0 ∧ c I = 0.1
По полученным синаптическим коэффициентам wij1 и из расчетов η j1 (x nm ) задаr
ются все параметры ИНС в виде (2.25)
η j1 (
)
M1
v nm
x = ∑ xinm wij1 , j ∈ [1, N 1 ]
i =1
(2.25)
101
α=
{
}
[
3
max K y mj K , j ∈ [1, N 3 ] , m ∈ 1, QCA
2
3
β = cI
, c I = 0.1
r
max {K η j1 x nm K}
h NN =
ET =
wijk = ξ (i ) ∧ max{ξ (i )} = c I
]
(
( )
3
5 * 10 4 β
{
})
1
N 3 3 * 10 −3 max K y mj K
2
2
3
∧ k = 2,3 , θ jk = 0 ∧ j ∈ [1, N k ] ∧ k = 1,2,3
α β Mk
Примечание: При заданных параметрах функции активации формальных
нейронов шаг градиентной оптимизации МОРО hNN устанавливается из условия:
1

3
hNN ∈  ,
.
4
 ∞ 5 *10 β 
Шаг 2. Проводится процедура адаптации ИНС на основе градиентного метода
(1.32) с соответствующим шагом hNN . В ходе данной процедуры на основе генератора случайных чисел выбирается некоторый вектор из xinm и ему соответствуюr
щий y 3m , производится коррекция коэффициентов ИНС согласно итеративному
градиентному алгоритму (1.32) и (2.21)-(2.24). Коррекция происходит до тех пор,
пока ошибка E nm много больше порогового значения ET . После настройки
случайным образом выбирается следующий вектор из xinm и ему соответствуюr
щий y 3m . Перебор векторов продолжается QEA - раз.
Примечание: Градиентный алгоритм (1.32) применяется без каких-либо изменений и введения дополнительных коэффициентов [11]. Используются
стандартные итеративные формулы коррекции wijk и θ jk , для которых применяются производные функции (2.22)-(2.24).
Шаг 3. Выполнять шаг 2 столько раз, сколько было определено количеством повторений Q A на шаге 1.
В качестве шагов 1-3 была переопределена и дополнена так называемая
первая часть МОРО (глава 1, п. 4) для ИНС. Все подробные дополнения и описания мы вводим, для того чтобы наиболее точно встроить описанный способ обучения ИНС в ранее предложенный метод построения функционала ошибки Ε на
102
основе АТК. Сделаем одно дополнительное замечание по поводу применения
адаптированного алгоритма ИНС в АТК.
Замечание по применению ИНС: Адаптированная ИНС применяется к решению задачи классификации импульсов сигнала S (t ) , представляемых в виде
матрицы S ji в ходе применения процедуры предварительной идентификации импульсов (рис. 2.3). Необходимо получить множество точек Ω в пространстве
характеристик на основе полученных значений координат выходных векторов
(глава 1, п. 5). Для этого надо использовать функционал (2.21) в виде Ν NN (S ji )
r
j ∈ [1, QE ] , i ∈ [1, QT ] .
Главным теоретическим результатом введения алгоритма из трех шагов для
первой части МОРО и замечания по применению ИНС, сделанного для второй
части МОРО, является то, что техника ИНС может быть интегрирована в АТК,
как это и ранее предполагалось. Таким образом, для реализации АТК совместно с
ИНС необходимо выполнить все шаги 1-7 для АТК с тем лишь исключением, что
вместо шага 5 необходимо использовать ранее сделанное замечание по применению ИНС. А вместо примечания к шагу 5 АТК применить методику вышеописанного алгоритма адаптации ИНС с реализацией шагов 1-3. Использование АТК
совместно с техникой ИНС позволит детально исследовать функционал Ε (2.11)
для адаптивных подходов на основе ИНС и характерные особенности применения
МОРО в составе АТК. Результаты применения ИНС в теле АТК приведены далее
в главе 2.
2.2.3 Применение вейвлет-функций в алгоритме нейронных
сетей. Алгоритм последовательных коррекций
Во многих работах, посвященных проблемам использования техники ИНС,
уделяется огромное внимание тому, что непрерывные вейвлет-функции могут
применяться в качестве функций активации одного из слоев ИНС (глава 1, п. 5).
При этом сохраняется использование параметров сдвига и масштаба, как это делается в теории непрерывного вейвлет-преобразования. С точки зрения теории,
103
использование вейвлет-функций в качестве функций активации представляет собой способ построения нелинейности в одном из нейронных слоев, причем параметры кривизны такой функции активации могут меняться согласно алгоритму
адаптации при изменении соответствующих параметров масштаба и сдвига. Другим наиболее распространенным способом (глава 1, п. 5) в организации совместного использования вейвлет-преобразования и техники искусственных нейронных
сетей является построение специальной предварительной процедуры анализа данных, которая бы могла раскладывать входной вектор нейронной сети в ряд, вычисляя соответствующие значения коэффициентов разложения, а нейросетевой
алгоритм уже обрабатывает коэффициенты данного ряда. Очевидно, что в контексте решаемой нами проблемы классификации коротких импульсных сигналов при
наличии сильных фоновых помех такой способ представления входного вектора
для ИНС является наиболее предпочтительным. Потому что входной вектор может быть довольно сильно искажен фоновыми шумами, и дополнительная процедура в виде вейвлет-фильтрации повышает эффективность всей процедуры обработки как на этапе адаптации нейронной сети (первая часть МОРО), так и при
анализе экспериментальных данных (вторая часть МОРО). В ряде научных публикаций [11,21], посвященных именно такому способу организации нейронных
сетей, использующих вейвлет-функции, наибольшее внимание уделяется применению дискретных вейвлет-функций [95]. Зачастую такая тенденция прослеживается в работах, связанных с анализом изображений, или в задачах, где скорость
вычисления является довольно существенным фактором. С другой стороны, дискретное вейвлет-преобразование – это один из наилучших способов спектрального анализа [9], который может сжимать анализируемые данные и представлять
их в более компактном виде. Такое сжатие позволяет существенно упростить
процедуру дальнейшего нейросетевого анализа. В задачах по классификации коротких импульсных сигналов проблема медленного расчета процедуры непрерывного вейвлет-преобразования не стоит столь остро, поэтому применение теории непрерывных вейвлетов может оказаться более предпочтительным [25]. Особенностью данной задачи является то, что анализируемые короткие импульсы
104
имеют сложную спектральную структуру Фурье-спектра, которая содержит в себе
компоненты (рис. 2.1), помогающие произвести процедуру классификации, но
при наличии сильных фоновых шумов такие компоненты могут теряться при появлении шумовых гармоник. Скорее всего, акцент нужно сделать на том, что в
рамках решения поставленной задачи очевидна необходимость более подробного
спектрального представление анализируемого импульса. Как известно, коэффициенты непрерывного вейвлет-преобразования являются в этом смысле более информативными по сравнению с их дискретными аналогами. Таким образом, наиболее рационально использовать дискретизованные функции непрерывного вейвлет-преобразования в первом нейронном слое вместо синаптических коэффициентов формального нейрона (один из подобных примеров был показан в п. 5
главы 1). Выражение для набора таких модифицированных формальных нейронов
k − слоя с вейвлет-функцией ψ мы предлагаем записать в виде (2.26) (похожие
модели были рассмотрены в работах [78,97]).
r
 Mk
∆t
y jk = F  ∑ y i k −1 ψ (ρ j (i − q j )) − θ jk , ϑ  , ρ j =
aj
 i =1

, qj =
bj
∆t
(2.26)
Стоит обратить внимание на тот факт, что нормирование вейвлет-функции в
(2.26) отсутствует, так как нормировка по ширине временного окна не дает особых преимуществ, если мы используем данную вейвлет-функцию для расчета синаптических коэффициентов. Применение классического коэффициента в виде
1
a j или модифицированного в виде
ρ j не имеет особого значения, так как в
функционале ВНС в других слоях, не содержащих вейвлет-функции, есть ряд параметров (например, весовые коэффициенты wijk ), которые могут выступать в
роли компенсаторов различных неточностей, возникающих при использовании
вейвлет-функций с разной шириной временного окна [9]. Наличие масштабной
нормировки приводит к тому, что существенно осложняется процедура расчета
производных для градиентного алгоритма оптимизации. Также для упрощения
всех процедур оптимизации введены специальные безразмерные параметры ρ j и
q j . Очевидно, что если мы сочли необходимым организовать первый слой
105
нейронной сети в виде (2.26), то остальные нейронные слои лучше представить в
виде стандартных способов составления нейронных сетей и организовать их на
основе выражения (1.27), описанного в главе 1. Функционал для предлагаемой
трехслойной ВНС может быть записан в виде выражения (2.16).
r
r
r
 M3
 M2
 M1
r






ΝWN
(
x
)
=
y
=
F
w
F
w
F
x
ψ
(
ρ
(
r
−
q
)
)
−
θ
,
ϑ
−
θ
,
ϑ
−
θ
,
ϑ
j
j3
ij 3  ∑ ki 2  ∑ r
k
k
k1
j3
 i2 
∑

 r =1

 k =1

 i =1

r
r
F x, ϑ = α th (β x ) , ϑ = {ϑ1 = α , ϑ2 = β }
(2.27)
( )
Для того чтобы построить общую процедуру адаптации ВНС в виде ранее
описанной первой части МОРО, используется градиентный подход с функционалом E nm (1.30) на множестве векторов x nm и y m , n ∈ [1, QSA ] , m ∈ [1, QCA ], содержащих
r
r
соответствующие входные и выходные значения для ВНС. Очевидно, что при
проведении процедуры градиентной оптимизации необходимо наличие всех частных производных по всем параметрам сети. Для оптимизации слоев 2 и 3 можно
использовать производные, записанные в виде (2.22) и (2.23) в силу идентичности
r
r
соответствующих частей функционалов Ν NN (2.21) и Ν WN (2.27). Для оптимизации
первого нейронного слоя, в котором используется вейвлет-функция ψ , а также
θ k1 ,
определены пороговые коэффициенты
мы предлагаем рассчитывать
соответствующие частные производные на основе системы тождеств (2.28).












3
δ s1 xr nm = β

α3



( )
r
∂Enm
= δ s1 x nm
∂ρ s
( )∑ x
∂Enm
r
= δ s1 x nm
∂q s
M1
r =1
( )∑ x
M1
r =1
nm
r
∂ψ (ρ s (r − q s ))
,
∂ ρs
∂ψ (ρ s (r − q s ))
,
∂ qs
r
= − δ s1 x nm ,
nm
r
∂E nm
∂θ s1
( )
2
− y s1
2
(2.28)
(y (xr ) − y )*
(xr )) ∑
r
* (α − y (x )) ∑ w
nm
(α
s ∈ [1 , N1 ]
nm
N3
j =1
m
j
j3
2
2
j3
nm
N2
l =1
(
( ))
2 r nm
2
lj 3 wsl 2 α − yl 2 x
.
Градиентный метод (1.32), как известно, имеет жесткую привязку к начальным значениям [46-54]. Чем ближе эти значения к некоторому оптимальному
уровню, тем эффективнее работает алгоритм. В рамках проведенных численных
106
экспериментов мы пришли к выводу, что параметры ρ j и q j используемой вейвлет-функции ψ (2.26) лучше подвергнуть предварительной оптимизации до запуска общей процедуры адаптации ВНС, которая строится на основе МОРО.
Это позволяет увеличить сходимость метода адаптации в рамках проведения первой части МОРО, а также существенно улучшить результаты классификации при
соответствующем уменьшении ошибки классификации. Нейронные сети, использующие вейвлет-функции (ВНС), с точки зрения теоретических предположений,
должны показывать результат лучше по сравнению с обычными нейронными сетями. Но зачастую на практике увидеть эти различия при решении задачи классификации довольно сложно. К примеру, в одной из работ [115], посвященной данной тематике, авторам пришлось решать совершенно абстрактную задачу по классификации импульсов только для того, чтобы показать те самые практически реализуемые ситуации, в которых теория подкрепляется результатами численного
эксперимента. Такие сложности связаны исключительно с тем, что существует
проблема поиска оптимального решения [46-54] для задачи оптимизации. Существует много методов для решения задач оптимизации [54], но в алгоритме МОРО
применяется метод градиентной оптимизации (1.32). Такой алгоритм достаточно
эффективен при использовании для систем, функционал ошибки которых является дифференцируемой функцией, и начальные значения при оптимальном поиске выбираются достаточно близко по отношению к точке оптимума. Но если
выбор начальных значений для запуска итераций градиентного метода осуществляется случайным образом на основе некоторых эмпирических предположений –
«умозрительно», то очевидно, что в большинстве реализаций результаты
градиентной оптимизации будут далеки от желаемых. Как показывает эксперимент, компенсировать данные недостатки эмпирических подходов можно лишь
введением дополнительных переборов начальных значений, а по результатам оптимизации отсеивать и выбирать самые подходящие результаты. Подобный подход [115] в решении задачи оптимизации для нейронных сетей, использующих
вейвлет-функции, может быть эффективен в ряде случаев, но в силу используемой
эмпирики не столь продуктивен по сравнению с алгоритмами, имеющими более
107
строгое математическое обоснование при выборе оптимальных значений. Согласно работам [106,107] при использовании нейронных сетей с вейвлет-функциями наилучшим способом градиентной процедуры является «пакетный» способ
с использованием функционала (1.31). Действительно, преимущества использования такого функционала в градиентной оптимизации по сравнению с функционалом E nm (1.30) состоят в том, что критичность выбора начальных значений не
стоит столь остро. Потому что, когда градиентный подход применяется для коррекции параметров нейронной сети по результатам распознавания одного едиr
ничного вектора из x nm , то естественно, что значения параметров всей сети подстраиваются на распознавание данного вектора n определенного класса m ; в ходе
случайной последовательности таких распознаваний между векторами разных
классов параметры сети постоянно меняются с одного значения на другое, пока в
этом поиске не выявятся некоторые оптимальные значения, при которых градиент
функционала ошибки не станет нулем. Такие «мгновенные» подстройки действительно позволяют ускорить процесс адаптации ИНС, что подтверждается как результатами наших собственных исследований [115], так и результатами работ
[11]. Тем не менее, при ускорении могут возникать неоднозначности, и алгоритм
градиентной оптимизации может терять направление в пространстве значений параметров или вовсе становиться неустойчивым. Особенно затруднительно градиентный метод может работать при решении довольно сложных задач с большими
размерами множества векторов на этапе адаптации с нейронными сетями, использующими вейвлет-функции. Уход от появления неоднозначностей и с замедлением алгоритма – это применение пачечного метода (1.31) в оптимизации ИНС.
Подобная тенденция очевидна, если проанализировать результаты работ [106].
Мы не предлагаем использование пачечного алгоритма как некоторой альтернативы, скорее это хороший «запасной план». В рамках проведенных исследований
мы разработали метод, позволяющий частично сохранить темп адаптации нейронных сетей при использовании процедуры градиентной коррекции с функционалом E nm и добавить дополнительной устойчивости процедуре адаптации.
108
Мы предлагаем модифицированный способ адаптации ИНС, использующей
непрерывные вейвлет-функции в первом нейронном слое в виде дискретизованных синаптических коэффициентов [11] согласно тому, как это введено в выражении (2.27). По своей структуре предлагаемый алгоритм состоит из нескольких последовательных частей: на первой части происходит поиск и коррекция параметров вейвлет-функции первого нейронного слоя (применяется рассмотренный ранее алгоритм адаптации НВП); на второй части происходит общая коррекция
всех параметров и коэффициентов ВНС, причем шаг коррекции ранее оптимизированных параметров вейвлет-функции существенно меньше шага корректировки
коэффициентов ВНС. Разработанный алгоритм последовательно корректирует
сначала параметры вейвлет-функции, а затем подбирает под них значения коэффициентов ВНС, при этом возможна корректировка с меньшим шагом ранее оптимизированных параметров вейвлет-функции. Данный алгоритм последовательных коррекций (АПК) применяется для настройки ВНС. Рассмотрим АПК
подробнее.
Шаг 1. Определить количество нейронов первого слоя в виде N 1 . Тестовый сигнал s(t ) построить согласно алгоритму адаптации НВП (2.16). По результатам
адаптации вычислить необходимые значения параметров в виде массивов { ρ s , qs }
для вейвлетов (1.14)-(1.16) или
{ ρ x , qs , ω s } - (2.20) при
s ∈ [1, N 1 ] . Из адаптации
НВП определяется матрица ximn , в которой m ∈ [1, QCA ] , n ∈ [1, QSA ] , i ∈ [1, QT ] , в соотr
ветствии которой необходимо задать набор векторов y 3m в виде реализации случайных векторов, указывающих на правильный отклик ВНС в ответ на входной
вектор значений из множества ximn . Задать параметры конфигурации ВНС в виде
M 1 = QT , N 2 и N 3 = 2 , а значения M 2 и M 3 вычислить согласно (1.28). Ввести
количество повторений шагов адаптации в виде параметра Q A . Согласно полученным параметрам конфигурации ВНС определяются значения матриц коэффициентов первого нейронного слоя wrs1 , r ∈ [1 , M 1 ] на основе дискретизованных
значений используемой вейвлет-функций соответственно по (1.14)-(1.16) или
(2.20) в виде следующих выражений:
wrs1 = ψ (ρ s (r − q s )) ,
wrs1 = ψ (ρ s (r − q s ), ω s )
109
По полученным синаптическим коэффициентам wrs1 и из расчетов η j1 (x nm ) задаr
ются все параметры ВНС при помощи выражений (2.25) (см. алгоритм адаптации ИНС).
Примечание: При заданных параметрах функции активации формальных
нейронов шаг градиентной оптимизации МОРО hNN устанавливается исходя
из условия для корректировки стандартных параметров ВНС в виде весовых
коэффициентов и порогов:
1

3
hNN ∈  ,
.
4
 ∞ 5 *10 β 
Шаг градиентной оптимизации для параметров вейвлет-функции определяется в виде hWN :
hWN = hNN 1500 .
Шаг 2. Проводится процедура адаптации ВНС на основе градиентного метода
(1.32) с соответствующими шагами hNN , hWN . В ходе данной процедуры на основе
r
генератора случайных чисел выбирается некоторый вектор из x nm и ему
r
соответствующий y 3m , производится коррекция коэффициентов ВНС и параметров согласно итеративному градиентному алгоритму (1.32). Коррекция происходит до тех пор, пока ошибка E nm много больше порогового значения ET . После
r
настройки случайным образом выбирается следующий вектор из x nm и соответстr
вующий y 3m . Перебор векторов повторяется QEA - раз.
Примечание: Градиентный алгоритм (1.32) применяется без каких-либо изменений и введения дополнительных коэффициентов [11]. Используются
стандартные итеративные формулы коррекции wijk и θ jk , для которых применяются производные функции (2.22),(2.23),(2.28). Вся процедура коррекции
r
r
ВНС для одной пары векторов x nm и y 3m может быть записана в виде следующих l − итераций:
ρs
(l +1)
= ρs
(l )
∂E
− hWN nm
∂ρ s
(l )
, qs
(l +1)
θ s1
wijd
(l +1)
= wijd
(l )
(l +1)
= qs
(l )
= θ s1
∂E
− hNN mn
∂wijd
∂E
− hWN nm
∂q s
(l )
(l )
, wrs1
∂E
− hNN nm
∂θ s1
(l )
, θ jd
(l +1)
(l +1)
(
= ψ ρs
(l )
= θ jd
(l )
∂E
− hNN mn
∂θ jd
(l )
(l +1)
(r − q ( ) ))
l +1
s
110
r ∈ [1, M 1 ] , s ∈ [1, N1 ] , i ∈ [1, M d ] , j ∈ [1, N d ] , d = 2,3
Шаг 3. Выполнять шаг 2 столько раз, сколько было определено количеством повторений Q A на шаге 1.
В виде шагов 1-3 АПК, а также соответствующих примечаний изложены
основные элементы стадии коррекции ВНС, которая используется в первой части
МОРО. АПК позволяет использовать ВНС в АТК и рассчитывать функционалы
ошибки Ε = Ε(∆ x , Λ ) (2.11) при решении задачи классификации зашумленных имr
пульсов типа (2.1). Для этого необходимо применить АПК вместо примечания к
шагу 5 в АТК.
Основной целью проводимых теоретических выкладок и нововведений в параграфе является необходимость более подробного исследования применения
ИНС и ВНС в рамках АТК. Результаты позволят выявить ряд характерных особенностей в применении сетевых адаптивных алгоритмов в решении задачи классификации коротких зашумленных импульсов (2.1) (рис. 2.1).
2.3 Результаты анализа тестовых данных на основе
нейросетевых алгоритмов
Как и для случая исследований свойств АГК и НВП, были проведены численные эксперименты с АТК для адаптивных алгоритмов анализа и классификации импульсов. Цель проводимых экспериментов – показать, насколько эффективно могут применяться алгоритмы адаптивного анализа по сравнению с автоматическими методами, на основе расчетов функционала ошибки Ε . В качестве
адаптивных алгоритмов классификации импульсов предполагалось использовать
ИНС и ВНС. Для более точного определения ВНС были предварительно проведены исследования применения адаптивного НВП (см. глава 2, п. 2). По результатам определен наиболее подходящий вейвлет-базис для ВНС, что позволяет уточнить АПК и применять функции типа IMORLET (2.20).
По плану проведения численных экспериментов использование адаптивных
алгоритмов с сетевой структурой является наиболее приоритетной задачей. Сете-
111
вые алгоритмы в ряде случаев при корректном проведении процедуры адаптации
являются едва ли не самыми точными способами анализа зашумленных фрагментов сигналов. В качестве таких сетевых алгоритмов мы рассмотрели применения
ИНС и ВНС согласно ранее предложенным методам их адаптации в рамках первой части МОРО. В данной работе мы определили следующие эксперименты по
применению ИНС и ВНС в рамках АТК.
Первый эксперимент. Найти наиболее подходящий способ настройки паr
раметров на этапе процедуры адаптации ИНС и ВНС в виде вектора λ , а также
попытаться определить существование для подобных методов какой-либо универсальной настройки, которая имела бы широкое применение.
Второй эксперимент. Определить, насколько сильно влияет способ предварительной идентификации зашумленных импульсов на величину ошибку применяемого сетевого метода. (К примеру, можно ли на этапе адаптации в рамках
АТК использовать ИПИ, а в рамках экспериментальных итераций АТК применять
какой-либо другой метод предварительной идентификации, например, СПИ или
АПИ).
Третий эксперимент. Провести сравнительный анализ точности алгоритмов на основе АГК, адаптивного НВП, ИНС и ВНС на решении задачи классификации пары импульсов, имеющей малое значение параметра ∆ x , при наличии
мощных фоновых цветных шумов.
В рамках трех экспериментов определены некоторые общие значения
управляющих параметров для ИНС и ВНС в виде выражений (2.29). При этом
часть значений параметров реализации схемы АТК была заимствована из условий
(2.15) .
 M 1 = QT , N1 ∈ [15 , 30] , N 2 ∈ [60 , 200], N 3 = 2
 A
A
QS ∈ [ 150 , 3000 ] , QC = 2 , Q A ∈ [ 2000 , 10000 ]
λr = λ NSR ∈ [ 0 , 1 ], λ NBW , λ NCF

{
}
(2.29)
Таким образом, все управляющие параметры проводимых численных расчетов по
АТК определяются на основании условий (2.15) и (2.29) и расчетных формул, определенных в рамках первой части МОРО (см. глава 2, п.2).
112
Рисунок 2.10 – построение результатов первого эксперимента ИНС и ВНС в АТК. А –
расчет Ε для ИНС - на этапе адаптации применялся белый шум. Б – расчет Ε для ВНС,
на этапе адаптации использовался белый шум. В – расчет Ε I по результатам А и Б. Г-,Д,Е-,Ж-,З-,И- расчеты Ε для ИНС при использовании цветного шума с разной шириной
спектра λ NBW
на этапе адаптации. К-,Л-,М-,Н-,О-,П- расчеты Ε для ВНС при
использовании цветного шума с разной шириной спектра на этапе адаптации λ NBW .
113
Рассмотрим результаты первого эксперимента. В качестве первого шага
проверяется гипотеза о том, что для универсализации процедуры адаптации и получения сетевого алгоритма, который способен эффективно решать задачу классификации фрагментов сигналов при наличии как широкополосных, так и узкополосных аддитивных цветных шумов, необходимо использовать на этапе адаптации шумовой сигнал s noise , спектр которого является сплошным (то есть модель белого шума, λ NCF = 1 4∆t , λ NBW = 1 2∆t ). По АТК при адаптации и анализе применялась
ИПИ. При этом один раз адаптировалась ИНС и ВНС с сигналом белого шума,
после чего запускалась итеративная процедура построения Ε с заданными
r
параметрами ∆ x = 0,421 и Λ ( ΛNBW = 500 Гц) согласно (2.15) и (2.29). Результаты
показаны на рисунке 2.10 в соответствующих частях А-В. Согласно данным результатам определено, что использование белого шума для проведения адаптации
ИНС и ВНС не дает возможности построения абсолютно универсального сетевого
алгоритма, так как в области низких частот функционал ошибки Ε имеет максимальное значение. Хотя согласно рисунку 2.10, В ВНС (для настройки использован функционал адаптации по АПК RI (2.18) с вейвлет-функцией IMORLET (2.20))
показала результат, превосходящий значения Ε для ИНС, все же результат ВНС
не может считаться самым оптимальным по причине наличия максимумов функционала Ε в диапазоне низких частот.
Очевидно, что если численный эксперимент с белым шумом не показал желаемого результата, то нужно проводить расчеты при использовании цветного
шума. Сетевые алгоритмы по-прежнему следует адаптировать однократно, исr
пользуя параметры вектора λ по АТК. Параметр ширины спектра цветного шума
для экспериментов с ИНС и ВНС выбран по выражениям (2.15): λ NBW = {800,
1100,1400,1700,2000,2300}, λ NCF = λ NBW / 2 , λ NSR ∈ [0.1 , 0.3] и (2.29). Результаты
экспериментов с такой адаптацией ИНС и ВНС ( RI с IMORLET по АПК) приведены на рисунке 2.10 в соответствующих секциях Г-П. Выявлена интересная закономерность в использовании сетевых алгоритмов при такой адаптации. Рассмотрим на примере ИНС (рис. 2.10 Г-И). По рисунку 2.10, Г определяется, что
114
при значении параметра λ NBW = 800 Гц функционал ошибки Ε не имеет никаких
максимумов в спектральной области от 0 до 700 Гц, то есть продемонстрирована
«идеальная классификация», точность которой очень слабо зависит от энергии
фоновых шумов, пропорциональной ΛNSR . Если значение ширины спектра цветного шума для адаптации λ NBW увеличивается, то соответственно область идеальной классификации так же расширяется пропорционально расширению частотного
диапазона цветного шума, определяемого λ NBW (рис.2.10 Д-Ж). Однако, как видно
из рисунка 2.10, З, при λ NBW = 2000 Гц в области низких частот функционал Ε
начинает достигать локальных экстремумов, и при значении λ NBW = 2300Гц
(рис.2.10, И) низкочастотные экстремумы становятся абсолютными максимумами.
В этом случае совершенно очевидно, что если продолжать расширять λ NBW до
значений частоты Найквиста, то получатся вновь результаты, показанные на рисунке 2.10 А, Б. Примечательно, что для ВНС соблюдается та же закономерность
(рис. 2.10, К-П). Отметим: функционал Ε для ВНС имеет характерный
«колоколообразный» вид, и область идеальной классификации находится в диапазонах низких и высоких частот – а это говорит, прежде всего, о том, что обработка
зашумленных фрагментов сигнала в нейронных слоях, использующих вейвлетфункции, может быть более эффективной по сравнению с результатами работы
нейронных слоев, которые устроены по стандартной модели Мак-Каллока-Питтса
[11] (1.27). Самый главный из полученных результатов для ИНС и ВНС (рис. 2.10)
состоит в том, что экспериментально показано равенство функционала ошибки Ε
нулю при классификации импульсов (2.1), искаженных на основе низкочастотных фоновых шумов 0 - 1300 Гц. Это важно, потому что из расчетов известно, что
именно в спектральной области от 0 до 1000 Гц умещаются все основные гармоники солитоноподобных импульсов типа G ( p, t ) (рис. 2.1). Наличие аддитивного
r
цветного шума со спектром из диапазона 0 - 1300 Гц существенно затрудняет обработку импульсов при их классификации. Тем не менее, как показал эксперимент, существуют сетевые алгоритмы, которые способны эффективно работать
при таких спектральных параметрах фоновых помех. Одним из объяснений этому
может служить тот факт, что вектор параметров сигнала s(t ) на этапе настройки в
115
r
r
виде λ пропорционален вектору параметров Λ сигнала S (t ) . Запишем такую пропорциональность в виде (2.30).
 k11NSR

 0
 0

0
k
NBW
22
0
0 

0 
k 33NCF 
 λ NSR
 NBW
λ
 λ NCF


 ΛNSR


 =  ΛNBW

 ΛNCF







(2.30)
Выполнение условий (2.30) k ii = 1 , i = 1, 2, 3 является тривиальным случаем с точки
зрения теории ИНС и ВНС. Другими словами, если параметры сигнала адаптации
s (t ) совпадаю с параметрами сигнала анализа S (t ) , то получается, что при
устойчивой адаптации ошибка классификации (2.11) должна стремиться к нулю
[11,12,59,60]. Из анализа результатов первого эксперимента удалось показать, что
сетевые алгоритмы могут демонстрировать «идеальную классификацию» при следующих значениях коэффициентов для (2.30):
k11NSR ∈ [0.5 , 2.0] , ΛNSR < 0.7
k 22NBW ∈ [0.7 ,1.1] , ΛNBW < 1200 , ΛNCF = ΛNBW 2
k 33NCF ∈ [0.9 , 1.1]
что не является тривиальным и может иметь применение при решении ряда других задач по классификации центрированных коротких зашумленных импульсных
сигналов в виде матрицы S ji (АТК) на основе ИНС и ВНС.
Рассмотрим результаты второго эксперимента (рис.2.8). В качестве сетевых алгоритмов классификации использовались ИНС и ВНС (функционал R D ,
IMORLET по АПК). Алгоритмы адаптированы один раз в рамках АТК с цветным
шумом,
спектр
которого
определен
согласно
λ NBW = 1700 Гц, λ NCF = 850 Гц
(2.15),(2.29). Ширина спектра цветного шума на этапе итераций АТК
ΛNBW = 500 Гц,
соотношение «шум-сигнал» ΛNSR
∈ {ΛNSR
n / 10}. В эксперименте
n
n
используются импульсы с величиной ∆ x = 0,354 (рис. 2.1). Согласно плану второго эксперимента адаптация как ИНС, так и ВНС может производиться с применением процедуры предварительной идентификации импульсов, тип которой (будем обозначать его в скобках) отличен от типа, используемого на итеративном
этапе анализа АТК (обозначим такой тип без скобок, рисунок 2.11).
116
Рисунок 2.11 – графические результаты построения второго эксперимента. А-, Б-, В-,
Г-, Д – использование ИНС и ВНС по АТК, в котором используются совершенно разные
типы предварительной идентификации зашумленных импульсов ( ∆NSR
= n / 10 ) на этапе
n
анализа (тип указан без скобок) и на этапе адаптации (тип указан в скобках). Также для
каждого из экспериментов проведен расчет Ε I .
117
Рисунок 2.12 – графические результаты построения третьего эксперимента. Расчет Ε
для решения задачи классификации импульсов при малом значении параметра ∆ x . По
АТК использовались алгоритмы АГК, адаптивный НВП, ИНС и ВНС, для случая применения каждого рассматривались процедуры предварительной идентификации импульсов типа ИПИ, СПИ и АПИ.
118
Исследуя ИПИ, СПИ и АПИ, составляются 9 возможных комбинаций экспериментальных схем. На рисунке 2.11 показаны результаты 5 наиболее важных сочетаний как разных, так и одинаковых способов предварительной идентификации
импульсов. Из представленных результатов для ИНС и ВНС (рис. 2.11, А-Д) следует, что как только типы методов предварительной идентификации, используемые на этапе адаптации и на этапе анализа, не совпадают (рис. 2.8, Б,В), наблюдается то, что принято называть неустойчивостью сетевых алгоритмов [11], при которой функционал Ε приобретает глобальные максимумы, близкие к 100%. С
другой стороны, при наличии сильных фоновых помех и совпадении типов методов предварительной идентификации (рис. 2.11, А, Г, Д) по виду Ε можно наблюдать впуклую форму кривых, которые подобны огибающей спектра цветного
шума, применяемого в АТК (2.12), только в перевернутом виде. По результатам
(рис. 2.11, А, Г, Д) можно заключить, что устойчивость сетевых алгоритмов
r
(ИНС, ВНС) достигается засчет идентичности методов определения матриц x nm и
S jk на стадиях адаптации и анализа по АТК соответственно, а также при
r
r
пропорциональности или равенстве соответствующих векторов Λ и λ на подобие
(2.30).
Рассмотрим результаты третьего эксперимента. В данном эксперименте
используются импульсы с малым значением ∆ x = 0,024 (рис. 2.1). При этом применяется широкополосный фоновый цветной шум. В рамках АТК использованы
следующие алгоритмы: АГК, НВП ( R D , IMORLET ), ИНС, ВНС ( RI , IMORLET ).
Схема предварительной идентификации основана на методах: АПИ, ИПИ и СПИ
(для АПИ использована вейвлет-функция MHAT ). Настройка адаптивного НВП
осуществлялась каждый раз при очередной итерации АТК, настройка ИНС и ВНС
r
r
проведена один раз (2.15),(2.29). Значения компонент векторов Λ и λ пропорциональны согласно k ij (2.30).
По результатам расчетов, при ΛNSR ∈ [0.05 , 0.1] определено, что адаптивные
сетевые алгоритмы могут быть существенно эффективнее алгоритмов на основе АГК и адаптивного НВП. При этом в предыдущих численных экспериментах
119
показано, что при применении импульсов с большей величиной параметра ∆ x может достигаться режим идеальной классификации, при котором величина Ε слабо
зависит от параметра ΛNSR и стремится к нулю, в то время как ошибка методов автоматического анализа (АГК) составляет порядка 45-60 %. Одно из применений
данного эффекта в решении задач анализа сигналов обсуждается в главе 3.
Основные выводы к главе 2
1. Предложен аналитический вид функции солитоноподобного импульса типа
r
G ( p, t ) , а также алгоритм вычисления его вектора параметров
r
p
при
использовании G ( p, t ) в задачах анализа импульсов нейронных клеток.
r
2. Для численной симуляции задачи распознавания двух классов импульсов типа
r
G ( p, t ) при наличии аддитивных фоновых помех разработан АТК. В этом алго-
ритме применены функции и функционалы (2.1), (2.2), (2.11)- (2.14). Характерной особенностью АТК от ранее вводимых подобных алгоритмов [20-25] является то, что в теле данного алгоритма могут использоваться как адаптивные,
так и автоматические методы классификации зашумленных фрагментов сигнала типа G ( p, t ) , при этом результат АТК представляется в виде функционалов
r
ошибки (2.11), (2.13) и (2.14). Функционалы ошибки АТК позволяют проводить более детальный анализ характеристик методов, использованных в теле
АТК.
3. На основании полученных результатов АТК для АГК определено, что
функционал ошибки Ε данного метода имеет явную зависимость от величины
соотношения «шум-сигнал» ΛNSR , ширины спектра цветного шума ΛNBW ,
центральной частоты цветного шума ΛNCF , а также от значения функции ∆ x ,
характеризующего степень идентичности классифицируемых импульсов. Величина ошибки Ε может скачкообразно изменяться при варьировании ∆ x и
ΛNBW .
120
4. Согласно АТК показано, что ошибка предварительной идентификации импульсов ∆ C может существенно влиять на точность проводимых процедур классификации. Данный эффект проявляется в разной степени как для методов
адаптивного анализа (например, НВП), так и для методов автоматического анализа (например, АГК).
5. Для снижения ошибки идентификации ∆ C (2.8) коротких импульсов типа (2.1)
из непрерывного сигнала S (t ) разработан и применен адаптивный способ пороговой идентификации (АПИ). В его теле могут применяться как оконные
функции на подобие функции Гаусса, так и различные типы непрерывных
вейвлет-функций (1.14)-(1.17). Применение АПИ для АГК в АТК приводит к
снижению значений функционала ошибки Ε (2.11) в существенно большей
степени по сравнению с использованием аналогичных стандартных подходов
на основе ИПИ и АГК.
6. Разработана и применена новая версия адаптивного НВП для решения задачи
классификации и идентификации зашумленных форм импульсов на основе
функционалов R D и RI с использованием принципов стохастической оптимизации. Предложенный способ анализа показал свою эффективность как в рамках
обычного адаптивного НВП, так и в составе алгоритма адаптации ВНС.
7. По результатам исследований адаптивного НВП в составе АТК определено,
что наилучшей непрерывной вейвлет-функцией для решения задачи классификации зашумленных форм импульсов является функция Морле, мнимая часть
которой была использована в качестве вейвлета IMORLET . Возможность выбора между оптимальным временным и частотным разрешениями позволяет
эффективно вычислять вейвлет-коэффициенты, максимально снижая величину
шумовой составляющей, что также было показано из результатов численных
экспериментов.
8. По результатам исследований адаптивного НВП в составе АТК определено,
что вейвлет-функции, построенные по принципу дифференцирования функции
Гаусса, обладают меньшей эффективностью по сравнению с вейвлет-функцией
121
Морле. По эффективности в решении задачи классификации зашумленных импульсов можно выделить только вейвлет DOG .
9. По результатам исследований адаптивного НВП в составе АТК обнаружено,
что эффективность вейвлетной классификации существенно зависит от ширины спектра фоновых помех, присутствующих в анализируемом сигнале. Так
при увеличении ΛNBW наблюдается рост ошибки адаптивного НВП, что является полной противоположностью случаю использования АГК, для которого
рост ΛNBW способствует снижению интегральной ошибки Ε I .
10.По результатам исследований адаптивного НВП в составе АТК можно заключить, что методы на основе адаптивного НВП могут существенно превосходить свои аналоги, в которых использован АГК. Особенно это преимущество
заметно при классификации импульсов с малой величиной параметра ∆ x .
11.Проработана и оптимизирована часть МОРО для использования сетевых алгоритмов в АТК. Предложен АПК, который позволяет наиболее эффективно
применить непрерывные вейвлет-функции в нейросетевой конструкции, которая адаптируется согласно МОРО.
12.Из результатов исследований ИНС и ВНС в составе АТК показано, что при
решении задачи классификации зашумленных импульсов не существует универсальной настройки, которая бы позволила классифицировать импульсы при
наличии фоновых аддитивных шумов, имеющих разные спектральные параметры ΛNCF и ΛNBW .
13.Из результатов численных экспериментов (АТК) обнаружено, что при
использовании сетевых алгоритмов классификации (ИНС и ВНС) зашумленных фрагментов сигналов существуют области так называемой «идеальной
классификации», в которых ошибка метода практически не зависит от энергии
фоновых шумов. Такие области нетрудно заметить и в результатах адаптивного НВП. Однако важно понимать, что ИНС и ВНС демонстрируют подобные
эффекты в области низких частот (в которой локализованы практически все
основные спектральные компоненты анализируемых импульсов) при наличии
низкочастотного цветного шума.
122
r
14.Рассмотрена проблема выбора параметров в виде вектора λ для процедуры
адаптации ИНС и ВНС согласно АТК. На основе результатов расчетов показано, что для эффективной работы адаптивных алгоритмов необходимо, чтобы
r
метод определения матрицы x nm (на этапе адаптации согласно первой части
МОРО) полностью был аналогичным для метода определения матрицы S jk (на
r
r
этапе анализа), а соответствующие параметры настройки λ и Λ были эквивалентны или пропорциональны (2.30). В этом случае алгоритмы на основе ИНС
и ВНС при переходе от стадии адаптации к стадии анализа демонстрируют
наилучший результат согласно их функционалам ошибки в виде Ε .
123
Глава 3
Результаты экспериментальных исследований применения
адаптивных методов в анализе сигналов
3.1 Идентификация осцилляторных паттернов на
электроэнцефалограмме
Одним из современных направлений в нейрофизиологии является изучение
данных электроэнцефалограмм (ЭЭГ), поиск всевозможных артефактов, которые
бы позволили продвинуться в понимании причин появления различных патологий
функций мозга [75], а также в построении интерфейсов «мозг-машина» [69] (этот
вопрос уже частично рассматривался в главе 1). К числу упомянутых проблем относится анализ сигналов ЭЭГ при изучении такой патологии, как абсанс-эпилепсия [82]. Как отмечается в работе [75], данное заболевание влияет на деятельность
всей нервной системы, что отражается на функциях памяти и на координации
движений конечностей [83]. Одной из причин подобных нарушений является изменение в динамике функционирования отделов мозга [86], в результате чего на
ЭЭГ можно заметить особый тип паттернов, который мы ранее обозначили как
«SWD» -паттерны (рис. 3.1, А). Согласно одному из утверждений, данный сигнал
[86] является производным типом от генерируемых «сонных веретен» («SS» -паттерны) во время сна. Для более глубокого изучения длительных многочасовых записей электроэнцефалограмм необходимо наличие алгоритмов, которые бы могли
решать задачу идентификации фрагментов сигналов. Для идентификации паттернов типа «SS» и «SWD» в работах [75] было рассмотрено несколько способов анализа. Один из таких способов мы детально рассмотрели в качестве примера в главе 1. Стоит отметить, что большинство методов, которые в ходе исследований
строятся на основе непрерывного вейвлет-анализа (глава 1, п. 3), обладают одним
124
недостатком, а именно, в них не встраивается механизм автоматической настройки параметров алгоритма, поэтому зачастую данную функцию подразумевается выполнять на основе эмпирического подбора. Не всегда при этом можно получить результат с высокой точностью. Так в работе [75] авторы приводят пример, из которого следует, что попытка использования непрерывного вейвлет-преобразования для идентификации паттернов типа «SS» им явно не удалась, а с
идентификацией паттернов типа «SWD» искомый результат был достигнут. Очевидно, что такие алгоритмы на основе непрерывного вейвлет-преобразования
требуют усовершенствований, которые бы позволили автоматизировать процесс
настройки, что, бесспорно, может дать более точные результаты анализа экспериментальных сигналов. Из результатов численных экспериментов по использованию адаптивного НВП в АТК (глава 2, п. 2) нетрудно заметить, что возможности
процедуры анализа импульсных сигналов на основе адаптивного НВП достаточно
велики. Поэтому рассмотренные ранее подходы могут быть приобщены к решению задачи идентификации паттернов на ЭЭГ. В качестве основной цели таких
исследований мы видим решение следующих задач.
1. Устранение ранее описанных недостатков стандартных методов анализа
ЭЭГ, рассмотренных в главе 1, засчет введения дополнительных способов
определения управляющих параметров.
2. Построение предельно автоматизированного комбинированного адаптивного алгоритма на основе непрерывного вейвлет-преобразования, который
бы мог перестраиваться при проведении процедуры адаптации на небольшом фрагменте экспериментальных данных.
Анализ ЭЭГ в течение довольно длительного периода времени своего развития производился на основе простых алгоритмов, которые основывались на визуальном рассмотрении данных самописцев. В настоящий момент такая тенденция имеет свое продолжение. При построении более продвинутых адаптивных
технологий приходится опираться на экспертный способ анализа, который был
ранее определен в данном направлении [75]. Применительно к решению проблемы идентификации паттернов любой новый алгоритм, выделяя последова-
125
тельность паттернов типа SS (или SWD ), на основе сигнала разметки в виде S MSS (t )
должен сравниваться с так называемой эталонной (экспертной) разметкой в виде
S ESS (t ) (рис. 3.1, А). Критерием сравнения участков сигналов длительностью T мо-
жет служить выражение (3.1), которое вводит значение ошибки Ε(S MSS , S ESS ) .
(
Ε S ,S
SS
M
SS
E
)
1
=
T
T
∫
S MSS (t ) − S ESS (t ) dt
(3.1)
0
В научной литературе [75,76] распространены различные количественные
оценки точности, связанные с расчетом числа паттернов Ν E (S ESS ), зафиксированных при помощи S ESS (t ) или на основе расчетов по алгоритму Ν D (α t , β t , S MSS , S ESS ) . Какие-либо строгие математические выражения для расчета значений величин
Ν D , Ν E отсутствуют [75], поэтому мы предлагаем использовать выражения (3.2) и
(3.3), которые могут применяться как для оценки точности любого метода анализа
ЭЭГ, так и для построения адаптивных способов идентификации паттернов. (В
выражениях (3.2), (3.3) в виде знака • - обозначена операция дифференцирования
по времени.)
Ν E (S ESS ) = ∫ L(S ESS ) dt
T
0
,
 x& , x& > 0
L( x ) = 
0 , x& ≤ 0
Ν E (S E

SS
SS
Ν
,
,
S
,
S
=
α
β
 D t t M E
∑
k =1


1 ,
~
SS
SS
∆
,
,
S
,
S
=
α
β

 k t t M E
0 ,

(
)
(
(
)
)
SS
SS
~ S SS , S SS = ∆ k S M (t )S E (t )
w
k
M
E
∆ k S ESS (t )
(
)
(
[
)
) ~
(
∆ k α t , β t , S MSS , S ESS
(
(
)
,
)
)
~ S SS , S SS ∈ [α , β ]
w
k
M
E
t
t
SS
SS
~
wk S M , S E ∉ [α t , β t ]
(3.3)
t k , x& t = χδ (t k )
k
, τ kχ ( x ) = 
0 , x& tk ≠ χδ (t k )
: τ 1χ ( x ) < τ 2χ ( x ) < Kτ kχ ( x )K , χ ∈ { − 1,1 }
τ −1 ( x )
k
1
, ∆ k ( x(t )) =
x(t )dt
max( x ) τ k+1∫( x )
( )]
∀k ∈ 1, Ν E S ESS
SS
(3.2)
В выражении (3.2) введены пороговые коэффициенты α t , β t , которые задают некоторый диапазон возможных различий между фрагментами сигналов разметки
S ESS (t ) , S MSS (t ) . Значения α t , β t фиксированы и определены в виде (3.4) (3.5) и (3.6).
Выражения (3.2) и (3.3) введены на примере сигналов разметки S ESS (t ) , S MSS (t ) ; по
аналогии можно переписать данные выражения для сигналов S ESWD (t ) , S MSWD (t ) .
126
Рисунок 3.1- графические построения: А – одноканальная запись ЭЭГ сигнала, по которому сделаны соответствующие разметки паттернов SS , SWD . Б – выделение характерных областей по сигналу разметки в виде областей «X» и «N», в которых локализованы
фрагменты сигналов типа S X (t ) и S N (t ) (при этом рассматривается фрагмент сигнала
S (t ) общей длительностью T1 ). В – спектры сигналов паттернов типа SS , SWD , X 1
, X2 , X3 , X4.
127
Наиважнейшим применением предложенных выражений (3.2) и (3.3) является
возможность математически строго расчета основных параметров, характеризующих эффективность работы алгоритма, например: точность Ρ (3.4, «TP» количество правильных идентификаций), чувствительность RSE SS (3.5, «FN» количество
неправильно
пропущенных
идентификаций),
специфичность
RSP SS (3.6, «TN» - количество правильно пропущенных идентификаций).
(
Ρ S ,S
RSE
SS
SS
M
SS
E
)
TP Ν D (0.4 , 1.0, S MSS , S ESS )
=
=
ΝE
Ν E ( S ESS )
(3.4)
Ν D (0.4, 1.0, S MSS , S ESS )
TP
=
=
TP + FN Ν D (0.4, 1.0, S MSS , S ESS ) + Ν D (0.0, 0.2, S MSS , S ESS )
(3.5)
TN Ν D (0.0, 0.4, S MSS , S ESWD )
=
=
ΝE
Ν E ( S ESWD )
(3.6)
RSP
SS
Рассмотрим один из возможных способов построения адаптивного комбинированного алгоритма на основе непрерывного вейвлет-преобразования, который
способен проводить точный анализ одноканальных записей сигналов ЭЭГ. Предлагается использовать две последовательные стадии анализа в виде соответствующих процедур фильтрации: Φ Ι = Φ Ι ( ΡΙ , S , t ) , Φ ΙΙ = Φ ΙΙ ( ΡΙΙ , Φ Ι , t ), - в которых в каr
r
r
r
честве векторов ΡΙ и ΡΙΙ введены параметры для первичной и вторичной процедур
фильтраций сигнала S (t ) соответственно. Рассмотрим один из алгоритмов использования комбинированной фильтрации Φ Ι − Φ ΙΙ при последовательной идентификации паттернов на ЭЭГ.
Шаг 1. Необходимо определить в записанном сигнале S (t ) общей длительностью
T ∆t (
- оператор вычисления количества точек для исходного множества, {T }
- множество точек, связанное с количеством отсчетов, которые производятся при
записи сигнала S (t ) с шагом временной дискретизации ∆t ) два подмножества в
виде {T1 } и {T2 }, которые удовлетворяют следующему условию.
T = T1 + T2 .
На выделенном подмножестве {T1 } произвести разметку сигнала S (t ) на основе
экспертной идентификации [75] основных групп паттернов ( SS и SWD ) в виде
сигналов S ESS (t ) и S ESWD (t ) , t ∆t ∈ {T1 } . При этом необходимо выделить соответствующие сигналы S SWD (t ) и S SS (t ) (рис. 3.1, Б), рассчитать длительности
128
выделенных фрагментов сигналов в виде TSS
и TSWD , а также спектральные
энергии в виде GSS и GSWD (для расчета спектральных энергий применить (1.7)).
Рассчитанные спектральные энергии и длительности должны удовлетворять соотношениям (3.7). При этом, если длительность какого-то сигнала паттернов (например S SS (t ) ) больше другого, то его спектральная энергия должна быть существенно ниже (рис. 3.1, Б, В) и наоборот.
TSS ≥ TSWD ∧ GSS < GSWD
(3.7)
Если по каким-то причинам условие (3.7) не выполняется ни в прямом, ни в обратном виде, то в этом случае необходимо переопределить подмножества {T1 } и
{T2 } с целью определения длинных, но энергетически слабых типов сигналов, а
также коротких, но обладающих большей спектральной энергией сигналов.
Шаг 2. При выполнении условия (3.7) необходимо по порядку убывания спектральной энергии анализируемого типа паттерна производить поиск соответстr
r
вующих настроек в виде векторов ΡΙ и ΡΙΙ , при которых данный тип паттерна сможет быть идентифицирован наилучшим образом. Для этого решается задача поиска оптимальных значений для функционала RD , по которому определяются
r
r
компоненты вектора ΡΙ = ΡΙ SWD . При получении настроек для фильтра Φ Ι в виде
r r SWD
r
r
ΡΙ = ΡΙ
производится оптимизация функционала RΦ для расчета ΡΙΙ = ΡΙΙ SWD (по-
яснения к выполнению данных процедур приведены в примечаниях). Получив паr
r
r
r
ру векторов ΡΙ = ΡΙ SWD и ΡΙΙ = ΡΙΙ SWD , необходимо скорректировать фрагмент сигнала S (t ) на участке {T1 }. Для этого используется выражение (3.8).
(
(
(
) ))
r SWD
r SWD
S (n ) (t ) = S (n −1) (t ) 1 − Φ ΙΙ ΡΙΙ , Φ Ι ΡΙ , S ,τ , t
n = 1 , t ∆t ∈ { T1 } , S
(0)
(t ) = S (t )
,
(3.8)
При помощи сигнала S (1) (t ) необходимо проводить все операции оптимизации для
r
r
r
r
вычисления ΡΙ = ΡΙ SS , ΡΙΙ = ΡΙΙ SS (в выражении 3.8 n − изменяется на величину, равную количество типов паттернов минус один). Если при этом помимо паттернов
типа SWD , SS в вариационных рядах (3.7) были еще какие-то типы паттернов, то
r
r
r
r
в этом случае после проведения расчетов векторов ΡΙ = ΡΙ SS , ΡΙΙ = ΡΙΙ SS необходимо,
r
r
используя выражение (3.8) при n = 2 , продолжить расчет ΡΙ и ΡΙΙ в целях определения параметров фильтров, которые бы наилучшим способом позволили проводить идентификацию данного третьего типа паттернов.
Примечание к шагу 2: Теоретически количество итераций на шаге 2 с соответствующим номером n определяется засчет количества типов паттернов и их
спектрально-временных характеристик (рис. 3.1, Б, В). Стоит заметить, что на
129
практике в ходе численного эксперимента могут появиться сложности при последовательной идентификации большого количества типов паттернов на экспериментальной ЭЭГ. Отдельных исследований по выяснению максимального
количества последовательных n − итераций в рамках данной работы мы не
приводим.
r
r
r
r
Шаг 3. Рассчитав вектора ΡΙ = ΡΙ SWD , ΡΙΙ = ΡΙΙ SWD , необходимо идентифицировать
данный тип паттернов на участке {T } сигнала S (t ) .
(
(
) )
r SWD
r SWD
S MSWD = Φ ΙΙ ΡΙΙ , Φ Ι ΡΙ , S (0 ) ,τ , t , t ∆t ∈ {T }, S (0 ) = S (t )
Далее необходимо применить выражение (3.8) и получить полностью обработанный сигнал в виде S (1) , в котором нужно производить идентификацию следующего типа паттернов согласно ряду (3.7), то есть SS . По результатам двух итераций рассчитываются соответствующие сигналы S MSS и S MSWD . Точность проведенной
последовательной процедуры оценивается на основании расчетов (3.1), (3.4),
(3.5), (3.6) и соответствующих сигналов эталонной экспертной разметки в виде
S ESS и S ESWD .
Примечание 1: Шаг 3 подразумевает проведение такого же количества итераций,
что и шаг 2. При этом каждый раз согласно ряду (3.7) используется определенная
r
r
ΡΙ и ΡΙΙ (итерации n ) для комбинированной фильтрации
настройка в виде
Φ Ι − Φ ΙΙ , а также выражение (3.8), позволяющее ввести следующую процедуру
(для итерации n + 1 ).
Примечание 2: Процедуру первичной фильтрации Φ Ι предлагается построить согласно выражению (3.9) с использованием непрерывного вейвлет-преобразования
с вейвлет-функцией IMORLET (2.20) (то есть в выражении (3.9) использована
только мнимая часть комплексного вейвлета Морле (1.17)).
(
)
r
1
Φ Ι ΡΙ , S , t =
NB
ρ j ∫ S (τ ) sin (ω j ρ j (τ − t )) e
T
NB
∑
j =1
0
r
ΡΙ = { N B , ρ j , ω j
Φ ΙΙ
ΦΙ
(
(q )
− 0.5 ρ j 2 (τ − t )2
(
) )
}
(
(
(
)
,
(3.9)
)
)
r
1 , Φ Ι ( N S ) ΡΙ , S , t ≥ Θ
r
r
ΡΙΙ , Φ Ι ΡΙ , S , t , t = 
,
r
0 , Φ Ι ( N S ) ΡΙ , S , t < Θ
2NH
r
1
(q −1) r
ΡΙ , S , k∆t =
Φ
∑ Ι ΡΙ , S , j∆t ,
2 N H + 1 i =0
(
dτ
)
r
ΡΙΙ = {Θ, N H , N S } , j = k − N H + i , q ∈ [1, N S ]
(3.10)
130
Процедуру вторичной фильтрации Φ ΙΙ необходимо осуществлять на основании
выражения (3.10).
r
Примечание 3: Процедуры Φ Ι − Φ ΙΙ требуют наличия векторов настройки в виде ΡΙ
r
и ΡΙΙ под каждый тип анализируемого паттерна (обозначим идентифицируемый
тип паттерна в виде Х). Для определения оптимальной настройки Φ Ι мы предла-
гаем использовать функционал RD = RD (ρ j , ω j ) (3.11) при этом параметр положим
N B = const . Для того чтобы вычислить значение функционала RD = RD (ρ j , ω j ) при
настройке алгоритма на решение задачи оптимальной идентификации паттерна
типа Х (рис. 3.1, Б), необходимо выделить из анализируемого участка сигнала
S (t ) соответствующие фрагменты S X и S N . Положим, что длительность каждого
такого фрагмента p = const (рис. 3.1, Б). Теперь введем длину λ , которая будет
равна средней длительности паттерна типа Х. Для определенных таким образом
параметров
из
υ k (S X , ρ j , ω j )
расчета
RD = RD (ρ j , ω j ) (3.11), (3.12).
RD (ρ j , ω j ) =
υ k (S , ρ j , ω j ) =
X
1
рассчитывается
υk (S X , ρ j , ω j ) − υk (S N , ρ j , ω j )
k
соответственно
k
(3.11)
σ (υ k ( S X , ρ j , ω j )) + σ (υ k ( S N , ρ j , ω j ))
kλ
ρ j ∫ S X (t ) sin (ω j ρ j (t − τ ) ) e
p
λ (k −∫1)λ
λ = τ i−1 − τ i+1
− 0.5 ρ j 2 ( t −τ ) 2
0
i
[
( )]
, i ∈ 1, Ν E S EX
 p
, k ∈ 1,  ∧ k ∈ Ζ
 λ
dt dτ
(3.12)
Для оптимизации функционала RD (3.11) предлагается использовать алгоритмы
стохастической оптимизации [46]. Диапазон оптимальных значений для RD это
область Ε R (3.13)
D
Ε RD = [1.5,+∞ )
(3.13)
В ходе оптимизации необходимо максимизировать RD согласно (3.13). Для этого
нужно выбрать две случайные величины ξ ρ и ξω (в качестве одного из способов
можно использовать модель белого шума [40]). Функция распределения ξ ρ и ξω
таких величин должна быть равномерно распределена в области значений (3.14).
Εξ ρ =
4 3 
 p , 2∆t 


, Ε ξω =


 0 , 2π 
 5ξ ∆t 
ρ


(3.14)
Случайный перебор параметров RD необходимо осуществлять, пока не будут
определены максимальные значения согласно Ε R (3.13). По завершению процеD
131
дуры стохастической оптимизации выделяются N B значений
{ ρ , ω } , j ∈ [1, N ] ,
j
j
B
при которых функционал RD максимален и удовлетворяет условию (3.13)
RD (ρ j , ω j )∈ Ε RD . Полученные значения параметров { ρ j , ω j } максимизированного
r
функционала RD являются компонентами вектора ΡΙ .
Примечание 4: Для поиска оптимальной настройки процедуры вторичной фильтрации Φ ΙΙ необходимо реализовать процедуру максимизации функционала RΦ
r
(3.15) по набору параметров в виде вектора ΡΙΙ . При этом процедура оптимизации
RΦ должна строго выполняться после того, как выполнена оптимизация RD и
r
определены компоненты вектора ΡΙ .
RΦ =
(
(
) (
1
1 − Ε S MX , S EX + Ρ S MX , S EX
2
))
(
(
))
r
r
, S MX (t ) = Φ ΙΙ ΡΙΙ , Φ Ι ΡΙ , S ,τ , t ,
t ∆t ∈ {T1 }
(3.15)
Множество значений для функционала RΦ лежит на отрезке от 0 до 1. Необхоr
димо задать параметры вектора ΡΙΙ так, чтобы значение RΦ было близко к 1, а значение ошибки Ε(S MX , S EX ) было как можно ближе к 0. Для выполнения такой мак-
симизации RΦ с условием на основе функционала Ε(S MX , S EX ) можно применять как
методы стохастической оптимизации, так и методы простого перебора значений
r
для компонент ΡΙΙ из заданного диапазона с определенным шагом. Множества
r
значений для поиска наиболее оптимальных значений компонент ΡΙΙ = {Θ, N H , N S }
могут быть определены в виде (3.16).
ΕΘ =
[ min( Φ (Ρr , S , t ) ), max( Φ (Ρr , S , t ) ) ]
Ι
Ι
Ι
Ι
 2λ 
, Ε N S = Ε N H = 1, 
 ∆t 
(3.16)
Алгоритм по настройке и применению комбинированной фильтрации
Φ Ι − Φ ΙΙ (3.9),(3.10) был применен для идентификации паттернов на одноканаль-
ных записях ЭЭГ. Константа N B = 100 (такое значение соответствует примерно 5%
всех проделанных шагов в ходе решения задач стохастической оптимизации (3.7)(3.16)). Анализировались 5 записей ЭЭГ с частотами дискретизации записи 128
и 256 Гц. Соотношение между выбранными фрагментами {T1 } и {T2 } учтено на основе коэффициента α (T1 ) = 100 * T1
T2 . Для оценки точности результатов приме-
нения адаптивной процедуры фильтрации Φ Ι − Φ ΙΙ были рассчитаны величины
(3.1), (3.4)-(3.6). Результаты показаны в таблице 3.1, в которую также включены
результаты применения стандартного алгоритма непрерывного вейвлет-преоб-
132
разования (1.22)-(1.25), опубликованные в работе [75]. Из сравнения представленных результатов нетрудно заметить, что адаптивная версия НВП в виде Φ Ι − Φ ΙΙ
демонстрирует при идентификации SWD результаты, сопоставимые с результатами [75], а при идентификации паттернов типа SS эффективность метода Φ Ι − Φ ΙΙ
является более чем очевидной. Из результатов дополнительных численных экспериментов также было установлено, что комбинированные методы Φ Ι − Φ ΙΙ демонстрирует высокую точность на уровне 82-100% при решении задачи идентификации зашумленных паттернов, спектры которых подобны примерам, приведенным на рисунках 3.1, В, для абстрактных типов паттернов типа X 1 − X 2 или
X 3 − X 4 . Очевидно, что с этой точки зрения, полученные нами результаты полно-
стью предсказуемы, так как рассчитанные спектры паттернов SWD − SS полностью удовлетворяют данным представлениям. Один из примеров анализа экспериментального сигнала на основе адаптивной Φ Ι − Φ ΙΙ фильтрации показан на рисунке 3.1, А в виде соответствующих сигналов разметки S MSWD и S MSS .
Таблица № 3.1
Результаты применения адаптивного алгоритма анализа на основе непрерывного
вейвлет-преобразования в виде (3.9),(3.10).
№
1
2
3
4
5
α (T1 )
ΝE
SS
SWD
Ε,%
SS
SWD
Ρ, %
SS
SWD
RSE , %
SS
SWD
RSP, %
SS
SWD
13.4
362
6
8.0
0.3
80.4 100.0 83.4 100.0 100.0 100.0
9.0
409
6
7.0
0.4
87.5 100.0 90.2 100.0 100.0
98.3
6.0
546
37
7.5
1.3
88.5 100.0 92.7 100.0
94.6
99.8
18.2
441
31
8.3
0.5
91.4
96.8
93.7
96.8
93.6
98.0
10.0
497
16
10.3
1.1
85.9 100.0 87.9 100.0
93.8
98.4
Результаты применения алгоритма анализа на основе непрерывного вейвлет-преобразования в виде (1.22)-(1.25) согласно опубликованной работе [75].
№
α (T1 )
1
2
3
4
5
-
ΝE
SS
SWD
2341
1381
1491
1305
1598
105
81
249
120
66
Ε,%
SS
SWD
-
-
Accuracy, %
Sensitivity, %
Specificity, %
SS
SWD
SS
SWD
SS
SWD
58
62
67
55
63
100
97.5
99.2
97.5
98.5
47.7
54.1
57.9
48.6
57.1
100
98.8
99.2
97.5
98.5
60.3
58.8
56.4
58.7
53.8
100
97.5
99.6
99.2
97.0
133
3.2 Анализ динамики сосудов мозга в оптической
когерентной томографии.
В водной части главы 1 мы упоминали об одном из современных направлений в области прикладных исследований, затрагивающих в первую очередь проблемы мониторинга различных биологических систем с целью выявления характерных закономерностей и особенностей в динамике процессов, на которых основывается весь жизненный цикл таких систем. Активные исследования ведутся по
изучению динамики сосудов сердечно-сосудистой системы, обмена веществ, а
также различных отделов мозга и центральной нервной системы. Диапазон применения результатов таких исследований достаточно велик и простирается от медицины до робототехники и электроники. Более того, часть подобных исследований полностью направлена на создание специализированных вычислительных
комплексов, которые, аккумулируя опыт и результаты практических экспериментов, в недалеком будущем смогут быть использованы в качестве инструментов
медицинской диагностики [97]. Как известно, свою нишу в построении таких систем занимают лазерные технологии как оптического [110], так и около-оптического диапазонов, прежде всего это касается исследований в области диагностики
раковых заболеваний кожи, глазных болезней, патологий сосудистого тонуса, сахарного диабета и многого другого. Не стоит при этом забывать о том, что совершенные и точные экспериментальные измерения нуждаются в развитии алгоритмов, которые способны выявить определенные закономерности в численных результатах подобных измерений [18]. В рамках проводимых исследований мы уделили отдельное внимание тому, как может быть применен опыт проведения адаптивного спектрального анализа данных в прикладных исследованиях из области
медицинской физики, связанных с изучением динамики сосудистого тонуса. Также была проведена предварительная оценка применимости таких алгоритмов при
построении медицинских комплексов, способных отличать нормальное состояние
от патологического.
134
Проблема диагностики сосудистого тонуса при наблюдениях сосудов головного мозга приобрела современное актуальное решение в виде измерений скорости кровотока на основе оптического когерентного томографирования с доплеровскими измерениями [18,97]. Мы не будем в подробностях рассматривать всю
оптическую схему таких экспериментов. Однако заметим, что конечным результатом при доплеровских измерениях скорости кровотока является цифровое фотографическое изображение Ι(x, y ) , на котором цветами обозначено распределение
движущихся частиц по скоростям и направлению движения (рис. 3.2, А). При
этом интенсивность определенного цвета пропорциональна значению скорости
потока движущихся частиц [110]. При детальном рассмотрении таких изображений Ι(x, y ) можно выделить некоторый контур «А», который вполне однозначно
характеризует регистрируемое поле скоростей движущихся частиц. Регистрируемые таким образом данные анемометрии [18] могут быть использованы в качестве
характеристик мгновенного состояния сосуда. На практике же, безусловно, огромный интерес представляет изучение динамики изменения скорости кровотока,
которая влияет на тонус сосудов. В этом случае рассматривается уже не последовательность изображений (рис. 3.2 А) регистрируемых во времени, а изменение
цветовых контуров (типа «А») таких изображений в зависимости от времени. Поэтому в качестве одного из первых шагов в обработке экспериментальных данных
мы предложили ввести поиск некоторого контура «А» с геометрическими параметрами ∆X p , ∆Y p внутри каждого изображения, а также дальнейшую процедуру
усреднения внутри данного контура по основным цветовым (« K = Ι » - красный
цвет, « K = ΙΙ » - зеленый цвет, « K = ΙΙΙ » - синий цвет) характеристикам (3.17).
AK =
1
∆X p ∆Y p
∫ ∫ Ι (x, y ) dxdy
K
, K = Ι, ΙΙ , ΙΙΙ
(3.17)
∆X p ∆Y p
s (t ) = AΙ (t ) − AΙΙΙ (t ) , t = k∆τ , k ∈ Ζ
(3.18)
Для анализа динамики изменения скорости кровотока необходимо рассматривать
линейную комбинацию (3.17) в виде (3.18), для доплеровских измерений, производимых последовательно через промежуток времени ∆τ .
135
Рисунок 3.2 – графические построения. А – пример изображений доплеровской оптической
когерентной томографии. Б – результаты предварительной обработки сигналов. В – результаты анализа сигналов на основе преобразования Фурье (НЧ, ВЧ). Г – результаты адаптивного вейвлет-анализа ( RD , RI ).
136
Из области экспериментальной медицины и физиологии [110] известно, что появление патологий в динамике сосудистого тонуса можно отследить по сосудистой
реакции на возбуждение, а также по тому, как отличается динамика нормального
и возбужденного состояний [110]. Поэтому последовательность временных измерений s(t ) разделяется согласно условиям: «до возбуждения» - s0 (t ) и «после возбуждения» - s1 (t ) , что также учитывается в ходе анализа. Следовательно, набор
экспериментальных данных, которые предварительно обрабатываются при помощи (3.17), (3.18) и разделяются на соответствующие сигналы, может быть обработан при использовании соответствующей процедуры анализа s0 (t ) , s1 (t ) . В качестве одного из алгоритмов анализа сигналов s0 (t ) , s1 (t ) мы предлагаем использовать адаптивное НВП. Рассмотрим основные шаги алгоритма.
Шаг 1. Дискретизованные сигналы s0 (t ) и s1 (t ) ( t = n∆τ ) подвергаются сплайновой интерполяции на основе кубических сплайнов (3.19).
Spline(t , s m ) = a k + bk (t − t k −1 ) + c k (t − t k −1 ) + d k (t − t k −1 )
t ∈ [t k −1 ; t k ], t k = k∆τ , t = j∆t , k , j ∈ Z
2
3
(3.19)
Коэффициенты сплайна a k , bk , ck , d k рассчитываются по отсчетам анализируемых сигналов s0 (t ) и s1 (t ) согласно алгоритму [105]. Для устранения паразитных
высокочастотных составляющих полученные результаты сплайновой интерполяции дополнительно подвергаются процедуре фильтрации на основе алгоритма
скользящего среднего (1.24) с параметрами N S и N H . Сигналы (рис. 3.2, Б):
S 0 (t ) = Φ SW (Spline(t , s 0 ), N S , N H , t ) , S1 (t ) = Φ SW (Spline(t , s1 ), N S , N H , t ) , t = n∆t , ∆t < ∆τ
- являются исходными данными для проведения адаптивной процедуры спектрального анализа.
Шаг 2. Подвергнуть сигналы S 0 (t ) и S1 (t ) процедуре адаптивного непрерывного
вейвлет-анализа с вейвлет функцией IMORLET (2.20) на основе решения задачи
поиска оптимальных значений ρ , ω для функционалов R D и RI с условием. В
качестве условия выступает тот факт, что частота f = f (ρ , ω ) Фурье-спектра
(1.18) для оптимальных параметров должна лежать в области значений Ε f , которая задается в качестве начального параметра алгоритма.
137
Примечание 1: Для определения функционала RD = RD (ρ , ω ) рекомендуется использовать выражения (3.11) для сигналов S 0 (t ) и S1 (t ) . Переопределить выражение (3.12) для (3.11) в виде (3.20).
υ k (S m , ρ j ,ω j ) =
1
MS
MSk
ρj
∫
M S ( k −1)
M S PS
∫
S m (t ) sin (ω j ρ j (t − τ ) ) e
−0.5 ρ j 2 ( t −τ ) 2
dt dτ ,
0
(3.20)
k ∈ [1 , PS ] , m ∈ { 0 ,1 }
RD (ρ j ,ω j ) =
υ k ( S 0 , ρ j , ω j ) k − υ k ( S1 , ρ j , ω j )
k
σ (υ k ( S 0 , ρ j , ω j )) + σ (υ k ( S1 , ρ j ,ω j ))
Для корректного использования (3.20) для RD = RD (ρ , ω ) (3.11) учитывается
длительность сигналов S 0 (t ) и S1 (t ) в виде M S PS ∆t . Параметры разбиения
M S , PS определяются априори на основе визуального анализа S 0 (t ) и S1 (t ) , а
также спектральной плотностей в виде (1.6). Множество оптимальных значений Ε R = (− ∞ , − 1] ∪ [1 , + ∞ ) .
D
Примечание 2: Функционала RI = RI (ρ , ω ) определяется на основе выражений
(3.21) с учетом того, что S 0 (t ) и S1 (t ) это сигналы длительностью T = M S PS ∆t .
Α
Sm
T
(ρ , ω , t ) =
1
RI ( ρ , ω ) =
T
ρ ∫ S m (τ ) sin (ωρ (τ − t )) e −0.5( ρ (τ −t )) dτ
T
∫
0
Α
0
S0
2
,
(ρ , ω , t ) − Α S (ρ , ω , t ) dt , m ∈ { 0 , 1 }
(3.21)
1
max { Α Sm ( ρ , ω , t ) }
Множество оптимальных значений (3.21) Ε R = [− 1;−0,25] ∪ [0,25; 1].
I
Примечание 3: Для оптимизации (3.11), (3.21) необходимо использовать стохастическую оптимизацию со случайными величинами ξ ρ и ξ ω , распределенными равномерно в диапазонах:

1
3 
ξρ ∈  7 ,
,
10 ∆t 2∆t 
 π 2π 
ξω ∈  ,
 ∩ ξ ω < 33π .
 3 5ξ ρ ∆t 
Примечание 4: Вместо адаптивного вейвлет-анализа (3.20) и (3.21) допускается
использование методов классического спектрального анализа на основе преобразования Фурье. Для этого на основе параметров M S , PS строится набор
реализаций для сигналов
S m (t ) в виде
S mn (τ ) = S m (nM S ∆t + τ ) , n ∈ [0, PS − 1]
, m ∈ { 0 , 1 }. По расчету спектральной плотности S Sm ( f ) для реализаций S mn (τ )
на основе (1.6) производится анализ сигналов S m (t ) и применяется алгоритм
классификации фрагментов сигнала на основе преобразования Фурье (глава 1,
п.2).
138
Шаг 3. Полученные оптимизированные значения функционалов R D и RI подвергнуть пороговому преобразованию с порогом Θ и на основе сравнения определить
принадлежит ли рассматриваемая запись реакции сосудистой системы к случаю
нормы или к случаю патологии.
Примечание: Оптимизированные значения функционалов несут в себе ключевую информацию о том, насколько сильно отличается изменение динамики
сосудов до стимуляции – «0» и после стимуляции – «1». Считается, что если
реакция слаба, то отличия в динамке выявляются довольно сложно. Следовательно, пороговый уровень Θ позволит разделить значения функционалов оптимизированных по сигналам нормальной реакции и значения функционалов,
которые были оптимизированы по сигналам с патологической реакцией.
Стоит отметить, что спектральный анализ насчитывает довольно много различных подходов [1-4], которые могут быть применены для определения спектральных характеристик изучаемых процессов типа S 0 (t ) и S1 (t ) . Большинство подобных алгоритмов используют преобразования Фурье (1.5). Как отмечалось ранее, частоты и значения энергий, рассчитанные на основе методов Фурье-анализа,
могут являться так называемыми «реперными точками», по которым можно довольно эффективно проводить классификацию временных рядов типа S 0 (t ) и S1 (t )
относительно их спектрального состава (алгоритмы таких вычислений детально
рассмотрены в главе 1). Вероятно, что метод классификации фрагментов сигнала
на основе преобразования Фурье, рассмотренный в главе 1, может быть применен
в качестве шага 2. В этом случае огромный интерес представляет то, насколько
алгоритмы адаптивного анализа (3.20), (3.21) могут быть эффективными или неэффективными по сравнению с методами классического спектрального анализа.
Описанный выше алгоритм адаптивного непрерывного вейвлет-преобразования (3.20), (3.21) для анализа изменений в динамике реакции сосудов при возбуждении является математически обоснованным подходом с точки зрения теории оптимизации [46], однако, имеет один недостаток, который заключается в пороговом сравнении на шаге 3. Определить порог Θ на основе теоретических расчетов задача практически неразрешимая. Поэтому в таких случаях алгоритм
необходимо калибровать на экспериментах, в которых будут присутствовать за-
139
ведомо нормальные и патологические пробы. По результатам расчетов на шагах 1
и 2 можно будет статистически вычислить так называемое «диагностическое значение» для порога Θ определенного типа R − функционала, используя (3.22).
ΘR =
R
норма
+ R
2
патология
(3.22)
В качестве первых шагов в данном направлении был проведен анализ пяти
экспериментальных сигналов (рис. 3.2, В,Г). При этом четыре набора сигналов
можно было отнести к случаю нормальной реакции (эксперименты 1, 2, 4, 5), а
один – к случаю патологической реакции (эксперимент 3). При первичной обработке данных параметры ∆X p , ∆Yp пересчитывались в пиксели и устанавливались
в виде ∆X p = ∆Y p = 10 на основе визуального анализа для размера кадра 2048 х 512
пикселей. Для каждого отдельного эксперимента обрабатывалось по 50 изображений для построения сигналов s0 (t ) и s1 (t ) , при t = n∆τ , n ∈ [1,50] , ∆τ = 0.14c на основе
выражений (3.17) и (3.18). Результаты обработки интерполировались кубическими сплайнами (3.19) и фильтровались на основе (1.24) с параметрами
N S = 3 , N H = 100 . В результате получались отфильтрованные сигналы S 0 (t ) и S1 (t )
при условии, что t = n∆t , n ∈ [1 , 15000] , ∆t = 0.000467с . Параметры разделения: PS = 3
, M S = 5000 .
Для реализации алгоритма на основе адаптивного вейвлет-
преобразования (3.20) и (3.21) область Ε f определена в виде следующих множеств: [0.25 , 0.75] , [0.75 , 3] , [5 ,10] . Значение элемента множеств имеет размерность
в виде 1 Гц и соответствуют следующим, условно введенным диапазонам: низкие
частоты (НЧ), высокие частоты (ВЧ), а также диапазон сердцебиений (ДС). Проводилась процедура анализа сигналов S 0 (t ) и S1 (t ) на основе преобразования Фурье (1.6) (то есть выполнялись шаги 1-3 вышеописанного алгоритма, только на
шаге 2 выполнялось примечание 3). Результаты для НЧ, ВЧ и ДС представлены на
рисунке 3.2, В. Результаты применения алгоритма на основе адаптивного НВП
также показаны на рисунке 3.2 , Г. Из полученных результатов нетрудно заметить,
алгоритм на основе классического преобразования Фурье оказался не способен
определить какие-либо различия между сигналами S 0 (t ) и S1 (t ) в независимости от
140
того, рассматривается данная реакция как патологическая или как нормальная. То
есть как для нормы, так и для патологии сильных различий между сигналами S 0 (t )
и S1 (t ) в спектральной области, рассчитанной на основе преобразования Фурье, не
наблюдается – в то время как различия между значениями функционалов R D и RI ,
рассчитанными на основе адаптивного вейвлет-преобразования, могут быть определены и изолированы на основе порогового сравнения. Так согласно полученным результатам были определены пороговые значения (3.22) для функционала
R D в частотной области НЧ (рис.3.2, Г): Θ RD = 1,23.
Стоит отметить, что в рамках проведенных расчетов мы определили пороговые значения для алгоритма адаптивного НВП на основе результатов обработки
по очень малой статистике анализа нормальных и патологических реакций. Однако полученные результаты свидетельствуют о том, что предложенный адаптивный метод способен анализировать нестационарные сигналы S 0 (t ) и S1 (t ) до мельчайших подробностей и выявлять нужные спектральные компоненты, по которым
могут быть определены соответствующие значения функционалов R D и RI . Дальнейшие исследования в данной области применения адаптивного НВП поспособствуют как внедрению модификаций в тело самого алгоритма, так и уточнению
расчетов значений порогов Θ на основе (3.22).
3.3 Нейросетевые алгоритмы для передачи
информации в защищенном режиме
В данной работе мы уделили отдельное внимание проблеме классификации
импульсных сигналов при наличии фоновых помех. В рамках развития этого направления в области нейрофизиологии было получено большое количество результатов с использованием алгоритмов на основе АГК [19], кластерного анализа
[19], вейвлет-анализа [20,21], ИНС и ВНС [115]. В этой череде опубликованных
результатов, с одной стороны, большое внимание уделяется тому, как могут применяться данные алгоритмы для решения определенных экспериментальных про-
141
блем [19] в нейрофизиологии, с другой – приводятся результаты тестовых экспериментов, которые, по мнению авторов, подтверждают очевидное превосходство
предлагаемой методики, будь это кластерный анализ в сочетании с АГК или вейвлет-анализ, или вейвлет-анализ в сочетании с ИНС. На первый взгляд все выглядит довольно убедительно, однако, нетрудно заметить отсутствие результатов,
которые бы позволили обобщить данную проблему в некоторое научное направление и способствовать распространению накопленного опыта на решение ряда
схожих задач. Об этом частично упоминалось в главе 1 на примере рассмотрения
алгоритмов на основе непрерывного вейвлет-преобразования. Поэтому для обобщения и существенного дополнения результатов работ [19-25] мы предложили
АТК. Результаты использования данного алгоритма в сочетании с АГК, адаптивным НВП, а также с ИНС и ВНС, подробно приведены и описаны в главе 2. По
совокупности полученных результатов численных экспериментов мы пришли к
выводу, что рассмотренные способы классификации коротких зашумленных импульсов могут найти свое применение в одном из направлений теории анализа
сигналов, связанном с кодированием и передачей информации в защищенном режиме.
Стоит отметить, что за последние десятилетия проблемы скрытой передачи
информации приобрели довольно много новых решений [98-103], которые основаны на концепциях теории хаоса и использовании хаотических генераторов в
приёмно-передающих устройствах связи [103]. Передача одного или нескольких
информационных каналов при использовании одного канала связи может реализовываться для таких систем на основе современных способов мультиплексирования во временной и частотной областях. Таким образом, различное сочетание
подобных технологий [1] позволяет решать проблемы многоканальной передачи
данных в защищенном режиме на так называемом «физическом уровне» без использования дополнительных цифровых обработок и соответствующих криптозащит [31]. Научные факты и результаты широкого применения таких подходов
свидетельствуют о том, что данная область научных исследований является достаточно хорошо изученной, тем не менее, различные техники, не основанные на
142
теории хаоса [102], могут также найти свое применение в этой области. Перечислим некоторые недостатки, имеющиеся в подходах, использующих элементы теории хаоса:
Во-первых, использование сигналов хаотических генераторов в приемнопередающих устройствах может играть роль помех для других источников связи,
имеющих тот же частотный диапазон.
Во-вторых, используемые подходы, зачастую основаны на явлении синхронизации хаотических генераторов, что в свою очередь создает дополнительные
трудности в применении принципиальных электрических схем, элементы которых
имеют различия в значениях емкостей и сопротивлений.
В-третьих, при построении общего алгоритма в виде базовой системы дифференциальных уравнений [103] хаотического генератора имеются существенные
ограничения на количество одновременно передаваемых информационных потоков. При этом какие-либо манипуляции в изменении количества каналов могут
приводить к тому, что применяемая система дифференциальных уравнений может
оказаться полностью непригодной и потребует либо корректировки, либо замены.
В последние годы неоднократно обсуждался вопрос об устойчивости используемых систем связи по передаче информации в защищенном режиме в присутствии фоновых помех. В качестве одного из решений данной проблемы предлагалось использовать не хаотические осцилляторы, а методы на основе импульсного кодирования предварительно оцифрованного информационного потока данных. При этом было предложено в качестве кодирующих импульсов использовать
функции с фрактальным спектром [102]. Ранее исследованная нами проблема
классификации импульсов в виде функции G ( p, t ) (1.34) может быть как раз приr
общена к подобным направлениям, в основе которых лежат принципы импульсного кодирования оцифрованных потоков данных (в передатчике), а в приемном устройстве способы идентификации и последующей интерпретации сигналов работают на основе выделения характерных спектральных закономерностей
анализируемого фрагмента сигнала.
143
Одной из причин рассмотрения проблемы создания схем защиты информации на основе импульсного кодирования стали результаты экспериментального
применения АТК (алгоритм подробно описывается в главе 2) в сочетании с АГК,
а также в сочетании с различными нейросетевым алгоритмами. Результаты проведенных исследований выявили одну закономерность, которая состоит в том, что
если имеется сигнал S (t ) :
S (t ) = S signal (t ) + S noise (t )
- состоящий из аддитивно сложенных двух компонент S signal и S noise , причем удовлетворяющих ограничению на соотношение «шум-сигнал»:
ΛNSR =
Gnoise
≤1
Gsignal
- то характерные структуры сигнала (например, короткие импульсные последовательности) S (t ) могут быть идентифицированы и классифицированы на основе
адаптивного алгоритма (например, ИНС и ВНС) абсолютно точно, если имеется
вся априорная информация о структуре S (t ) , которая используется на этапе настройки адаптивного алгоритма для решения подобной проблемы. Более того, на
основе полученных результатов в функционалах ошибки обнаружены так называемые области идеальной классификации, в которых значение функционала
ошибки равно нулю и не демонстрирует какой-либо зависимости от параметров
фоновых шумов. Согласно результатам, показанным в главе 2, к основным элементам априорной информации для классификации коротких импульсов относятся следующие данные:
1. Количество априори определенных индивидуальных форм импульсов или так
называемых классов, которые присутствуют в исследуемом сигнале S (t ) , а
также их незашумленные формы и спектральные параметры.
2. Спектральные и статистические параметры фоновых шумов S noise , которые аддитивно добавляются к сигналу S signal .
3. Информация о возможных нестационарных изменениях в спектральной структуре S noise , которые могут вносить дополнительный искажающий фактор.
144
Влияние перечисленных факторов подробно описывается в главе 2. Мы не
будем возвращаться к ранее сделанным выводам, а лишь заметим, что отсутствие
знания хотя бы одного из перечисленных пунктов может привести к снижению
точности используемого адаптируемого алгоритма при анализе последовательности зашумленных коротких импульсов, локализованных в сигнале S (t ) . Следовательно, можно заключить, что, например если мы знаем информацию о том, какие
импульсы и шумы применены для генерации S (t ) , то мы можем настроить адаптивный алгоритм и проанализировать данный сигнал S (t ) на предмет идентификации всех импульсных форм и определения временных параметров их генерации, если же мы чего-то не знаем, то мы можем сделать все то же самое, но точность такой процедуры будет ниже. Было предложено [114] использовать данное
свойство и построить такую систему защиты информации, в которой бы оно использовалось наподобие ключа, незнание всех параметров которого не позволяет
корректно получать зашифрованные данные. Рассмотрим один из вариантов разработанной нами схемы кодирования и передачи многоканальной информации на
основе коротких импульсов типа G ( p, t ) (1.34).
r
Алгоритм работы передатчика на основе импульсного кодирования. Предположим, что имеется QC - независимых сообщений, которые могут быть представлены в дискретизованном виде при помощи соответствующих векторов или
матриц I km , k ∈ [1, PI ] , m ∈ [1, QC ] . Для QC - сообщений вводится m − классов импульсов (рис. 2.1) в виде векторов параметров pm для функции G ( pm , t ) , которые
r
r
имеют отличия между собой (длительность каждого импульса QT ∆t ). Алгоритм
работы передатчика может быть построен на основании следующих шагов:
Шаг 1. Зададим параметры D A и Amax в виде положительного целого числа и
определим на основании данного параметра матрицу ν km (3.23).
ν km = (I km + I 0 )
DA
Amax
,
 min{ I km } , ∃ k , m : I km < 0
I0 = 
,
0
,
k
,
m
:
I
0
∀
≥
km

Amax = max { I km + I 0 }
(3.23)
145
Шаг 2. Пересчитаем фрагменты кодового сигнала в виде соответствующих матриц Bkm (t ) . При этом будем использовать источник цветного шума ξ (t ) с равномерной функцией распределения в диапазоне [-1.0,1.0]. Определим параметр aξ
и введем спектральные ограничения для источника цветного шума в диапазоне
[0, f ξ ] (спектральная обработка осуществляется на основе методов спектрального
Фурье – анализа, описанных в главе 1). Рассчитаем матрицу Bkm (t ) в виде (3.24).
r
Bkm (i∆t ) = aξ ξ (i∆t ) + G ( p m , (i −ν km ) ∆t ) , i ∈ [1, DS ] , DS = D A + QT
(3.24)
Шаг 3. Используя начальные условия в виде:
n = 1, ξ
(n )
∈ [1, QC ], ∀m ∈ [1, QC ] : τ m
(n )
1 , m = ξ (n )
=
0 , m ≠ ξ (n )
на основе дельта-коррелированного генератора случайных чисел ξ (n ) и итерационного выражения (3.25) сгенерировать сигнал S (t ) для передающего устройства.
{
}
ξ (n+1) ∈ ξ ξ ∈ [1, QC ] ∧ τ ξ (n ) ≠ PI ,

(n )
(n +1)

τ m + 1 , m = ξ
(n +1) 
[
]
τ
∀
m
∈
1
,
Q
:
=
,

 (n )
C
m
( n +1)

τ
+
0
,
m
≠
ξ

 m
S (i∆t ) = B
(q∆t ) , i = q + DS (n − 1) ∧ q ∈ [1, DS ] .

τ m( n ) ξ ( n )
(3.25)
Примечание: Итерационное выражение (3.25) построено по принципу выбора случайного значения ξ (n ) из отрезка целых значений [1, QC ] , который постепенно сужается по мере того, как возрастают значения элементов вектора
τ m n , m ∈ [1, QC ] . Количество итераций (n ) выражения (3.25) ограничено ве( )
личиной QC PI , n ∈ [1, QC PI ] . Следовательно, столько итераций требуется передающему устройству, для того чтобы закодировать информационный поток,
состоящий из QC − сообщений, распределенных по соответствующим каналам. Столько же итераций будет совершать приемное устройство, анализируя последовательно фрагменты сообщения в виде сигнала S (t ) .
Алгоритм работы приёмника. Алгоритм работы приемника сообщений, зашифрованных согласно итерационному выражению (3.25), реализуется на основе
следующих шагов.
Шаг 1. Начальное значение индекса n приравнивается к 1. Устанавливаются соответствующие значения DA , Amax , DS . Определяется вектор τ m m ∈ [1, QC ] . На основе параметров aξ , fξ , pm , генератора ξ (t ) цветного шума и использования соотr
146
ветствующих шагов 1-5 АТК (глава 2, п.1) проводится адаптация трехслойной
r
ИНС (2.21) Ν NN (x ) , которая задействуется для классификации импульсов G ( pm , t )
r
r
в присутствии аддитивных фоновых шумов snoise (t ) = aξ ξ (t ) .
Шаг 2. При поступлении сигнала по каналу связи производится запись n − ых DS
отсчетов в виде дискретных отсчетов функции S ( (n − 1)DS ∆t + q∆t ) , q ∈ [1, DS ]
(3.26). Далее полученный n − ый фрагмент обрабатывается согласно ранее введенному методу АПИ (см. глава 2, (2.9),(2.10)). При использовании АПИ определяется искомый импульс (2.1) и его центр в виде κ ′ :
κ′ = κ +
QT
+ ∆ C , κ ′ ∈ [1 , DS ] ,
2
( ∆ C − это ошибка АПИ (2.8), κ − временной отсчет начальной точки импульса) и
идентифицировать импульс в виде вектора xinχ , i ∈ [1, QT ] , который принадлежит
пока еще неизвестному классу номер χ для n − ой итерации:
r
S ( DS ∆t (n − 1) + q∆t ) = aξ ξ (q∆t ) + G ( p χ , ∆t (q − κ )) , q ∈ [1, DS ]
xinχ = S ( (DS (n − 1) + i + κ ) ∆t ) , i ∈ [1, QT ]
κ = κ′−
(3.26)
QT
− ∆C
2
Шаг 3. Предварительно идентифицированный импульс xinχ на n − ом фрагменте
r
подвергается классификации на основе адаптированной ИНС Ν NN (x ) . Интерr
претация принадлежности классифицируемого импульса xiχ k проводится при помощи минимизации функционала RC χ (3.27).
R(m ) =
r
∑ ( Ν (x χ ) − y )
N3
j =1
NN
m
n
j
2
j3
(3.27)
( Ν j NN (x nχ ) - реакция используемой трехслойной ИНС, с количеством выходов N 3 ;
r
χ
y j 3 - фиксированные значения, используемые при адаптации данной ИНС на ша-
ге 1). При оптимизации R(m ) необходимо определить m , используя следующие
условия (3.28).
m = χ 0 , R(χ 0 ) = min (R )
(3.28)
Шаг 4. Определенный таким образом номер класса в виде m используется при
дешифрации информационных сообщений в виде I km + I 0 (3.29).
Шаг 5. Осуществлять повтор шагов 2-4 , каждый раз увеличивая n и определяя
на основе нейросетевой классификации m , пока не выполнится условие n = QC PI .
147
(n )

τ c + 1 , c = m
( n +1) 
∀c ∈ [1, QC ] : τ c
=  (n )
τ c + 0 , c ≠ m



Q


Amax  κ ′ − T − ∆ C 

2

 , k = τ (n )
I + I =
km
0
m

DA
(3.29)
На основе выше описанных шагов алгоритмов передающего и принимающего устройств может быть построена опытная модель реального устройства,
способного передавать и принимать информацию в зашифрованном виде. Мы не
проводили опытно-конструкторских работ в данном направлении, а ограничились
лишь математическим моделированием алгоритмов передатчика и приемника. В
предложенной нами модели передатчик работал, кодируя изображения (рис. 3.3),
и передавал по моделируемому каналу связи в приемник. Приведем основные параметры проводимых численных экспериментов. В численных экспериментах
применялись пары импульсов, для которых параметр ∆ x < 0.2 . Амплитуда сигнала
шума aξ подбиралась таким образом, что соотношение «шум-сигнал» ΛNSR не превышало значение 0.2. Параметры:
fξ =
1000 Гц,
∆t = 0,0001с,
D A = 255,
PI = 400*600, QC = 2 . В проведенном численном эксперименте была смоделиро-
вана работа одного передатчика «Т» и двух приемников «R1» и «R2» согласно
выше описанным алгоритмам. Причем первый приемник был построен на базе алгоритма, использующего АГК в качестве классификатора, а во втором приемнике
использовалась предварительно обученная ИНС согласно АТК. Как показал эксперимент, приемник, «не знающий» априори состав несущих импульсов, не обладает хорошей точностью при классификации зашумленных импульсов. Прежде
всего, это связано с тем, что формы импульсов и фоновый источник цветного шума подобраны таким образом, чтобы максимально скрыть всю информацию о
принадлежности к определенному классу для каждого несущего импульса. Однако при этом априори адаптированные алгоритмы сохраняют свои способности к
устойчивой классификации, что и было продемонстрировано в численном эксперименте.
148
Рисунок 3.3 – графические построения. А - результаты проведения численного эксперимента («Т» - передатчик , «R1» - приемник с АГК - дешифрацией, «R2» - приемник с
ИНС – дешифрацией, «1,2»- исходные два информационных сообщения в виде картинок, «3,4»- два неправильно дешифрированных сообщения методом взлома, «5,6» - правильно дешифрированные сообщения). Б – импульсное кодирование в режиме 4–х канальной передачи. В – импульсное кодирование в режиме 27 – ми канальной передачи
данных.
149
Далее предложенный алгоритм модернизировался – добавились еще дополнительные информационные каналы в количестве 4-х (рис.3.3,Б) и 27-ми (рис.3.3,В).
При этом, для сохранения устойчивости алгоритма добавили корректировку в алгоритм приемника и передатчика, расширив количество классов импульсов, применяемых для построения матрицы Bkm (t ) ( N C > 1 , N C − количество импульсов типа
G , использованных для выражения (3.24) матрицы Bkm (t ) ). Согласно полученным
результатам техника импульсного кодирования подтвердила свою эффективность.
С ростом количества информационных каналов может существенно усложняться
матрица Bkm (t ) , а следовательно, и алгоритм передатчика, что во много раз повышает степень защищенности передаваемых сообщений. По экспериментальным
расчетам для взлома передающего устройства (рис.3.3 А) необходимо потратить
операций QC N
C N CHANNELQW
- штук: N C − количество импульсов типа G , использованных
для матрицы Bkm (t ) ; QC − количество классов импульсов G ; N CHANNEL − количество
каналов, кодируемых передатчиком; QW − количество зашумленных импульсов,
которые не классифицируются автоматическим методом. Для примера, показанного на рисунке 3.3, А необходимое количество переборов 2192000, что по современным стандартам защищенности передаваемого сообщения является достойным результатом, который может гарантировать большие сложности при осуществлении простых способов дешифрации.
150
Основные выводы к главе 3
В данной главе представлены основные результаты по практическому применению методов, детально рассмотренных и проанализированных во второй главе согласно АТК. По полученным результатам практического применения и численных симуляций можно сформулировать следующие выводы.
1. Показана эффективность применения адаптивного НВП в алгоритме комбинированной фильтрации Φ Ι − Φ ΙΙ . Существенно повышена точность идентификации паттернов типа SS по сравнению со стандартными методами, использующими НВП.
2. Для сигналов, полученных на основе доплеровской анемометрии, разработан
метод адаптивного анализа на основе ранее введенных функционалов типа R D
и типа RI . Данные сигналы являются нестационарными, поэтому применение
преобразования Фурье оказалось малоэффективным, в то время как решение
задачи оптимизации R D и RI позволило решить задачу идентификации нужных
фрагментов сигналов и обнаружить пороговый критерий в классификации
нормального и патологического состояний.
3. Результаты исследований применения ИНС в рамках АТК к решению задачи
классификации коротких импульсных сигналов были положены в основу разработанного метода импульсного кодирования и передачи информации в защищенном режиме. Предложенные способы многоканальной передачи данных
по одному каналу связи прошли успешные испытания в виде численной симуляции работы приемника и передатчика для 2-х, 4-х и 27-ми одновременно передаваемых сообщений.
151
Заключение
В данной работе были рассмотрены алгоритмы адаптивного анализа нестационарных зашумленных сигналов. При этом разработаны и предложены методы,
способные идентифицировать и классифицировать короткие импульсы типа (2.1),
длительные осцилляторные структуры ( SS , SWD ) на ЭЭГ и нестационарные сигналы, полученные на основе доплеровской анемометрии. Все эти задачи решены
на основе методов адаптивного непрерывного вейвлет-анализа, в котором используются элементы стохастической оптимизации для функционалов типа RD (2.17) и
RI (2.18). Эти методы показали свою универсальность и при незначительных мо-
дификациях оказались в состоянии решать самые разные научно-практические задачи. Отдельное внимание было уделено тому, как можно использовать многослойные сетевые алгоритмы на примере ИНС и ВНС при решении задач классификации зашумленных импульсов. Для эффективного применения ВНС был разработан специальный метод, использующий АПК. АПК позволил получить результаты, по точности сравнимые с результатами ИНС и даже в некоторых случаях их превосходящие. В рамках решения задачи классификации коротких импульсов была также рассмотрена проблема их идентификации на основе различного
рода пороговых алгоритмов. Одним из таких алгоритмов стал новый метод на основе АПИ, который вскрыл массу нюансов в решении подобного рода задач. Разработана математическая модель импульсного кодирования и передачи многоканальной информации в защищенном режиме. Результаты численных экспериментов подтвердили эффективность методов импульсного кодирования, которые являются по своей сути применением всех полученных результатов по классификации и анализу коротких импульсов (2.1) при наличии аддитивных фоновых помех.
Построена модель приемника и передатчика информации в защищенном режиме.
Предложенные новые схемы и методы адаптивного анализа можно и нужно
модернизировать для решения ряда других проблем современного прикладного
анализа сигналов. Потому что согласно представленным результатам численных
экспериментов эффективность разработанных методов и алгоритмов бесспорна.
152
Список сокращений и условных обозначений
АГК
- анализ главных компонент
АПК
- алгоритм последовательных коррекций
АТК
- алгоритм тестовой классификации
АПИ
- адаптивная пороговая идентификация
ВНС
- «вейвлетная» нейронная сеть
ИНС
- искусственная нейронная сеть
ИПИ
- идеальная пороговая идентификация
МОРО
- метод обратного распространения ошибки
НВП
- непрерывное вейвлет-преобразование
СПИ
- стандартная пороговая идентификация
ЭЭГ
- электроэнцефалограмма
SS
- сокращение от английского «sleeping spindle»
SWD
- сокращение от английского «spike wave discharge»
153
Список литературы
[1]
Гоноровский, И.С. Радиотехнические цепи и сигналы / И.С. Гоноровский. – М.:
Сов. Радио, 1977. – 608 с.
[2]
Френкс, Л. Теория сигналов./ Л. Френкс – М.: Сов. радио, 1974. – 344 с.
[3]
Оппенгейм, А. В. Цифровая обработка сигналов / А.В. Оппенгейм, Р.В. Шафер. –
М.: Связь, 1979. – 416 с.
[4]
Уидроу, Б. Адаптивная обработка сигналов / Б. Уидроу, С. Стирнз. – М.: Радио и
связь, 1989. – 219 с.
[5]
Зинчук, В.М. Адаптивная цифровая фильтрация шумоподобных сигналов в
радиотехнических системах / В.М. Зинчук, Ю.Г. Сосулин, А.Е. Лимарев,
Н.П.Мухин // Цифровая обработка сигналов. – 2000. – № 1. – С. 4.
[6]
Кириллов, С.Н. Оптимизация устройств цифровой обработки сигналов по
комбинированному критерию среднего квадрата ошибки / С.Н. Кириллов,
М.В.Степанов // Цифровая обработка сигналов. – 2000. – № 1. – С. 27.
[7]
Трахтман, А.М. Основы теории дискретных сигналов на конечных интервалах. /
А.М. Трахтман, В.А. Трахтман М.: Сов. Радио,1975. -208с.
[8]
Романовский, П.И. Ряды Фурье. Теория поля. Аналитические и специальные
функции. Преобразование Лапласа / П.И. Романовский. – М.: Наука, 1964. – 304 с.
[9]
Malla, S. A wavelet tour of signal processing / S. Malla. - San Diego: Academic press,
2005. – 577 с.
[10]
Добеши, И. Десять лекций по вейвлетам / И. Добеши. – Ижевск: НИЦ
«Регулярная и хаотическая динамика», 2001. – 464 с.
[11]
Хайкин, С. Нейронные сети: полный курс / С. Хайкин 2-е издание. : Пер.с англ. –
М.: Издательский дом «Вильямс», 2006. – 1104 с.
[12]
Rumelhart, D.E. Learning representations of back-propagation errors / D.E. Rumelhart,
G.E. Hinton, R.J. Williams // London: Nature, 1986. – Vol. 323. – P. 533
[13]
Sosnovtseva, O.V. Double wavelet approach to study frequency and amplitude
modulation in renal auto regulation/ O.V. Sosnovtseva, A.N. Pavlov, E. Moisekild, N-H
Holstein- Rathlou, D.J. Marsh // Physical review E. – 2004. – DOI: 10.1103
/PhysRevE.70.031915.
[14]
Becerra, V.M. Neural and wavelet network models for financial distress classification /
V.M. Becerra, R.K.H. Galvao, M. Abou-Seada // Data Mining and Knowledge Discovery. – 2005. – № 11 – Р. 35
154
[15]
Ramana, R.V. Monthly rainfall prediction using wavelet neural network analysis /
R.V.Ramana, B. Krishna, S.R. Kumar, N.G. Pandey // Water Resour Manage. – 2013.
– № 27 – Р. 3697
[16]
Гольденберг,
Л.М.
Цифровая
обработка
сигналов
/
Л.М.
Гольденберг,
Б.Д.Матюшкин, М.Н. Поляк. – М.: Радио и связь, 1990. – 256 с.
[17]
Бендат, Дж. Прикладной анализ случайных данных / Дж. Бендат, А. Пирсол. – М.:
Мир, 1989. – 540 с.
[18]
Танканаг, А.В. Адаптивный вейвлет – анализ колебаний периферического кровотока кожи / А.В.Танканаг, Н.К. Чемерис // Биофизика. – 2009. - № 3. – С. 537
[19]
Lewicki, M.S. A review of methods for spike sorting: the detection an classification of
neural action potentials / M.S. Lewicki // Network Comput. Neural Syst. – 1998. – Vol.
9. – P. 53
[20]
Макаров, В.А. Сортировка нейронных спайков на основе параметрического
вейвлет-анализа с адаптивной фильтрацией / В.А. Макаров, А.Н. Павлов,
А.Н.Тупицын // Цифровая обработка сигналов. – 2008. – № 3. – С. 26
[21]
Тупицын, А.Н. Идентификация потенциалов действия малых ансамблей нейронов
с применением вейвлет-анализа и метода нейронных сетей / А.Н.Тупицын,
А.И.Назимов, А.Н. Павлов // Известия Саратовского университета. Новая серия
(Физика). -2009. -№ 2. -С.57
[22]
Думский, Д.В. Классификация нейронных потенциалов действия на основе
вейвлет - преобразования / Д.В. Думский, А.Н. Павлов, А.Н. Тупицын, В.А.Макаров // Изв. вузов. Прикладная нелинейная динамика. – 2005.– № 5–6. – С. 77
[23]
Hulata, E. A method for spike sorting and detection based on wavelet packets and
Shannon’s mutual information / E. Hulata, S. Ronen, B. Eshel // Journal of Neuroscience Methods. – 2002. – Vol. 117. – P. 1
[24]
Letelier, J. Spike sorting based on discrete wavelet transform coefficients/ J. Letelier,
P. Weber // Journal of Neuroscience Methods. – 2000. – Vol. 101. – P. 93
[25]
Pavlov, A.N. Sorting of extracellular spikes: When wavelet based methods outperform
the principle component analysis / A.N. Pavlov, V.A. Makarov, I.А. Makarova,
F.Panetsos // Nat. Comp. – 2007. – № 6. – Р. 269
[26]
Сосулин, Ю.Г. Метод инвариантного нейросетевого распознавания двумерных
изображений / Ю.Г. Сосулин, Фам Чунг Зунг // Радиотехника и электроника. –
2004. – № 5. – С. 595
155
[27]
Саблин, В.Н. Нейросетевое распознавание спектральных портретов воздушных
объектов при наблюдении методом теневого инверсного радиолокационного
синтезирования апертуры / В.Н. Саблин, В.В. Чапурский, А.П. Шейко //
Радиотехника и электроника. – 2004. – № 2. – С. 184
[28]
Чесноков, Ю.В. Дискретное вейвлет-преобразование в обработке электрокардиограмм с мерцательной аритмией / Ю.В. Чесноков, В.И. Чижиков //
Цифровая обработка сигналов. – 2003. – № 3. – С. 13
[29]
Чесноков, Ю.В. Вейвлет - преобразование для удаления шума, сжатия и анализа
электрокардиограмм /Ю.В. Чесноков, В.И. Чижиков, С.А. Резинькова // Цифровая
обработка сигналов. - 2004. – № 1. – С. 35.
[30]
Bracewell, R.N. The Fourier Transform and Its Application / R.N. Bracewell – Boston:
Mc Graw Hill, 2000. -597p.
[31]
Мишин, Д.В. Адаптивная фильтрация и кодирование в последовательных
системах передачи дискретных сообщений по многолучевым каналам связи:
автореф. дис. канд. техн. наук: 05.12.13 / Мишин Дмитрий Викторович. – Самара,
1996. – 18 с.
[32]
Кобелев, В.Ю. Сжатие сигналов и изображений при помощи оптимизированных
вейвлет-фильтров: автореф. дис. канд. техн. наук: 05.12.04 / Кобелев Владимир
Юрьевич. – Москва., 2006. – 18 с.
[33]
Савватин, А.И. Применение цифровых банков вейвлет-фильтров в задаче
маскирования речевых сигналов: автореф. дис. канд. техн. наук: 05.12.04 /
Савватин, Алексей Иванович. – Владимир, 2012. – 20 с.
[34]
Якушев, Д.В. Исследование обратной задачи для голосового источника с
помощью процедуры реконструкции математических моделей речевого процесса:
автореф. дис. канд. техн. наук: 05.13.18 / Якушев Дмитрий Владимирович. –
Ставрополь, 2008. – 19 с.
[35]
Кудинов,
А.А.
Использование
распознавания
образов
для
обработки
и
восстановления музыкальных сигналов: дис. канд. техн. наук: 05.12.04 / Кудинов
Александр Александрович. – Москва., 2003. – 180 с.
[36]
Волохов, В.А. Фильтрация цифровых изображений на основе анализа главных
компонент и нелокальной обработки: автореф. дис. канд. техн. наук: 05.12.04 /
Волохов Владимир Андреевич. – Владимир, 2012. – 20 с.
[37]
Болдырев, С.В. Фильтрация сигналов посредством вейвлет-преобразования в
нейросетевых системах классификации образов: автореф. дис. канд. техн. наук:
05.13.18 / Болдырев Сергей Владимирович. – Ставрополь, 2012. – 22 с.
156
[38]
Вежневец, В.П. Алгоритмы анализа изображения лица человека для построения
интерфейса человек-компьютер: дис. канд. физ.-мат. наук: 05.13.11 / Вежневец
Владимир Петрович. - Москва., 2004. – 138 с.
[39]
Куликов, Д.Л. - Методы маскирования искажений в видео потоке после сбоев в
работе кодека: дис. канд. физ.-мат. наук: 05.13.11 / Куликов Дмитрий Леонидович.
– Москва, 2009. – 164 с.
[40]
Дженкинс, Г. Спектральный анализ и его приложения / Г. Дженкинс, Д. Ваттс. –
М.: Мир, 1971. – 316 с.
[41]
Chui, C.K. An introduction to wavelets / C.K. Chui. - San Diego: Academic press,
2001. – 264 р.
[42]
Короновский, А. А. Непрерывный вейвлет – анализ и его приложения /
А.А.Короновский, А.Е.Храмов. — М.: Физматлит, 2003. – 176 с.
[43]
Новиков, Л.В. Модифицированные вейвлеты и их приложения / Л.В. Новиков //
Радиотехника и электроника. – 2006. – № 11. – С. 1337.
[44]
Андронов,
А.М.
Теория
вероятности
и
математическая
статистика
/
А.М.Андронов, Е.А.Копытов, Л.Я.Гринглаз. - М.: Питер, 2004. - 461 с.
[45]
Рытов, С.М. Введение в статистическую радиофизику. Часть 1. Случайные
процессы. / С.М. Рытов. – М.: Наука, 1976. – 491с.
[46]
Соболь, И.М. Численные методы Монте-Карло / И.М. Соболь. – М.: Наука, 1973.
– 308 с.
[47]
Евдокимов, А.Г. Минимизация функций / А.Г. Евдокимов. – Харьков: Вища
школа, 1977. – 160 с.
[48]
Гилл, Ф. Численные методы условной оптимизации / Ф. Гилл, У. Мюррей. – М.:
Мир, 1977. – 290 с.
[49]
Шор,
Н.З.
Методы
минимизации
недифференцируемых
функций
и
их
приложения / Н.З. Шор. – Киев: Наук. Думка, 1979. – 200 с.
[50]
Майника, Э. Алгоритмы оптимизации на сетях и графах / Э. Майника. – М.: Мир,
1981. – 323 с.
[51]
Банди, Б. Методы оптимизации / Б. Банди. Пер. с англ. – М.: Радио и связь, 1988.
– 126 с.
[52]
Жилинскас, А. Поиск оптимума / А.Жилинскас, В.Шалтянис. – М.: Наука, 1989. –
128 с.
[53]
Кандидов, В.П. Метод Монте-Карло в нелинейной статистической оптике/
В.П.Кандидов // Успехи физических наук. – 1996. – № 12 – С. 1309.
157
[54]
Измаилов, А.В. Численные методы оптимизации / А.В. Измаилов, М.В. Солодов.
– М.: Физматлит, 2005. – 304 с.
[55]
Андронов, А.А. Теория колебаний / А.А. Андронов, А.А. Витт, С.Э. Хайкин. - М.:
Государственное издательство физико-математической литературы, 1959. – 916 с.
[56]
Анищенко, В.С. Знакомство с нелинейной динамикой / В.С. Анищенко. – МоскваИжевск: Институт компьютерных исследований, 2002. – 144 с.
[57]
Анищенко, В.С. Стохастический резонанс как индуцированный шумом эффект
увеличения степени порядка / В.С. Анищенко, А.Б. Нейман, Ф. Мосс, Л. Шиманский-Гайер // Успехи физических наук. – 1999. - № 1. – С. 7.
[58]
Лоскутов, А.Ю. Очарование хаоса / А.Ю. Лоскутов // Успехи физических наук. –
2010. - № 12. – С. 1305.
[59]
Bishop, C.M. Neural networks for pattern recognition/ C.M. Bishop – Oxford:
Clarendon Press, 1995. – 498 p.
[60]
Ripley, B.D. Pattern recognition and neural networks / B.D. Ripley – Cambridge:
University Press, 1996. – 410 p.
[61]
Елисеева, И.И. Группировка, корреляция, распознавание образов / И.И. Елисеева,
В.О. Рукавишников. – М.: Статистика, 1977. – 144 с.
[62]
Абарбанель, Г.Д.И. Синхронизация в нейронных ансамблях / Г.Д.И. Абарбанель,
М.И. Рабинович, А. Селверстон, М.В. Баженов, Р.Хуэрта, М.М. Сущик, Л.Л.Рубчинский // Успехи физических наук. – 1996. – № 4. – С. 362.
[63]
Сидоренко, А.В. Электроэнцефалографические сигналы как сложные нелинейные
колебания, отображающие процессы головного мозга / А.В. Сидоренко,
Н.А.Солонович // Радиотехника и электроника. – 2006. – № 4. – С. 474.
[64]
Божокин, С.В. Вейвлет-анализ нестационарной вариабельности сердечного ритма
при проведении ортостатической пробы / С.В. Божокин, Е.М. Лесова, В.О.Самайлов, П.И. Толкачев // Биофизика. – 2012. – № 4. – С. 696.
[65]
Павлов, А.Н. Вейвлет – анализ в нейродинамике / А.Н. Павлов, А.Е. Храмов, А.А.
Короновский, Е.Ю.Ситникова, В.А. Макаров, А.А. Овчинников // Успехи
физических наук. – 2012. – № 9. – С.905.
[66]
Fernandez-Ruiz, A. Schaffer-Specific Local field potentials reflect discrete excitatory
events at gamma frequency that may fire postsynaptic hippocampal CA1 units /
A.Fernandez-Ruiz, V.A. Makarov, N. Benito, O. Herreras // The Journal of neuroscience. -2012. DOI: 10.1523.
158
[67]
Makarov, V.A. Desinteglement of local field potential sources by independent
component analysis / V.A. Makarov, J. Makarova, O. Herreras// J. Comput. Neurosci. –
2010. DOI: 10.1007
[68]
Scott, A. C. Neuroscience: a mathematical primer / Alan S. Scott. – New York:
Springer–Verlag, 2002. – 341 p.
[69]
Jobert, M. Automatic analysis of sleep using two parameters based on principal
component analysis of electroencephalography spectral data / M. Jobert, H. Escola,
E.Poiseau, P. Gaillard // Biol. Cybern. – 1994. – № 71. – Р. 197.
[70]
Hо, Choi Kyoung Mental tasks discrimination
by neural network with wavelet
transform / Choi Kyoung Ho, Minoru Sasaki // Mycrosyst. Technol. – 2005. – № 11. –
Р. 933.
[71]
Sinha, R.K. Artificial neural networks and wavelet based automated detection of sleep
spindles, REM sleep and wake states / R.K. Sinha // J. Med. Syst. – 2008. – № 32. – Р.
291.
[72]
Костюнина, М.Б. Метод вейвлет-анализа и его применение для исследования
биопотенциалов при решении вербальной задачи // М.Б. Костюнина, А. Посада /
Биофизика. – 2012. – № 4. – С. 726.
[73]
Бобров, П.Д. Байесовский подход к реализации интерфейса мозг-компьютер,
основанного на представлении движений / П.Д. Бобров, А.В. Коршаков,
В.Ю.Рощин, А.А. Фролов // Журнал высшей нервной деятельности им.
И.П.Павлова. – 2012. – № 1. – С. 89.
[74]
Трембач, А.Б. Амплитудная модуляция электроэнцефалограммы, связанная с инициацией и прекращением движения / А.Б. Трембач, С.Р. Гутман, А.Л. Корепанов,
О.В. Пирожков // Биофизика. – 1990. – № 5. – С. 850.
[75]
Sitnikova, E.Y. Sleep spindles and spike – wave discharges in EEG: Their generic
features, similarities and distinction disclosed with Fourier transform and continuous
wavelet analysis / E. Y Sitnikova, A.E. Hramov, A.A. Koronovsky, G. van Luijtelaar //
Journal of neuroscience methods. – 2009. – Vol. 180. – № 2. – Р. 304.
[76]
Ovchinnikov, A.А. An algorithm for real- time detection of spike wave discharges in
rodents / A.А. Ovchinnikov, A. Luttjohann, A.Е. Hramov, G. van Luijtelaar // Journal
of neuroscience methods. – 2010. – Vol. 194. – Р. 172.
[77]
Pereyra, M.E. Wavelet Jensen-Shannon divergence as a tool for studying the dynamics
of frequency band components in EEG epileptic seizures / M.E. Pereyra, P.W.Lamberti,
O.A. Rosso // Physica A. – 2007. – № 379. – Р. 122.
159
[78]
Sezer, E. Employment and comparison of different artificial neural networks for
epilepsy diagnosis from EEG signals / E. Sezer, H. Isik, E. Saracoglu // J. Med. Syst. –
2012. – № 36. – Р. 347.
[79]
Кузнецов, Г.Д. Картирование разрядов пик-волна у крыс линии WAG/Rij/
Г.Д.Кузнецов, А.М. Спиридонов // Журнал высшей нервной деятельности им.
И.П.Павлова. – 1998. – № 4. – С. 664.
[80]
Левшина, И.П. Временная последовательность возникновения спайк – волновых
разрядов в неокортексе и спонтанных вздрагиваний у крыс с абсансной
эпилепсией (WAG\Rij) / И.П. Левшина, Н.Н. Шуйкин, Г.Д. Кузнецова, Ж. Ван
Луителаар // Журнал высшей нервной деятельности. – 2006. – №5. – С. 691.
[81]
Плетнева, Е.В. Особенности моторной асимметрии у крыс с генетической
эпилепсией (линии WAG/Rij) / Е.В. Плетнева // Журнал высшей нервной
деятельности им. И.П. Павлова. – 1999. – №3. – С. 483.
[82]
Овчинников, А.А. Методы диагностики характерных паттернов на наблюдаемых
временных рядах и его экспериментальная реализация в режиме реального
времени применительно к нейрофизиологическим сигналам / А.А. Овчинников,
А.Е. Храмов, А. Люттьехан, А.А. Короновский, Ж. ван Люжетаалар // Журнал
технической физики. – 2011. – № 1. – С. 3.
[83]
Мидзяновская, И.С. Два типа разрядов «пик-волна» на электрокортикограмме
крыс линии WAG/ Rij генетической модели absence –эпилепсии / И.С. Мидзяновская // Журнал высшей нервной деятельности им. И.П. Павлова. – 1999. – № 5. –
С. 855.
[84]
Базян, А.С. Возможные механизмы формирования особенностей поведения крыс
линии WAG/Rij / А.С. Базян, И.С. Мидзяновская, Г.Д. Кузнецова, К.Ю. Саркисова, В.М. Гецова, Н.В. Орлова, А.А. Лушкин // Журнал высшей нервной деятельности им. И.П. Павлова. – 2001.– № 6. – С. 709
[85]
Саркисова, К.Ю. Дофамин-зависимый характер депрессивноподобного поведения у крыс линии WAG/ Rij с генетической absence – эпилепсией / К.Ю. Саркисова, М.А. Куликов, И.С. Мидзяновская, А.А. Фоломкина // Журнал высшей
нервной деятельности им. И.П. Павлова. – 2007. – № 1. – С. 91
[86]
Ситникова, Е.Ю. Возрастные изменения частотно – временной структуры сонных
веретен на ЭЭГ у крыс с генетической предрасположенностью к абсанс – эпилепсии (линия WAG\Rij) / Е.Ю. Ситникова, В.В. Грубов, А.Е.Храмов, А.А. Короновский // Журнал высшей нервной деятельности им. И.П. Павлова. – 2012. – №6. –
С.733
160
[87]
Куликова, С.Н. Цитоморфологические особенности коры головного мозга крыс с
наследственной предрасположенностью к абсанс-эпилепсии / С.Н. Куликова,
Е.Ю. Ситникова, В.В. Раевский // Журнал высшей нервной деятельности им.
И.П.Павлова. – 2009. – № 4. – С. 506
[88]
Федотчев, А.И. Фотоиндуцированные резонансные явления в электроэнцефалограмме человека как функция частоты, интенсивности и длительности стимуляции / А.И. Федотчев // Биофизика. – 2001. -№1. - С. 112
[89]
Козлов, М.К. Новый метод разложения электроэнцефалограммы в систему
колебаний, обеспечивающий анализ ЭЭГ–феноменов различной длительности /
Козлов М.К., Думенко В.М. // Журнал высшей нервной деятельности им.
И.П.Павлова. – 1990. – № 5. – С.1004
[90]
Ефремова, Т.М. О структуре фоновой ЭЭГ кролика в высокочастотной части
спектра / Ефремова Т.М., Куликов М.А., Козлов М.К., Резвова И.Р. // Журнал
высшей нервной деятельности им. И.П. Павлова. – 1991. – № 4. – С.761
[91]
Думенко, В.Н. Компьютерный анализ ЭЭГ - межсигнальных реакций в процессе
выработки двигательных пищевых и условных рефлексов у собак / В.Н. Думенко,
М.К. Козлов // Журнал высшей нервной деятельности им. И.П. Павлова. – 1991. –
№ 6. – С. 1119
[92]
Павлыгина, Р.А. Спектральные характеристики электрической активности мозга
кролика при состоянии голода / Р.А. Павлыгина, Ю.В. Любимова // Журнал высшей нервной деятельности им. И.П. Павлова. – 1994. -№ 1. – С. 57
[93]
Lawhern, V. Detection and classification of subject-generated artifacts in EEG signals
using autoregressive models / V. Lawhern, W.D. Hairston, K. McDowell, M.Westerfield, K. Robbins // Journal of Neuroscience Methods. – 2012. – №208. – Р. 181
[94]
Астафьева, Н.М. Вейвлет-анализ: основы теории и примеры применения /
Н.М.Астафьева // Успехи физических наук. – 1996. – № 11. – С. 1145.
[95]
Дремин, И.М. Вейвлеты и их использование / И.М. Дремин, О.В. Иванов, В.А.Нечитайло // Успехи физических наук. - 2001. – № 5. – С. 465.
[96]
Павлов, А.Н. Цифровая фильтрация и частотно-временной анализ нестационарных сигналов на основе вейвлетов и эмпирических мод / А.Н. Павлов, А.Е.Филатова, А.Е. Храмов // Радиотехника и электроника. – 2011. – № 9. – С. 1099.
[97]
Ubeyli, E.D. Wavelet-based neural network analysis of internal carotid arterial Doppler
signals / E.D. Ubeyli, I. Guler // J. Med. Syst. – 2006. – № 30. – Р. 221
161
[98]
Бельский, Ю.Л. Передача информации с помощью детерминированного хаоса /
Ю.Л. Бельский, А.С. Дмитриев // Радиотехника и электроника. – 1993. – № 7. –
С.1310.
[99]
Дмитриев, А.С. Эксперименты по передаче информации с использованием хаоса
через радиоканал / А.С. Дмитриев, Л.В. Кузьмин, А.И. Панас, С.О. Старков // Радиотехника и электроника. – 1998.– № 9. – С.1115
[100] Дмитриев, А.С. Высокоскоростная передача цифровых данных с использованием
динамического хаоса / А.С. Дмитриев, С.В. Емец, С.О. Старков // Радиотехника и
электроника. – 1999.– № 3. – С.324
[101] Дмитриев, А.С. Сверхширокополосная беспроводная связь на основе динамического хаоса / А.С. Дмитриев, А.В. Клецов, А.М., Лактюшкин, А.И. Панас,
С.О.Старков // Радиотехника и электроника – 2006.– №. 10. – С.1193
[102] Болотов, В.Н. Фрактальная система связи / В.Н. Болотов, Ю.В. Ткач // ЖТФ. –
2008.– № 9. – С. 91
[103] Короновский, А.А. О применении хаотической синхронизации для скрытой
передачи информации / А.А. Короновский, О.И. Москаленко, А.Е. Храмов //
Успехи физических наук. - 2009. – № 12. – С.1281.
[104] Калиткин, Н.Н. Численные методы / Н.Н. Калиткин. – М.: Наука, 1978. – 512 с.
[105] Турчак, Л.И. Основы численных методов / Л.И. Турчак, П.В. Плотников. - М.:
Физматлит, 2005. – 304с.
[106] Chen, Y. Times-series prediction using a local linear wavelet neural network / Y. Chen,
B.Yang, J.Dong // Neurocomputing. – 2006. – Vol. 69. – P. 449
[107] Cao, J. Application of the diagonal recurrent wavelet neural network to solar irradiation
forecast assisted with fuzzy technique / J. Cao, X. Lin // Engineering applications of
artificial intelligence. – 2008. – Vol. 21. – P.1255
[108] Nazimov, А.I. Serial identification of EEG patterns using adaptive wavelet-based analysis// Nazimov А.I. Pavlov A.N. Nazimova A.A. Grubov V.V. Koronovskii A.A. Sitnikova E. Hramov A.E./ The European Physical Journal Special Topics -2013 -V.222 №10 -P.2713
[109] Nazimov, A.I. Adaptive wavelet-based recognition of oscillatory patterns on electroencephalograms / A.I. Nazimov, A.N. Pavlov, A.E. Hramov, V.V.Grubov, A.A.Koronovskii, E. Sitnikova // Proceedings of SPIE – 2013. –V. 8580. -P.85801D.
162
[110] Pavlov, A.N. Wavelet-based analysis of cerebrovascular dynamics in newborn rats with
intracranial hemorrhages / A.N. Pavlov, A.I.Nazimov, O.N. Pavlova, V.V. Lychagov,
V.V. Tuchin // Journal of innovative optical health sciences -2014. -V.7 -№1. P.1350055.
[111] Nazimov, A.I. Classification of spiking events with wavelet neural networks / A.I. Nazimov, A.N. Pavlov // Proceedings of SPIE – 2011. –V. 7898. –P.789815(5)
[112] Назимов, А.И. Адаптивный метод распознавания характерных осцилляторных
паттернов на основе вейвлет-преобразования / А.И. Назимов, А.Н. Павлов,
А.Е.Храмов, В.В. Грубов, Е.Ю. Ситникова, А.А. Короновский // Радиотехника и
электроника -2013. -№8. -С.789
[113] Назимов, А.И. Адаптивный вейвлет-анализ данных оптической когерентной
томографии: применение в задачах диагностики / А.И. Назимов, А.Н.Павлов,
В.В.Лычагов, О.В.Семячкина-Глушковская // Письма в журнал технической физики. - 2013. -№19. -С.86
[114] Назимов, А.И. Метод защиты передаваемой информации с использованием
нейросетевого детектирования / А.И. Назимов, А.Н. Павлов // Письма в журнал
технической физики. – 2013. -№18. -С.61
[115] Назимов, А.И. Применение вейвлет–анализа и искусственных нейронных сетей к
решению задачи распознавания формы импульсных сигналов при наличии помех
/ А.И. Назимов, А.Н. Павлов // Радиотехника и электроника -2012. -№7. -С.771