РАЗРАБОТКА И ИССЛЕДОВАНИЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ УПРАВЛЕНИЯ

На правах рукописи
Хоанг Куанг Тинь
РАЗРАБОТКА И ИССЛЕДОВАНИЕ
НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ УПРАВЛЕНИЯ
Специальность 05.13.01
Системный анализ, управление и обработка информации
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Москва - 2006
Работа выполнена на кафедре Систем автоматического управления,
Московского
государственного
технического
университета
имени Н.Э. Баумана.
Научный руководитель:
Кандидат технических наук, доцент
Гаврилов Александр Игоревич
Официальные оппоненты: Доктор технических наук, профессор
Царегородцев Антолий Валерьевич
Кандидат технических наук, доцент
Тюхов Борис Петрович.
.
Ведущая организация: Институт системного программирования РАН.
Защита состоится «____»____________ 2006 г. в _____ часов на заседании
диссертационного совета Д212.141.02 Московского государственного
технического университета имени Н.Э. Баумана по адресу: Москва, 107005,
ул. 2-я Бауманская, д. 5.
С диссертацией можно ознакомиться в библиотеке Московского
государственного технического университета имени Н.Э. Баумана.
Автореферат разослан «____»____________ 2006г.
Отзывы, заверенные печатью организации, просим направлять по адресу:
105005, г. Москва, 2-я Бауманская ул., д. 5, МГТУ им. Н.Э. Баумана,
ученому секретарю диссертационного совета Д212.141.02.
Ученый секретарь диссертационного совета
К.т.н
Иванов В.А.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Искусственные нейронные сети (ИНС) являются эффективным средством
решения сложных плохоформализуемых задач, таких как задачи классификации, кластеризации,
аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации,
идентификации, а также управления сложными техническими системами. В настоящее время
нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических
сигналов, идентификации и управления нелинейными динамическими объектами в реальном времени.
Наиболее актуальной проблемой является разработка методик и технологий синтеза нейросетевых
систем управления. Решение этой проблемы приведет к увеличению числа приложений ИНС.
Цель и задачи диссертационной работы. Целью диссертационной
работы является разработка и исследование методов и алгоритмов
оптимизации параметров и структуры ИНС, применяемых для решения задач
идентификации нелинейных динамических объектов и проектирования
систем автоматического управления с использованием нейроконтроллеров.
В соответствии с указанной целью определены следующие задачи
исследований:
1.
2.
3.
4.
Исследовать нейросетевой подход к решению задач идентификации нелинейных динамических объектов и проектирования систем
автоматического управления с использованием нейроконтроллеров.
Реализовать и исследовать процедуру идентификации на основе ИНС.
Провести исследование и анализ алгоритмов оптимизации параметров и структуры ИНС.
Реализовать и исследовать методы управления на основе нейросетевых моделей.
Методы исследования. В процессе выполнения диссертационной
работы использовались методы теории нейронных сетей, математического
моделирования, теории управления и др. Кроме того, использовались
методы численного моделирования. При моделировании применялись
пакеты прикладных программ Matlab-SimulLink.
Научная новизна. На основе анализа, систематизации и обобщения научных достижений в таких
областях, как теория автоматического управления, информатика, вычислительная математика и статистика,
сформирован подход к решению задачи проектирования систем автоматического управления на основе
ИНС.
В ходе выполнения работы получены следующие основные результаты:
1.
2.
3.
4.
Проведен анализ методов и разработаны алгоритмы оптимизации параметров и структуры ИНС.
Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.
Методы оптимизации параметров и структуры ИНС реализованы в виде программного комплекса.
Разработаны и исследованы нейросетевые структуры управления дистилляционной колонной и положением считывающего
устройства накопителя на жестком диске.
Разработанные
нейросетевые
алгоритмы
идентификации
динамических объектов могут быть использованы при создании
программного обеспечения и технических средств информационновычислительных комплексов моделирования систем управления
нелинейными процессами.
Практической реализацией разработанных алгоритмов является программный продукт для решения
задач идентификации и управления, представляющий собой композицию модулей, объединенных в одной
оболочке.
Внедрение результатов. Материалы диссертации использованы в
научных исследованиях,
проведенных на кафедре “Системы автоматического управления”, а также в учебном процессе НУК ИУ
МГТУ им. Баумана.
Апробация работы. Материалы исследований представлены на
Шестом международном
симпозиуме "Интеллектуальные системы" (Россия, Саратов, 2004г.), научном семинаре "Интеллектуальные
системы" кафедры «Системы автоматического управления» МГТУ им. Н.Э.Баумана, Седмом
международном симпозиуме "Интеллектуальные системы" (Россия, Краснодар, 2006г.).
Публикации. По результатам проведенных исследований опубликовано четыре научные работы.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка
литературы из 106 наименований и приложений. Основная часть работы составляет 195 страниц
машинописного текста, 13 таблиц и 65 рисунков. Общий объем приложений - 20 страниц.
СОДЕРЖАНИЕ РАБОТЫ
Во введении показана актуальность темы диссертационной работы, сформулированы цели и задачи
исследования, обоснованы научная новизна и практическая ценность исследований, приведены сведения об
апробации работы и публикациях, представлены основные научные результаты, полученные в ходе
выполнения работы.
В первой главе рассмотрены основные свойства и структуры
искусственных нейронных сетей. Подтверждена возможность применения
ИНС для решения сложных технических задач, таких как идентификация
нелинейных
динамических
объектов
и
проектирование
систем
автоматического управления на основе нейроконтроллеров.
Во второй главе рассматриваются особенности реализации многоэтапной процедуры идентификации
динамических объектов на основе нейросетевых модельных структур.
Обобщенная процедура идентификации динамических систем включает в себя следующие основные
этапы:
- планирование и проведение эксперимента;
- выбор модельной структуры;
- оценка (оптимизация параметров) модели;
- принятие решения об адекватности модели (подтверждение модели).
Проведение эксперимента. Задача состоит в сборе необходимого количества данных во всем
рабочем диапазоне системы:

Z N  u (t ), y (t ), t  1, N
 . Полнота и достоверность данных во
многом определяют качество идентификации.
Выбор структуры модели. Задача состоит в выборе семейства моделей-кандидатов, подходящих для
описания конкретной системы. При использовании нейросетевых моделей значительную роль играет не
только выбор регрессора, но и внутренней структуры ИНС - числа «скрытых» слоев и количества нейронов
в каждом скрытом слое.
Оценка модели (обучение ИНС). После выбора некоторой модельной структуры необходимо
выбрать определенную модель, наилучшим образом удовлетворяющую некоторому критерию. Термин
оценка (параметризация) модели пришел из теории статистической обработки данных, для нейросетевых
моделей обычно используется термин «обучение». Методы обучения ИНС представляют собой
модификации процедур минимизации функций многих переменных, таких как градиентный метод, метод
Гаусса-Ньютона, метод Левенберга-Марквардта и т.д.
Принятие решения об адекватности модели. Построенная модель должна быть адекватна реальной
системе и условиям, в которых ее предполагается использовать. Этап установления адекватности модели
требует непосредственного участия инженера-разработчика. Для подтверждения модели используются
проверка на тестовом множестве, многошаговое прогнозирование, корреляционные тесты. Если полученная
модель не удовлетворяет какому-либо критерию, то повторяются предыдущие этапы процедуры
идентификации, вплоть до проведения новой серии экспериментов.
Традиционным методом построения моделей динамических объектов является реализация процедуры
идентификации с использованием регрессионных модельных структур.
Понятие регрессии непосредственно связано с задачей прогнозирования величины y на основе
информации, полученной при измерении других величин
зависимая переменная
y
1 ,..., d .
В случае динамических систем
является выходом системы в некоторый момент времени (t), а регрессоры
содержат информацию о прошлом поведении системы.
Задача состоит в нахождении функции регрессоров
g ( )
«хорошим» (в силу некоторого критерия) прогнозом величины
функции регрессии. Определение
g ( )
такой, чтобы оценка
y.
Функция
g ( )
yˆ  g ( )
i
была
носит название
априори невозможно, следовательно, она должна быть некоторым
образом оценена по экспериментальным данным (параметризована), т.е.
g ( )  g ( , θ) ,
где
θ  [1, 2 , , p ] - вектор настраиваемых параметров.
Таким образом, обобщенное описание произвольного динамического объекта может быть представлено в следующем
виде:
yˆ (t θ)  g ( (t , θ), θ) .
(1)
Выражение (1) носит название прогнозирующей модели.
Прогнозирующая модель g ( (t , θ), θ) может быть реализована на нейросетевой модельной
структуре, имеющей следующее математическое представление:
где
 nh

 n

(2)
gi ( (t , θ), θ)  yˆi (t θ)  yˆi (t w,W )  Fi  Wij f j   w jll  w j 0   Wi 0 
 j 1

l

1




f j ( x)  tanh( x) - активационная функция нейронов скрытого слоя; Fi ( x)  kx; k  const -
активационная функция нейронов выходного слоя;
n - размерность регрессионного вектора (число входов
θ
- вектор настраиваемых параметров нейронной сети,
ИНС);
nh
- число нейронов в скрытом слое;
включающий весовые коэффициенты и нейронные смещения
( w jl ,Wij ) .
Использование многослойных нейронных сетей в качестве прогнозирующих моделей динамических систем обусловлено
способностью ИНС моделировать произвольные нелинейные непрерывные функции в результате обучения на множестве примеров
(экспериментальных данных). Дополнительные преимущества нейронных сетей состоят в способности выделять общие принципы
при предъявлении некоторого набора обучающих векторов (обобщение) и возможности работы с неполным набором данных
(абстрагирование).
В качестве базовых нелинейных нейросетевых модельных структур предлагаются следующие
модификации линейных регрессионных моделей:
Нейросетевая авторегрессионная модель, экзогенный тип сигналов (ANNARX)
 (t , θ)   y(t  1), , y(t  na ), u(t  nk ), , u(t  nb  nk ) 
Прогнозирующая модель:
yˆ (t θ)  yˆ (t t  1, θ)  g ( (t ), θ) .
T
Регрессор:
.
(3)
(4)
Нейросетевая авторегрессионная модель скользящего среднего, экзогенный тип сигналов; вариант 1
(ANNARMAX1)
Регрессор:
 (t , θ)  [ y(t  1),, y(t  na ), u (t  nk ),, u (t  nb  nk ),  (t  1),,  (t  nc )]T
T
 1T (t , θ),  (t  1),,  (t  nc )  ,
где
(5)
 (t )  y(t )  yˆ (t θ) - ошибка прогнозирования.
Прогнозирующая модель:
yˆ (t θ)  g (1 (t ), θ)  (C (q 1 )  1) (t ) ,
где C (q 1 )  1  c1q 1 
(6)
 cn q  n - полином от оператора запаздывания q.
Нейросетевая авторегрессионная модель скользящего среднего, экзогенный тип сигналов;
вариант 2 (ANNARMAX2)
Регрессор:
 (t , θ)   y (t  1),, y (t  na ), u (t  nk ),, u (t  nb  nk ),  (t  1),,  (t  nc ) 
T
T
 1T (t , θ),  (t  1),,  (t  nc )  .
Прогнозирующая модель:
(7)
yˆ (t θ)  g ( (t ), θ).
(8)
Нейросетевая модель типа «обновлений пространства состояний», (АNNSSIF)
Регрессор:
T
 (t , θ)   xˆ T (t | θ) u T (t )  T (t θ)  .
Прогнозирующая модель:

 xˆ (t  1 θ)  g ( (t ), θ),
 ˆ

 y (t θ)  C (θ) xˆ (t θ).
(9)
(10)
Нейросетевая модель выходной ошибки (АNNOE)
 (t , θ)  [ yˆ (t | θ),, yˆ (t  na | θ), u(t  nk ),, u(t  nb  nk )]T .
yˆ (t | θ)  g ( (t ), θ) .
Прогнозирующая модель:
(12)
Регрессор:
(11)
В данной главе проведена нейросетевая реализация процедуры идентификации исполнительного
двигателя системы управления положением считывающего устройства накопителя на жестком магнитном
диске.
Использованы нейросетевые модельные структуры типа ANNARX, ANNARMAX, ANNSSIF и
ANNOE, построенные в соответствии с уравнениями (3-12). Оценка параметров ИНС (обучение) проведена
на основе алгоритма Левенберга-Маркардта. В результате идентификации с использованием двухслойной
сети, содержащей 5 нейронов с тангенциальными функциями активации в скрытом слое и один линейный
нейрон в выходном слое, минимальное значение ошибки обучения и ошибки тестирования
продемонстрировала модель ANNARX со следующими параметрами:
 (t )   y(t  1), , y(t  2), u(t  1), , u(t  2)
yˆ (t | θ)  yˆ (t | t  1, θ)  g ( (t ), θ) .
Прогнозирующая модель:
T
Регрессор:
.
(13)
(14)
Данная модель выбрана для дальнейшего синтеза нейросетевой системы управления положением
считывающего устройства накопителя на жестком магнитном диске.
В третьей главе исследованы методы и алгоритмы оптимизации параметров нейросетевых моделей.
При использовании нейросетевых модельных структур, оптимизация
параметров представляет собой отображение множества экспериментальных
данных на множество параметров нейросетевой модели
Z N  θˆ ,
(15)
с целью получения оптимального, в силу некоторого критерия, прогноза
выходного сигнала ŷ . Традиционно используемым критерием является
среднеквадратичная ошибка прогнозирования
1 N
1 N 2
2
(16)
VN (θ, Z N ) 
 ( y (t )  yˆ (t θ)) 
 ε (t , θ) .
2 N t 1
2 N t 1
Таким образом, обучение ИНС состоит в нахождении вектора параметров θ̂ , минимизирующих
критерий (16):
θˆ  arg min VN  θ, Z N  .
θ
(17)
Для нахождения вектора оптимальных параметров используются методы последовательного
приближения, или итеративные методы поиска:
θk 1  θk  k d k ,
где
θk
определяет значение параметров на текущей итерации
(18)
k , d k определяет направление поиска, а  k
- шаг алгоритма на текущей итерации. В работе исследуются особенности применения ряда методов
минимизации критерия (16), среди которых - градиентный метод (метод обратного распространения ошибки
ИНС), метод сопряженных градиентов, метод Ньютона, Гаусса-Ньютона и метод Левенберга-Маркадта.
Рассматриваются вопросы адаптации указанных методов к процедуре обучения нейронных сетей.
В четвертой главе исследованы методы и алгоритмы оптимизации структуры нейросетевых
моделей.
Задача структурной оптимизации ИНС является актуальной как с позиции повышения эффективности
функционирования сетей, так и разработки аппаратных средств.
Главная идея методов структурной оптимизации состоит в том, чтобы уменьшить число свободных
параметров сети.
Методы структурной оптимизации нейросетевых моделей могут быть разделены на две группы.
Методы первой группы связаны с модификацией целевой функции, в которую вводятся компоненты,
штрафующие за неэффективную структуру сети. Чаще всего это бывают элементы, усиливающие малые
значения амплитуды весов.
Методы второй группы исследуют чувствительность целевой функции к удалению веса или нейрона.
С их помощью устраняются веса, оказывающие минимальное воздействие на величину целевой функции, и
процесс обучения продолжается уже на сети с редуцированной структурой. В данной главе рассмотрены два
метода с учетом чувствительности целевой функции - метод OBD (Optimal Brain Damage) и OBS (Optimal
Brain Surgeon).
На основе метода главных компонент разработан метод оптимизации
структуры двухслойной сети.
Выход j-го нейрона скрытого слоя вычисляется по формуле:
 n

 n

(19)
y j ( w)  f j   w jll  w j 0   f j   w jll  ,
l

1
l

0




где:  l , l  1, n - входы ИНС; nh - число нейронов скрытого слоя; n -
l  1, n - веса, соединяющие
входной и скрытой слой; wo , o - нейронное смещение; f j () - функция
активации нейронов скрытого слоя.
N
 {[u (t ), y (t )], t  1, N } строится
На основе данных входов и выходов для обучения ИНС Z
матрица выхода скрытого слоя H O :
 y11 ( w)
y1N ( w) 


(20)
HO  
.
1
N
 yn ( w)
yn h ( w) 
 h
размерность входного вектора; w jl , j  1, nh и
Перед вычислением матрицы ковариации матрица HO преобразуется в матрицу M размерностью
N xN:
 nh 1
1
  yi ( w) yi ( w)
 i1
T
M  HO * HO  
 nh
 y N ( w) y1 ( w)
i
i

i 1

( w) 
i 1

.

nh
N
N
yi ( w) yi ( w) 


i 1
nh
 y (w)y
1
i
N
i
(21)
Матрицу ковариации определяется соотношением
C  cov( M ) .
(22)
Матрица С выражает ковариационное отношение между выходами скрытого слоя и отражает
взаимозависимость выходов скрытого слоя. Если при анализе матрицы ковариации выявляется, что часть
выходов нейронов скрытого слоя линейно зависимы, то можно сделать вывод, что структура ИНС
избыточна и часть нейронов скрытого слоя можно удалить.
Предполагается, что число нейронов в скрытом слое равно числу собственных значений матрицы
ковариации, которые превышают некоторую заданную величину. Эксперименты показывают, что в качестве
данной величины может быть выбрана желаемая величина ошибки обучения
nh  {eig (C )   ж } .
ж .
(23)
В качестве критерия принятия решения об оптимальной структуре ИНС используется оценка ошибки
обобщения.
В пятой главе исследуется реализация схем и методов управления на основе ИНС.
Синтез системы управления подразумевает создание такого устройства, в результате работы которого
система ведет себя «должным образом», то есть достигается заранее определенная цель управления.
Основные этапы процесса синтеза систем автоматического управления на основе нейросетевых
методов представлены следующим образом:
- Определение цели управления.
- Нейросетевая реализация процедуры идентификации.
- Выбор схем управления.
- Выбор методов управления.
- Оценка и анализ качества системы.
Если качество системы не удовлетворяет предъявляемым требованиям, повторяются предыдущие
этапы, вплоть до выбора новой схемы управления.
Рассматриваются следующие нейросетевые схемы управления:
 Нейросетевое управление на основе инверсной модели объекта.
 Нейросетевое оптимальное управление.
 Нейросетевое управление на основе прогнозирующей модели.
Синтез нейросетевого управления на основе инверсной модели объекта. Нейроконтроллер на
основе инверсной модели имеет следующий вид:
1
uˆ(t )  gˆ
 y(t  1), y(t ),
, y(t  n  1), u(t  1), , u(t  m)  .
(24)
Данная модель обучается на множестве примеров (экспериментальных данных), а в режиме
непосредственного функционирования использует следующий вектор входов
T
(t )   r (t  1), y (t ),, y (t  n  1), u (t  1),, u (t  m)  ,
(25)
где r (t  1) - желаемый входной сигнал системы (уставка) для момента
времени (t  1) .
Инверсные модели динамической системы могут быть получены на основе обобщенного метода
обучения в режиме офлайн («offline») или метода обучения в режиме реального времени («online», онлайн).
При обучении нейросети обобщенным методом минимизируется
следующий критерий:
2
1 N
N
ˆ
J (, Z ) 
u
(
t
)

u
(
t

)
.
(26)



2 N t 1
В реальности основной задачей регулирования является максимальное приближение выхода объекта
к желаемому значению, определяемому уставкой. Таким образом, более естественно выглядит критерий
типа
1 N
2
N
J (θ, Z ) 
2N
  r (t )  y(t )  .
(27)
t 1
Инверсная нейросетевая модель обучается в соответствии со следующей модификацией критерия
типа (27):
J t (θ, Z t )  J t 1 (θ, Z t 1 )  (r (t )  y(t )) 2 .
Рекуррентный
градиентный
метод.
Предположим,
что
составляющая
(28)
J t 1 (θ, Z t 1 )
минимизирована, а весовые коэффициенты нейросетевой модели в момент времени t настраиваются в
соответствии с выражением
где e(t )  r (t )  y(t ) и
2
ˆθ(t )  θˆ (t  1)   de (t ) ,
t
dθ
2
de (t )
dy(t )

e(t ) .
dθ
dθ
(29)
(30)
Градиент вычисляется по формуле
dy (t )
y (t ) du (t  1)

dθ
u (t  1) dθ
(31)
y (t )  u (t  1) n u (t  1) dy (t  i ) m u (t  1) du (t  i ) 



.
u (t  1)  θ
dθ
dθ 
i 1 y (t  i )
i  2 u (t  i )
y (t )
В формулу (31) входит якобиан системы
, который может быть получен с использованием
u (t  1)
прогнозирующей модели системы (нейросетевого идентификатора):
y (t )
yˆ (t )
.

u (t  1) u (t  1)
(32)
На практике для простоты реализации метода обучения нейросетевой модели объекта в режиме
реального времени, коррекция весовых коэффициентов, может быть выполнена методом обратного
распространения «виртуальной» ошибки, eu (t ) :
eu (t ) 
yˆ (t )
e(t ) .
u (t  1)
(33)
Рекуррентный метод Гаусса-Ньютона 1. Этот метод реализован на основе метода псевдолинейной
регрессии. Из уравнения (31) имеем:
ψ(t ) 
dy(t )
yˆ (t ) u (t  1)
yˆ (t )


(t ) .
dθ
u (t  1) θ
u (t  1)
(34)
Рекуррентный метод Гаусса-Ньютона 2. В этом методе используется уравнение (31). Ошибка
прогнозированная вычисляется по формуле:
ψ (t ) 
y (t )
y (t ) du (t  1)
ψ u (t ) 
u (t  1)
u (t  1) dθ
(35)
n
m

yˆ (t ) 
u (t  1)
u (t  1)


(
t
)

ψ
(
t

i
)

ψ u (t  i )  .



u (t  1) 
i 1 y (t  i )
i  2 u (t  i )

Метод управления на основе
преимуществами и недостатками:
Преимущества:
инверсных
нейросетевых
моделей
обладает
следующими
 интуитивная понятность и простота реализации;
 возможность построения регуляторов для нестационарных систем (в
случае использования обучения нейросетевой модели в режиме реального
времени).
Недостатки:
 неустойчивость инверсной модели, в большинстве случаев приводящая к
неустойчивости замкнутой системы;
 высокая чувствительность к возмущениям (в большинстве случаев).
Нейросетевое оптимальное управление. Основной идеей оптимального управления является
применение такого критерия оптимизации параметров регулятора, в котором помимо точного отслеживания
заданной траектории (уставки) предусмотрено «штрафование» по амплитуде управляющего воздействия.
Реализация алгоритма нейросетевого оптимального управления сходна с методом обучения инверсной
нейросетевой модели в режиме реального времени, но в критерий оптимизации добавлена штрафная
составляющая:
1 N
2
2
J (θ, Z ) 
 r (t )  y(t )   u (t  1) ,   0 .

2 N t 1
N
(36)
Нейросетевое оптимальное управление обладает следующими преимуществами и недостатками:
Преимущества:
 простота реализации;
 возможность использования для синтеза управления широким классом
систем;
 выработка управляющего сигнала сравнительно небольшой амплитуды с
незначительными осцилляциями;
 возможность эффективного использования для создания систем
программного управления.
Недостатки:
 необходимость настройки параметров регулятора в режиме реального
времени (требует существенных вычислительных затрат);
 необходимость перенастройки параметров при изменении коэффициента
штрафа на управление.
Синтез нейросетевого управления на основе прогнозирующей модели. Главная идея
прогнозирующего управления состоит в определении на каждой итерации управляющего сигнала
посредством минимизации следующего критерия
T
ˆ (t )   R(t )  Y
ˆ (t )    UT (t )U(t )
J ( , U(t ), t )   R(t )  Y
 

 ET (t )E(t )   UT (t )U(t ),
R(t )   r (t  N1 )
где
T
ˆ (t )   yˆ (t  N t )
Y
1

yˆ (t  N2 t )  ,
E(t )  e(t  N1 t )
e(t  N2 t )  ,
U(t )   u (t )
N1 -
r (t  N 2 ) ,
(37)
(38)
T
(39)
T
(40)
u (t  Nu  1) ,
T
(41)
e(t  k t )  r (t  k )  yˆ (t  k t ) , для k  N1 , N 2 .
(42)
u(t  i  1)  u (t  i)  u (t  i  1) и u (t  i )  0 , Nu  i  N 2  d ,
(43)
минимальный горизонт прогнозирования, N 2 - максимальный горизонт прогнозирования, N u -
горизонт управления, d - время задержки.
Синтез закона управления.
Оптимизация критерия (37) для нелинейного прогнозирующего
управления - сложная задача. Для определения минимума, используются итеративные методы:
где
U k 1  U k  k d k ,
U k - вектор управляющих сигналов на k-ой итерации;  k - шаг алгоритма и d k
(44)
- направление поиска.
Метод Ньютона с подходом Левенберга-Марквардта. Для определения направления поиска
методом Ньютона с подходом Левенберга - Марквардта нужно решить следующее уравнение
 H  U k (t )    k I  d k  g  U k (t )  ,
J  U(t ), t 
g  U k (t )  
U(t ) U (t )U (t )
(45)
k
где
T
  Y

ˆ (t ) 
%(t )  T
 U
%
  2 
 E (t )  2 
 U(t ) 

U
(
t
)
  U(t ) 



U (t )U k ( t )
(46)


%(t )  T
 U
T
%(t ) 
  2Ψ  U(t )  E (t )  2 
U
,


U
(
t
)




U (t )U k ( t )
J 2  U(t ), t 
H  U k (t )  
U(t ) 2
и
U (t )U k ( t )
T


  Y

ˆ (t ) 
  


 E (t )
T



U
(
t
)

%(t )   U
%(t )  


  2  U
  2 
.
 U(t )   U(t )  
U(t )



 





U (t )U k ( t )
(47)
Квазиньютоновский метод. В квазиньютоновском методе используется метод аппроксимации
обратной матрицы Гессе. Направление поиска этого алгоритма определяется формулой:
d k  B k g  U k (t )  ,
(48)
Нейросетевая система на основе прогнозирующих моделей обладает следующими преимуществами и
недостатками:
Преимущества:
 наиболее эффективно для систем с временной задержкой;
 можно управлять неустойчивыми, неминимально-фазовыми системами;
 параметры алгоритма могут быть настроены в зависимости от
динамических свойств объекта.
Недостатки:
 критерий оптимизации может иметь несколько локальных минимумов;
 сложность вычисления.
В данной главе для иллюстрации различных концепций построения
нейросетевых систем управления приведено моделирование системы
управления положением считывающего устройства накопителя на жестком
диске. Целью управления является позиционирование считывающего
устройства на определенной дорожке диска.
Параметры качества полученных систем представлены в таблице 1
Параметр
Метод
Время переходного
процесса tпп(мс)
Таблица 1.
Перерегулирование σ (%)
0.4
1.07
Обобщенный метод обучения инверсной нейросетевой
модели
0.4
0.18
Метод обучения инверсной нейросетевой модели в
режиме реального времени
0.4
14.8
Нейросетевое оптимальное управление
1.6
0.4
Нейросетевое управление с использованием
прогнозирующей модели
Результаты моделирования подтверждают эффективность использованных нейросетевых структур
управления.
В шестой главе на основе предложенных нейросетевых структур и алгоритмов разработана система
управления дистилляционной колонной.
Дистилляция - тепломассообменный процесс, который осуществляется в колоннах, оснащенных
контактными элементами.
Дистилляционная колонна представляет собой сложную нелинейную
многомерную динамическую систему. Структурная схема нейросетевой
дистилляционной колонной LV-конфигурации представлена на рис. 1.
Параметры управления:
L[кмоль/мин]: скорость подачи флегмы (дистиллят, возвращаемый обратно в колонну);
V[кмоль/мин]: скорость испарения кипящей жидкости в нижней части
колонны.
Выходные параметры:
xD: доля легкого компонента в выходном продукте на вершине колонны
(дистилляте);
xB: доля легкого компонента в выходном продукте на дне колонны.
Целью управления является достижение значений xD = 0.99 и xB = 0.01
εD(t) εB(t) xD(t) xB(t)
εD(t) εB(t) xD(t) xB(t)
xˆD (t )
НС Модель
Идентификатора xˆB (t )
Алгоритм
управления
εD(t)
Параметры
регулятора
εB(t)
xD(t)
L(t)
rL(t)
Регулятор
V(t)
rV(t)
Дистилляционная
колонна
xB(t)
L(t) V(t) xD(t) xB(t)
Рис. 1. Структурная схема нейросетевой системы управления дистилляционной колонной
На этапе проведения эксперимента получены данные во всем рабочем диапазоне системы:

,
Z N   U(t ), Y(t ), t  1,5000
где U(t ) 
 L(t ) V (t )
T
и
Y (t )   xD (t ) xB (t ) 
T
.
Использованы нейросетевые модельные структуры типа ANNFIR, ANNARX, ANNARMAX, ANNSSIF и
ANNOE, построенные в соответствии с уравнениями (49-53) со следующими векторами регрессоров:
 Модель ANNARX:
Регрессор:
 x (t  1), , xD (t  na ), L(t  nk ), , L(t  nb  nk ), 
 (t )   D

 xB (t  1), , xB (t  na ), V (t  nk ), ,V (t  nb  nk ) 
T
.
(49)
 Модель ANNARMAX1:
Регрессор:
 x (t  1), , xD (t  na ), L(t  nk ), , L(t  nb  nk ), 
 (t )   D

 xB (t  1), , xB (t  na ), V (t  nk ), ,V (t  nb  nk ) 
T
.
(50)
 Модель ANNARMAX2:
 xD (t  1), , xD (t  na ), L(t  nk ), , L(t  nb  nk ), 


Регрессор:  (t )   xB (t  1), , xB (t  na ), V (t  nk ), ,V (t  nb  nk ), 
 x (t  1), ,  x (t  nc ),  x (t  1), ,  x (t  nc ) 
 D
D
B
B

T
.
(51)
 Модель ANNSSIF:
Регрессор:  (t ) 
 xˆ (t  1),
, xˆ (t  nx ), L(t  1), V (t  1),  xD (t  1)  xB (t  1) 
T
(52)
 Модель ANNOE:
 xˆ D (t  1), , xˆ D (t  na ), L(t  nk ), , L(t  nb  nk ), 
Регрессор:  (t )  

 xˆ B (t  1), , xˆ B (t  na ), V (t  nk ), ,V (t  nb  nk ) 
T
.
(53)
Оценка параметров ИНС (обучение) проведена на основе алгоритма Левенберга-Марквардта. В
результате идентификации с использованием двухслойной сети,
содержащей 15 нейронов с
тангенциальными функциями активации в скрытом слое и два линейных нейрона в выходном слое.
Минимальное значение ошибки обучения и ошибки тестирования продемонстрировала модель ANNARX со
следующими параметрами:
 x (t  1), , xD (t  4), L(t  1), , L(t  4), 
 (t )   D
Регрессор:

 xB (t  1), , xB (t  4), V (t  1), ,V (t  4) 
ˆ (t | θ)  [ xˆD (t | θ) xˆB (t | θ)]T  g ( (t ), θ) .
Прогнозирующая модель: y
T
.
(54)
(55)
Данная модель выбрана для дальнейшего синтеза нейросетевой системы управления.
Проведено моделирование и сравнительный анализ систем управления дистилляционной колонной.
Результаты представлены в таблице 2.
Таблица 2.
Параметр
Метод
Время переходного
процесса tпп(мин)
Перерегулирование
σ (%)
xD
xB
xD
xB
2
20
0.82
69
Обобщенный метод обучения инверсной нейросетевой
модели
2
30
0.12
36
Метод обучения инверсной нейросетевой модели в режиме
реального времени
2
12
0.10
11
Нейросетевое оптимальное управление
2
30
0
0
Нейросетевое управление с использованием
прогнозирующей модели
2
18
0.05
31
ПИ-регулятор
Наиболее эффективным является нейросетевое управление с использованием прогнозирующей
модели.
Основные результаты получены с использованием программного комплекса, разработанного в рамках
диссертационной работы. Программный продукт предназначен для решения задач идентификации и
управления на основе ИНС, реализованный в интегрированной среде для выполнения инженерных и
научных расчетов MATLAB версии 7.0.
Программный продукт реализует следующий набор функций:
 Группа функций подготовки и анализа экспериментальных данных:
- чтение экспериментальных данных из файлов произвольного формата;
- интерактивный просмотр, анализ, масштабирование данных;
- создание базы данных экспериментов;
- расширенный поиск экспериментов по базе данных и их визуализация;
- подбор данных для реализации процедуры идентификации и также для реализации методов управления.
 Группа функций выбора модельной структуры, обучения, подтверждения ИНС модели и
прогнозирования:
- выбор структуры нейросетевой модели;
- различные варианты параметризации модели (алгоритмы обучения ИНС);
- анализ и тестирование ИНС модели;
- прогнозирование на основе ИНС модели.
- различные варианты оптимизации модели (алгоритмы оптимизации ИНС);
 Группа функций реализации методов управления на основе ИНС:
- обобщенный метод обучения инверсной нейросетевой модели;
- метод обучения инверсной нейросетевой модели в режиме реального времени;
- нейросетевое оптимальное управление;
- нейросетевое управление с использованием прогнозирующей модели.
Общее управление всеми процессами и функционированием системы в целом осуществляется с
помощью программной оболочки, включающей в себя основное окно программы с набором
функциональных кнопок и окно представления графических результатов.
ВЫВОДЫ И ЗАКЛЮЧЕНИЕ
В результате проведенной научно-исследовательской работы
получены следующие основные результаты:
1. Реализована и исследована многоэтапная процедура идентификации динамических систем на основе
нейросетевых моделей.
2. Реализованы и исследованы алгоритмы настройки параметров нейросетевых моделей.
3. Исследованы методы структурной оптимизации ИНС. Разработан новый алгоритм решения задачи
определения оптимальной структуры ИНС.
4. Разработаны процедуры и алгоритмы синтеза законов нейросетевого управления на основе инверсных
моделей, оптимального управления, прогнозирующего управления.
5. На основе предложенных методов и алгоритмов разработана универсальная программная система,
позволяющая эффективно решать задачи нейросетевой идентификации и управления.
6. Эффективность предложенных алгоритмов подтверждена моделированием нейросетевой системы
управления положением считывающего устройства накопителя на жестком диске
7. На основе предложенных алгоритмов и программного обеспечения получены нейросетевые модели
дистилляционной колонной и разработаны структуры управления для этого многомерного нелинейного
объекта.
В дальнейшем предполагается применить полученные научные результаты для создания средств
аппаратной поддержки нейровычислений (нейропроцессоров) и разработки нейроконтроллеров.
По теме диссертации опубликованы следующие основные работы:
1. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритмов структурной и
параметрической оптимизации искусственных нейронных сетей // Интеллектуальные системы: Тезисы
докладов шестого международного симпозиума. - Саратов, 2004. - С. 384-386.
2. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритма структурной оптимизации
искусственных нейронных сетей // Наукоемкие технологии: Научно-технический журнал. - 2006. - № 1 С. 26-31.
3. Гаврилов А. И., Хоанг Куанг Тинь, Методы синтеза нейросетевых систем управления //
Интеллектуальные системы: Труды Седьмого международного симпозиума. - Краснодар, 2006. - С. 62 65.
4. Гаврилов А. И., Хоанг Куанг Тинь, Нейросетевая система управления дистилляционной колонной //
Интеллектуальные системы: Труды Седьмого международного симпозиума. - Краснодар, 2006. - С. 553 556.
Подписано к печати _____________. Тираж 75 экз. Заказ №______.
_________________________________________________________
Типография МГТУ им. Н.Э. Баумана.
Адрес: 105005, г. Москова, 2-я Бауманская ул., д. 5