Введение в проблему идентификации динамики систем на
реклама
УДК РАЗРАБОТКА, ПРИМЕНЕНИЕ И ИССЛЕДОВАНИЕ ЭВОЛЮЦИОННЫХ КОННЕКТИВИСТСКИХ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ ДИНАМИКИ СИСТЕМ НА КОРОТКИХ ИНТЕРВАЛАХ НАБЛЮДЕНИЯ Камаев В.А., Щербаков М.В., Панченко Д.П. Волгоградский государственный технический университет Проект посвящен решению фундаментальной научной проблеме разработки эволюционных коннективистских систем как направления искусственного интеллекта. В частности построением моделей для решения задачи идентификации динамики системы на коротких интервалах наблюдения. Задача идентификации принадлежности системы определенному классу возникает во многих практических областях медицины, экономики, техники, следовательно, разработка фундаментальных основ ее решения является актуальной проблемой. Ее решение позволит определить каким образом система будет развиваться в дальнейшем и, что следует предпринять, для снижения риска неблагоприятного развития ситуации. Выделим три основных направления решения данной задачи, где предполагается получение новых результатов в рамках проекта. Первое связанное с разработкой моделей для идентификации множества однотипных систем (кластеров). Второе посвящено построению эволюционных моделей кластеров систем. И третье связано с применением временного кодирования информации в коннективистских моделях, так называемые импульсные нейронные сети. Итогом является единая методика создания эволюционной коннективистской системы для решения указанной задачи для множества исследуемых объектов. Ключевые слова: искусственный интеллект, идентификация, эволюционные системы, коннективистские системы, нейронные сети, гибридные сети, нечеткие нейронные сети, импульс, импульсные нейронные сети, короткие интервалы наблюдения. ВВЕДЕНИЕ В ПРОБЛЕМУ ИДЕНТИФИКАЦИИ ДИНАМИКИ СИСТЕМ НА КОРОТКИХ ИНТЕРВАЛАХ НАБЛЮДЕНИЯ Актуальность проблемы идентификации динамики систем на коротких интервалах наблюдения Описание проблемы идентфикации динамики систем на коротких интервалах наблюдения. Исследование систем в первую очередь предполагает формирование адекватной модели для изучения свойств системы, особенностей функционирования, развития и взаимодействия с другими системами. Можно выделить класс систем с распределенными параметрами, имеющих эволюционный закон изменения состояния, т.е. для которых можно выделить жизненный цикл и специфику функционирования на различных этапах. Задача идентификации принадлежности системы определенному этапу жизненного цикла возникает во многих практических областях медицины, 1 экономики, техники, следовательно, разработка фундаментальных основ ее решения является актуальной проблемой. Ее решение позволит определить каким образом система будет развиваться в дальнейшем и, что следует предпринять, для снижения риска неблагоприятного развития ситуации. Определение принадлежности системы тому или иному классу осуществляется на основе анализа изменений переменных состояния в течение времени (динамики системы), таким образом ставится проблема идентификации принадлежности классу поведения системы по множеству значений переменных состояния в заданный промежуток времени. Сформулируем эту задачу как задачу идентификации динамики системы на коротких интервалах наблюдения. Ограничение, накладываемое на интервал, сужает область первоначального исследования. Данная задача встречается часто в различных предметных областях. Например, в медицине: проблема идентификации групп риска пациентов по профилю изменения функциональных состояний, идентификация отклонения функционального состояния пожилого человека от его нормы. В экономике: анализ групп клиентов – потенциальных дебиторов для разработки превентивных мер по профилактики дебиторской задолженности, управления взаимоотношениями с клиентами на различных этапах жизненного цикла, моделирование развития кластеров муниципальных образований – выделение этапов жизненного цикла и идентификация. Описание предметных областей в которых планируется использовать полученные результаты исследования Анализ социально-экономического развития муниципальных образований Волгоградской области. Идентификация и прогнозирование процесса потребления электроэнергии. Современное состояние исследований в данной области науки Intelligent Information Systems (IIS) (Kasabov, 1998a; Kasabov, 2003) are information processing systems that deal with information in an intelligent way. That is, they deal with information in a way similar to that in which a human domain expert would. Seven general, major requirements for intelligent systems were enumerated in (Kasabov, 1998a, pg 195). These requirements form the high-level motivation for the work discussed in this chapter and for the thesis as a whole. The requirements are: 1. IIS should learn fast from a large amount of data (using fast training, e.g. one-pass training). 2 2. IIS should be able to adapt incrementally in both real time, and in an off-line mode, where new data is accommodated as it becomes available. 3. IIS should have an open structure where new features (relevant to the task) can be introduced at a later stage of the system’s operation. IIS should dynamically create new modules, new inputs and outputs, new connections and neurons. This should occur either in a supervised, or in an unsupervised mode, using one modality or another, accommodating data, heuristic rules, text, images, etc. The system should tolerate and accommodate imprecise and uncertain facts or knowledge and refine its own knowledge. 4. IIS should be memory-based, i.e. they should keep a reasonable track of information that has been used in the past and be able to retrieve some of it for the purpose of inner refinement, external visualisation, or for answering queries. 5. IIS should improve continuously (possibly in a life-long mode) through active interaction with other IIS and with the environment they operate in. 6. IIS should be able to analyse themselves in terms of behaviour, global error and success; to extract rules that explain what has been learned by the system; to make decisions about its own improvement; to manifest introspection. 7. IIS should adequately represent space and time in their different scales; should have parameters to represent such concepts as spatial distance, short-term and long-term memory, age, forgetting, etc. While it is not explicitly stated in the quotation above, the number of modules in an intelligent system can be reduced as well as expanded, that is, redundant or superseded modules can be destroyed in addition to new modules being added. Evolving Connectionist Systems (ECoS) (Kasabov, 1998c; Kasabov, 1998b; Kasabov, 1998a; Kasabov, 2003) were created with these seven requirements in mind. They are a class of Artificial Neural Network (ANN) architectures and a general open architecture training algorithm that allows an ECoS type ANN to learn and adapt through the addition and deletion of neurons and modification of connection weights between those neurons. Коннективистские системы объединяют в себе множество моделей, имеющих в структуре совокупность однотипных обработчиков информации и связей между ними. Подход как коннективистский известен попытками формализации работы мозга человека и образовался как научное направление в середине прошлого столетия. В работах Розенблатта, Хебба и др. делались попытки воспроизвести интеллектуальные свойства человека через разработку моделей, позже получивших название искусственных нейронных сетей. Данное направление активно стало развиваться после 3 80-х годов прошлого века, когда было преодолено ограничение возможности аппроксимации многомерных нелинейных функций. Кроме этого в работах отечественных ученных А.И. Галушкина, А.Н. Горбаня, К.А. Пупкова, В.А. Терехова, Д.В. Ефимова, В.А. Головко, И.Ю. Тюкина, Е.К. Гордиенко, Д.А. Россиева, А.А. Ежова, С.А. Шумского, Е.М. Миркеса, В.Г. Царегородцева отражены уникальные положения по развитию теории нейронных сетей. Работы Н.Г. Ярушкиной, Л.Г. Комарцовой, А.В. Максимова и ряда других рассматривают применение нечеткой логики и синтеза гибридных нейронечетких моделей. Однако следует отметить, что существует ряд актуальных направлений и работ, связанных с разработкой эволюционных коннективистских систем и импульсного подхода к представлению информации следующих ученных Н.Касабова, Х. Аббасса, П. Ангелов, В. Маасса, К. Бишопа и других. Данные работы, несмотря на достаточно продолжительное время развития коннективизма и высокую точность получаемых результатов носят пионерский характер и не отражают весь спектр решаемых задач. В частности не решены вопросы идентификации динамики систем на различных интервалах наблюдения, идентификации эволюционного развития систем и других, заявленных в данном фундаментальном исследовании. Поэтому цели и задачи проекта являются актуальными и ожидаемые результаты соответствуют мировому уровню. Описание недостатков существующих подходов к идентификации динамики систем на коротких интервалах наблюдения Основной упор на интеллектуальные системы, системы анализа данных. Имеющийся у коллектива научный задел по предлагаемому проекту: полученные ранее результаты, разработанные методы Данный проект является проработкой отдельного направления, необходимость которого была выявлена при выполнении гранта РФФИ 04-06-96500-р2004поволжье_а «Моделирование экономических систем и модели устойчивого развития региона на примере Волгоградской области» и проекта по заказу Администрации Волгоградской области в 2002-2003 по разработке концепции устойчивого развития города Волгограда. Был сделан вывод о необходимости создания эволюционных моделей объектов муниципального самоуправления для идентификации состояния и прогнозирования развития. В 2009 году проведена работа по заказу Администрации Волгоградской области по анализу демографической ситуации, миграции, 4 эффективности расхода бюджета, анализу инвестиционной привлекательности и анализу преступности, в которой применялись оригинальные методики разработанные членами творческого коллектива. Руководитель проекта, доктор технических наук, профессор В.А. Камаев занимается разработкой и применением мультиагентных систем для моделирования сложных экономических систем и когнитивным моделированием различных процессов. Под руководствам В.А. Камаев защитилось 7 докторов наук и 54 кандитатов наук, в том числе по направления искусственного интеллекта. Камаев входит в редакционную коллегию журнала Вестник компьютерных и информационных технологий, научный редактор серии Актуальные проблемы управления, вычислительной техники и информатики, журнала Известия ВолгГТУ. Входит в орг. комитет одной из крупнейших конференций Волгоградской области: международной конференции «Информационные технологии в образовании, технике и медицине». Кандидат применением технических эволюционных наук М.В. Щербаков нейросетевых занимается структур для разработкой решения и задач идентификации и разработкой моделей импульсных нейронных сетей. Для апробации методов разработана уникальная в России система он-лайн анализа данных, доступная из интернета www.iclouddatamining.com. Кандидат технических наук Д.П. Панченко занимается разработкой и применением нейросетевых моделей для решения задач классификации поведения сложных систем. Для апробации методов разработан и внедрен ряд систем медицинской диагностики. Особый интерес лежит в области разработки и применения генетических алгоритмов в ряде практических задач. Аспирант Аль-Катабери занимается применением и адаптацией методов data miming для выявления зависимостей в развитии социально-экономических систем. В частности проработаны модели развития демографической ситуации, преступности, бизнес активности в муниципальных образованиях Волгоградской области. ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ, ПЛАН РЕАЛИЗАЦИИ ПРОЕКТА. Цели и задачи исследования Цель – решение фундаментальной научной проблемы разработки эволюционных коннективистских систем. Конкретная фундаментальная задача связана с построением эволюционных коннективистских моделей как направления искусственного интеллекта для решения 5 задачи идентификации динамики системы на коротких интервалах наблюдения. Особое внимание уделяется развитию коннективистских моделей основанных на импульсных нейронных сетях, применение гибридных нейронечетких систем, а также реализации каскадов коннективистских моделей. План реализации проекта Общий план работы на весь срок выполнения проекта (2 года). 1. Формализация сети однотипных объектов для дальнейшего решения задачи идентификации. Разработка иерархической коннективистской системы для идентификации динамики сети объектов. Апробация и исследование методов на примере моделирования эволюционного развития муниципальных образований Волгоградской области. Проработка гибридных каскадных моделей для решения задачи идентификации. 2. Разработка эволюционных алгоритмов структурной и параметрической идентификации нейросетевых моделей и импульсных нейросетевых моделей при изменении исходной информации о поведении объекта. Применение различных методов минимизации функционала ошибки, основанных на градиентных и генетических алгоритмах. 3. Разработка и исследование импульсных коннективистских систем для решения задачи идентификации динамики системы на коротких интервалах наблюдения. Разработка и исследование нечетких импульсных коннективистских систем. Проработка алгоритмов структурной и параметрической идентификации параметров нечетких коннективистских систем, в частности применение генетических алгоритмов. 4. Интеграция полученных результатов в единую методику создания эволюционной коннективистской системы для решения указанной задачи для множества исследуемых объектов. Определение границ применения и проработка моделей на ряде практических задач 6 РАЗРАБОТКА ЭВОЛЮЦИОННЫХ КОННЕКТИВИСТСКИХ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ ДИНАМИКИ СИСТЕМ НА КОРОТКИХ ИНТЕРВАЛАХ НАБЛЮДЕНИЯ Введение Использование классических аналитических методов решения задачи идентификации для ряда сложных систем, или множества систем не всегда приводит к успешным результатам. В следствии этого используются различные способы упрощения модели и формирование системы ограничений, что делает модель более грубой. В последнее коннективистских предположении, время системах. что модель активно Главный системы развиваются принцип может подходы, основанные коннективизма быть представлена на состоит в сетями из взаимосвязанных простых элементов, причем форма связей и элементов может меняться от модели к модели. Понятие коннективистской системы объединяет в себе модели искусственных нейронных сетей различных парадигм и функциональных особенностей, нечеткие модели, представленные в нейросетевом логическом базисе, а также объединение моделей в одну сеть для решения комплексных задач (интеграция и гибридизация). Отметим наиболее актуальные направления, связанные с развитием коннективистских систем. Формализация систем на коротких интервалах наблюдения Кластерные коннективистские системы Первое («кластерное») связано с разработкой моделей для идентификации множества однотипных систем (кластеров). В данном подходе предлагается рассматривать коннективистскую систему как сеть агентов, идентифицирующих отдельную систему, внешнюю среду и некоторые координационные системы (например, центр). В этом случае рассматривается некоторая иерархическая коннективистская система. Эволюционные коннективистские системы Следующее направление («эволюционное») связано с построением эволюционных моделей кластеров систем. В живых организмах эволюционные 7 процессы можно рассматривать с позиций нескольких уровней: квантовые информационные процессы, молекулярные информационные процессы (гены, белки), информационные процессы в клетках, системные информационные процессы (ансамбли нервных клеток), когнитивные процессы мозга и эволюционные процессы на уровне популяции и поколений. В связи с этим была сформулирована гипотеза о схожести процессов эволюционного развития сети (кластера) социально- экономических систем с процессами распространения информационных сигналов в нервной системе биологических существ. Такой подход естественен т.к. в его основе лежат процессы человеческого мозга, образования белков, генетические особенности формирования клеток и другие многочисленных принципов. Это даст более полное описание системы “кластер объектов”, позволяющие с большей точностью осуществлять моделирование и прогнозирования состояний. Другой аспект в эволюции систем заключается в следующем. В течении периода времени в равноотстоящие моменты времени проводятся экспериментальные наблюдения за поведением исследуемой системы и в ходе экспериментов получаются значения переменных состояния в некоторые моменты времени, т.е. составляется матрица наблюдений. Данная матрица используется для структурной и параметрической идентификации коннективистской модели. Однако с течением времени матрица расширяется, т.к. добавляются наблюдения в новые моменты времени. Для этого необходимо разработать методы изменения структуры и настройки параметров модели. Импульсные коннективистские системы Третье направление («импульсное») связано с применением временного кодирования информации в коннективистских моделях, так называемые импульсные нейронные сети. В основе функционирования базового элемента такой сети заложены два процесса: суммирование внешних импульсов и протекание рефрактерного периода. Отметим следующие важные свойства, делающие модель более приближенной к процессам нервной системе биологических существ. Внешний импульс описывается кривой, имеющей максимальное значение и убывающей к заданной асимптоте (начальному значению мембранного потенциала клетки). Импульсы могут быть как возбуждающими так и тормозящими, увеличивающие или уменьшающие суммарное значение потенциала соответственно. Рефрактерный период – период, описываемый функцией, располагающейся в отрицательной полуплоскости, принимающей минимум при достижении мембранного потенциала порогового значения и асимптотически 8 стремящейся к нулю. Такой подход обозначен в теории нейронных сетей как сети третьего поколения и активно развивается зарубежными учеными: Маассом, Бохте и другими. Отметим, что переход к импульсному воздействию был отмечен при разработке нейросетевых моделей прогнозирования временных рядов с учетом артефактов, предложенных в работах профессора А.И. Галушкина. Кроме этого важно отметить о использовании аппарата нечеткой логики Л. Заде в структурах импульсных нейронных сетях, что позволит создавать модели робастной идентификации.В проекте предполагается получение новых результатов на всех трех вышеупомянутых направлениях развития теории коннективистских систем, т.к. в каждом из этих направлений имеются существенные пробелы в решении задачи идентификации динамики систем на коротких интервалах наблюдения. Отличительно особенностью данного проекта является интеграция моделей и методов в указанных направлениях и формирование единой методической базы для решения проблемы. В качестве апробации моделей и методов выбрана предметная область развития сети муниципальных образований Волгоградской области. Данный выбор не является случайным, т.к. руководителем работы был выполнен проект по анализу устойчивого развития региона (Проект РФФИ 04-06-96500) который в частности показал целесообразность использования мультиагентного подхода и подхода моделирования сети объектов с использованием коннективистских систем. Гибридные эволюционные коннективистские системы ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ ЭВОЛЮЦИОННЫХ КОННЕКТИВИСТСКИХ МОДЕЛЕЙ Анализ социально-экономического развития муниципальных образований Волгоградской области Постановка задачи Формируется постановка задачи и ее описание. Сведение постановки задачи к стандартной. Анализ и редукция данных Синтез и оптимизация эволюционной коннективистской модели 9 Идентификация и прогнозирование процесса потребления электроэнергии Выводы и обобщения по результатам применения ИССЛЕДОВАНИЕ ЭВОЛЮЦИОННЫХ КОННЕКТИВИСТСКИХ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ ДИНАМИКИ СИСТЕМ НА КОРОТКИХ ИНТЕРВАЛАХ НАБЛЮДЕНИЯ Определение качества модели в зависимости от функции потерь Ограничения на применение эволюционных коннективистских систем ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ И ВЫВОДЫ В конце 2010 года будут получены следующие новые научные результаты. 1. Предложены и проработаны новые модели формализации сети однотипных объектов и предложена методика решения задачи идентификации динамики систем на коротких интервалах наблюдения с использованием коннективистских систем. Проработана модель на примере эволюционного развития муниципальных образований Волгоградской области. Проработаны варианты создания гибридных коннективистских моделей для решения задачи. 2. Сформулированы особенности, ограничения и выводы по применению коннективистских систем для формализации сетей объектов. 3. Разработаны и апробированы эволюционные алгоритмы структурной и параметрической идентификации нейросетевых моделей и импульсных нейросетевых моделей, в частности с учетом двух процессов в функционировании сети. 4. Разработана модель импульсной нечеткой нейронной сети, разработаны алгоритмы автоматического формирования нечеткой базы знаний и синтеза структуры и настройки параметров. СПИСОК ПУБЛИКАЦИЙ ПО РЕЗУЛЬТАТАМ ПРОЕКТА 1. В. А. Камаев, М. В. Щербаков, А. С. Аль-Катабери Анализ социально- экономического развития муниципальных образований на примере Волгоградской области с использованием коннективистских систем* Волгоградский государственный технический университет, Известия ВолгГТУ, 2010 10 ЛИТЕРАТУРА 2. Щербаков, М.В., Аль-Катабери, А.С. Построение модели муниципального образования на основе системной динамики / А.С. Аль-Катабери, М.В. Щербаков // Инновационные технологии в обучении и производстве: матер. V всерос. н.-пр. конф., Камышин, 4-6 дек. 2008 г. В 3 т. Т. 2 / КТИ (филиал) ВолгГТУ [и др.]. Камышин, 2008. - C. 115-117. 3. Щербаков, М.В., Панченко, Д.П. Implementation of Genetic Algorithms for Transit Points Arrangement / Д.П. Панченко, М.В. Щербаков // Information Technologies & Knowledge: suppl. "Information Science and Computing". No. 9. - 2009. - Vol. 3. - C. 129-131.- Англ. 4. Щербаков, М.В. Формализация процесса социально-экономического развития муниципальных образований в виде распределённой модели / М.В. Щербаков, А.С. Аль-Катабери // Инновационные технологии в управлении, образовании, промышленности "АСТИНТЕХ-2009": матер. междунар. науч. конф. (11-14 мая 2009 г.) / Астраханский гос. ун-т [и др.]. - Астрахань, 2009. - C. 87-88. 5. Щербаков, М.В., Осинцев, Д.С. Решение задачи классификации клиентов сотовой связи / Д.С. Осинцев, М.В. Щербаков // Городу Камышину - творческую молодёжь: матер. первой регион. науч.-практ. студ. конф., г.Камышин, 26-27 апреля 2007 г. / КТИ (филиал) ВолгГТУ. - Волгоград, 2007. - Т.2. - C. 100-101. 6. Щербаков, М.В. Сравнение моделей аппроксимации безразмерной радиальной скорости течения жидкостей во вращающихся криволинейных каналах / М.В. Щербаков, Н.Л. Щербакова // Изв. ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах": межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2007. - Вып.2, №2. - C. 24-25. 7. Щербаков, М.В., Камаев, В.А. Концепция информационной системы муниципальных образований и инвестиционных площадок / В.А. Камаев, М.В. Щербаков, А.С. Аль-Катабери // Электронная культура. Преодоление информационного неравенства: матер. междунар. конф., 2-5 июня 2008 г. / Астраханский гос. ун-т [и др.]. - Астрахань, 2008. - C. 127-130. 8. Щербаков, М.В., Осинцев, Д.С. Программная система для построения профилей потребителей услуг операторов сотовой связи / Д.С. Осинцев, М.В. Щербаков // Технологии Microsoft в теории и практике программирования: тр. IV всерос. конф. 11 студ., аспир. и мол. уч., 2-3 апр. 2007: Центральный регион, Москва: [тез. докл.] / Моск. авиац. ин-т (гос. техн. ун-т) [и др.]. - М., 2007. - C. 171-172. 9. Щербаков, М.В., Камаев, В.А. Использование нейросетевых технологий для анализа сложных иерархических систем / В.А. Камаев, Д.П. Панченко, М.В. Щербаков // Вестник Брянского государственного технического ун-та. - 2004. - №1. - C. 202-207. 10.Щербаков, М.В., Камаев, В.А. Об одном нейросетевом подходе к идентификации сложных систем / В.А. Камаев, М.В. Щербаков // Вестник компьютерных и информационных технологий. - 2004. - №3. - C. 20-24. 11.Камаев, В.А. Синтез эволюционной адаптивной нейросетевой модели идентификации [Электронный ресурс] / В.А. Камаев, М.В. Щербаков // Идентификация систем и задачи управления (SICPRO`06): тр. V междунар. конф., Москва, 30 янв.- 2 февр. 2006 г. / РАН, Ин-т проблем управления им. В.А.Трапезникова. - М., 2006. - C. 2071-2082. 12.Камаев В.А., Фоменков С.А., Лепетухин Н.Ю. Принципы моделирования устойчивого развития города/ Сб. "Концепция устойчивого развития Волгограда: Страховые условия" - Волгоград: Изд. "Волгоград", 2002 с. 228 – 235 13.Камаев В.А., Концепция информационной системы муниципальных образований и инвестиционных площадок /В.А. Камаев, М.В. Щербаков, А. Аль-Катабери //Электронная культура. Преодоление информационного неравенства: матер. междунар. конф., 2-5 июня 2008 г./Астраханский гос. ун-т [и др.]. - Астрахань, 2008. - С.127-130. Приложение А 12
