На правах рукописи Специальность 05.13.01 – Системный анализ, управление

На правах рукописи
Карлов Дмитрий Николаевич
ИНТЕЛЛЕКТУАЛЬНАЯ МНОГОКОНТУРНАЯ СИСТЕМА
ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ АНАЛИТИКА
Специальность 05.13.01 – Системный анализ, управление
и обработка информации (информационные и технические системы)
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Краснодар – 2011
2
Работа выполнена в ГОУ ВПО «Кубанский государственный
технологический университет»
Научный руководитель:
кандидат технических наук
Шумков Евгений Александрович
Официальные оппоненты: доктор технических наук, профессор
Плахотнюк Александр Николаевич
кандидат технических наук, доцент
Ермоленко Владимир Валентинович
Ведущая организация:
Кубанский государственный
аграрный университет
Защита состоится
"2" марта 2011 г. в 16.00 час. на заседании
диссертационного совета Д 212.100.04 в Кубанском государственном
технологическом
университете
по
адресу:
350072,
г.
Краснодар,
ул. Московская 2, ауд. Г-251
С диссертацией можно ознакомиться в библиотеке Кубанского
государственного технологического университета по адресу: 350072,
г. Краснодар, ул. Московская, 2
Автореферат разослан "29 " января 2011 г.
Ученый секретарь
диссертационного совета Д 212.100.04,
канд. техн. наук, доцент
А. В. Власенко
3
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. В связи с все возрастающими объемами хранимых данных, так и с возрастающей сложностью решаемых задач, в текущее время остро встает вопрос автоматической обработки данных, в том числе получение новых знаний. Как пример можно привести
хранилища данных торговых предприятий (в том числе гипермаркетов и
розничных сетей), в которых скопился большой объем информации о торговых транзакциях, контрагентах, поставщиках и так далее. Эти данные
содержат в себе много важной бизнес – информации, в которой необходимо находить новые знания для дальнейшей успешной работы бизнеса.
Другим примером огромных накопленных данных служит фармацевтика,
медицина и генетические исследования – есть много накопленных данных
и знаний о человеческом организме, лекарствах, болезнях и необходимо
искать и находить новые химические соединения для создания лекарств.
Можно привести много примеров, где необходим поиск новых знаний на
базе накопленных массивов информации.
В данной работе исследуется применимость поиска новых закономерностей на финансовых рынках. Данная задача актуальна по ряду причин, например, институт игры на бирже все больше и больше проникает к
обычному человеку, в нашей стране появляется все большее количество
дистрибьюторских центров доступа к биржам. Ежедневный оборот только
на рынке Форекс в 2010 году – 4 трлн долларов (оценочно). В России так-
4
же наблюдается повышенный интерес к игре на финансовых играх , например, по данным РТС – только у нее свыше 80 тысяч клиентов.
Целью диссертационной работы является разработка интеллектуальной многоконтурной системы поддержки принятия решения аналитика
финансовых рынков и методов автоматического поиска новых закономерностей.
Задачи исследования:

исследование методов прогнозирования и анализа временных рядов
финансовых рынков;

разработка алгоритмов автоматического построения механической
торговой системы (далее МТС);

создание алгоритма поиска новых математических закономерностей
на рынке Forex на базе технических индикаторов;
 анализ современных методов обучения нейронных сетей;
 проверка возможностей использования нейронных сетей на рынке
Forex;

разработка нового алгоритма обучения нейронных сетей;

создание информационной системы автоматического отслеживания
событий на финансовых рынках и автоматического поиска новых
закономерностей поведения финансовых рынков в рамках системы
поддержки принятия решений (далее СППР).
5
Методы исследования. Задачи исследования решены с использованием методов теории искусственных нейронных сетей, системного анализа, математической статистики, фундаментального и технического анализа,
нечеткой логики и искусственного интеллекта.
Научная новизна исследования заключается в следующих результатах:
 разработан скоростной метод обучения многослойного персептрона;
 разработан подход к построению систем поиска новых знаний;
 разработан подход автоматического поиска механических торговых систем с заданными параметрами;
 реализована система поддержки принятия решений для поиска
новых знаний для финансовых рынков.
Практическая ценность работы заключается в разработке и апробации нового метода обучения многослойного персептрона, разработке
подхода к построению системы поиска новых знаний и реализация этого
подхода в СППР аналитика финансового рынка.
Реализация и внедрение результатов работы. Разработанная система FSystem внедрена в ЗАО Банк «Первомайский».
Основные положения, выносимые на защиту:
 скоростной метод обучения многослойного персептрона;
6
 метод создания многоконтурной системы управления поиска знаний на финансовых рынках;
 метод автоматического построения МТС;
 система поддержки принятия решений аналитика финансового
рынка.
Публикации. Результаты исследования опубликованы в 4 печатных
работах соискателя (в том числе 2 в журналах рекомендованных ВАК),
также подана заявка на патент.
Структура и объем диссертации.
Диссертация состоит из введения, четырех глав, заключения, списка
использованной литературы и приложений. Объем диссертации составляет
131 страницу, содержащую 21 таблиц и 37 рисунков.
ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ
Во введении обоснована актуальность и сформулирована научная
проблема исследования, определены его объект и предмет, поставлены
цель и задачи исследования.
В первой главе проведен анализ существующих методов поиска новых знаний, а также большое внимание уделено анализу существующих
методов анализа финансовых временных рядов. Отмечено, что основными
инструментами аналитиков финансовых рынков являются фундаментальный и технический анализ, а также в последнее время широкое распространение получают методы теории хаоса и искусственного интеллекта.
7
Рассмотрены существующие методы обучения нейронных сетей, отмечены
их достоинства и недостатки. Основным способом обучения многослойного персептрона является метод обратного распространения ошибки. Данный метод обучения хорошо себя зарекомендовал при решении многих задач. Но у данного метода есть недостатки, к которым можно отнести: длительное время обучения; частое нахождение локальных, а не глобальных
минимумов; проблема выбора адекватной архитектуры сети и другие. Но
основной проблемой обучения нейронной сети по данному методу является длительное время обучения, то есть через сколько итераций ошибка сети будет меньше заданной. Рассмотренные современные скоростные алгоритмы обучения многослойного персептрона в основном имеют ограничения либо по количеству выходов, либо требуют априорной информации о
моделируемой задачи в виде формул или правил.
Во второй главе обоснован и описан новый метод обучения многослойного персептрона – "скоростной метод обучения".
В данной работе предлагается метод обучения нейронной сети, который также как и алгоритм обратного распространения ошибки использует
ошибку на выходах сети и последовательно пропускает ее через слои
нейронной сети от выходного к входному. В основе предлагаемого метода
лежит вычисление обратной функции от гиперболического тангенса, подсчет разницы между желательным и реальным значением на входе в
8
нейрон и корректировка синаптических связей на необходимые значения.
Метод относится к классу обучения с учителем.
Предлагаемый метод обучения разработан для стандартного многослойного персептрона прямого распространения сигнала, но может применяться и для некоторых других нейросетевых топологий. Нейрон функционирует стандартным способом:
n
z
(k )
j
  wij( k 1)  xi( k 1) ,
i 0
y (jk )  f ( z (jk ) )
где xi
(k )
(1)
(2),
– вектор, входящий в сумматор i -го нейрона k -го слоя; f (z ) –
функция активации нейрона (в данной работе рассматривается только ги(k )
перболический тангенс); y j – сигнал на выходе j -го нейрона k -го слоя,
wij – веса синоптических связей между слоями.
Многослойный персептрон состоит из k – слоев: входного, который
не производит никаких вычислений, а только распространяет входной вектор далее; скрытых слоев, количество которых может быть неограниченным; выходного слоя, с которого снимается результат вычислений многослойного персептрона.
Алгоритм скоростного обучения многослойного персептрона состоит
из следующих шагов:
1. Подача на вход выбранного случайным образом примера и расчет
значений y i на выходе сети. Или, в зависимости от выбранного спо-
9
соба подсчета ошибки, пакетная подача примеров с суммированием
ошибки на выходе.
2. Расчет обратной функции от гиперболического тангенса, то есть расчет того, что должно было входить в нейроны выходного слоя для
правильного ответа сети. Обратная функция от гиперболического
тангенса:
zˆ
(k )
j
1  y (jk )
1

 ln(
),
2 
1  y (jk )
(3)
где  – параметр гиперболического тангенса.
3. Расчет разницы между тем, что должно было входить в нейрон и тем,
что реально было на него подано:
 j  z (jk )  zˆ (jk ) ,
(4)
где z – число, которое должно было быть подано на вход нейрона
выходного слоя для правильного ответа, ẑ – то, что реально вошло в
нейрон. Таким образом, мы вычисляем разницу между желаемым и
действительным входом в нейрон.
4. Генератором случайных чисел разбиваем  по всем синаптическим
связям, входящим в данный нейрон в процентном соотношении. При
этом:
n
p
i 0
i
1,
(5)
5. Вычисляем – на сколько нужно изменить сигнал, исходящий из
нейрона предыдущего слоя, при этом учитываем, что данный сигнал
10
идет на все нейроны последующего слоя умноженный на соответствующие веса связей. При этом мы хотим распределить ошибку и
на веса связей w и на выход предыдущего слоя z( k 1 ) , чтобы изменения затронули и предыдущие слои нейронной сети. Исходная система уравнений для первого нейрона (k-1) слоя:
wˆ i(1k )  zˆi( k 1)  wi(1k )  z i( k 1)   1  pi1
…...
(6)
wˆ in( k )  zˆi( k 1)  win( k )  z i( k 1)   1  p1n
ˆ ij( k ) и zˆ in( k 1) .
В данном случае получается (n+1) неизвестное – это w
Наиболее простым решением является следующее – пусть:
wˆ i(1k )  wi(1k )   1  pi (1   ) ,
(7)
где  – случайное число (   [0;1] ). Далее подставляя установленное
(k )
( k 1)
значение wˆ i1 в первое уравнение системы (6) находим zˆ i , после
подставляем найденное значение выхода первого нейрона в остальные уравнения системы (6) находим новые значения весов связей.
Система (6) составляется для каждого нейрона слоя (k-1).
Далее, аналогично вычисляются изменения для предыдущих слоев,
то есть от предпоследнего к входному, в частности следующий шаг – вычислить через обратную функцию гиперболического тангенса, сколько
должно получиться на входах нейронов (k  1) слоя.
В скоростном методе обучения ошибку можно считать:
11
 по валидационной выборке после каждого поданного во время
обучения примера;
 суммарно по всем обучающим примерам (пакетный способ).
При этом второй способ целесообразен при небольшой обучающей
выборке.
Общий алгоритм решения задач с помощью скоростного алгоритма
обучения многослойного персептрона состоит из следующих шагов
1. Выбор значащих входных и выходных переменных модели.
2. Формализация переменных модели.
3. Дискретизация переменных модели
На этом шаге выполняется приведение всех переменных входящих в
формулу к дискретному виду. Непрерывные переменные подвергаются
процедуре шкалирования на области допустимых значений. Количество и
интервалы шкал переменных определяются экспертом на основании прагматической целесообразности, или рассчитываются из условия равновероятного распределения. Значениям переменных имеющих нечисловую природу ставятся в соответствие наборы дискретных значений. Каждому интервалу шкалы каждой непрерывной переменной ставится в соответствие
дискретная переменная.
4. Построение архитектуры нейронной сети согласно выбранным
критериям определения количества скрытых слоев и нейронов в
них.
12
5. Инициализация связей между нейронами сети генератором случайных числе в интервале [-1;1].
6. Выбор примера для обучения генератором случайных чисел.
7. Подача выбранного примера на входы и выходы нейронной сети и
изменение связей согласно выше написанным формулам.
8. Расчет ошибки сети либо на тестовой выборке, либо на всех примерах.
9. Если ошибка меньше заданной, то окончание процесса обучения,
если нет, то цикл на шаг 6.
После завершения обучения нейронной сети для получения правильного значения выходов необходимо провести операцию обратную шкалированию на шаге 3.
Данный метод позволяет за меньшее количество итераций обучить
многослойный персептрон на заданном множестве примеров по сравнению
с методом обратного распространения ошибки. При этом вычислительная
сложность алгоритма также меньше. Скоростной метод обучения многослойного персептрона позволяет оценить – возможно, ли выйти на заданную ошибку обучения нейронной сети или нет. Также скоростной метод
обучения можно использовать как самостоятельный при решении некритических задач.
В третьей главе рассматривается разработанная СППР аналитика
финансовых рынков. Данная система многокомпонентная и разработана по
13
современным методикам построения систем интеллектуального анализа
данных. В общем виде СППР реализована, как показано на рисунке 1.
Рисунок 1. Общая структура СППР
Разработанная СППР состоит из следующих компонент: блок сбора
информации, блок хранения информации, блок предварительной обработки информации, OLAP – модуля, блок поиска новых знаний, блок тестирования, блок торговли, торговых терминалов и др.
Блок хранения информации реализуется на основе технологии Хранилище Данных (далее ХД). В ХД содержится вся необходимая для анализа информация, в том числе значения котировок финансовых инструментов.
14
Блок сбора информации предназначен для загрузки данных из заранее определенных источников, а также для поиска новых источников данных. Его структура показана на рисунке 2.
Рисунок 2. Блок сбора информации в сети Интернет
В качестве поставщика событий для системы анализа используются
RSS – каналы. Информационный ресурс в минимальном составе состоит из
БД, скрипта загрузки данных и скриптов (макросов) обработки данных.
Для исследования влияния событий анализируются временные ряды фи-
15
нансовых рынков и макроэкономических показателей, при этом оценивается влияние макроэкономических показателей на финансовые временные
ряды. В качестве источников временных рядов используются торговые
терминалы Metatrader (по валютному рынку) и Quik (по российскому фондовому рынку) от соответствующих дистрибьюторских центров.
Система поиска новых знаний в первую очередь предназначена для
поиска прибыльной стратегии для данного временного ряда в текущий
временной интервал, или поиска временного ряда, на котором в данный
временной промежуток возможна прибыльная стратегия. Общая схема
блока поиска новых знаний представлена на рисунке 3.
Рисунок 3. Схема системы поиска новых знаний.
16
Блок поиска новых знаний построен на базе технологии Data – mining (интеллектуальный анализ данных) с введением новой технологии
OLAM (On – Line Analytical Mining – анализ и поиск новых знаний в режиме реального времени). В СППР реализованы следующие методы, отнесенные к составу Data – mining: модуль определения линий поддержки и
сопротивления, модуль поиска оптимальных параметров индикаторов, модуль определения фигур, модуль статистических методов прогнозирования, нейросетевой модуль, деревья решений, а также библиотеки генетических алгоритмов и нечеткой логики. При этом модули могут взаимодействовать друг с другом, запрашивая или предоставляя данные. Непосредственно поиском новых знаний занимается модуль OLAM. Общая суть работы данного модуля, применительно к разработанной СППР – имеется
большое количество финансовых временных рядов, также имеется библиотека методов анализа этих временных рядов, необходимо найти торговые
стратегии (или методы прогнозирования), которые бы работали со статистическим преимуществом. Детальная схема модуля OLAM представлена
на рисунке 4.
17
Рисунок 4. Схема OLAM – модуля
где СУ – система управления, МП – метод прогнозирования, СТ –
система торговли. В общем виде реализованные СУ СТ и СУ СП –
показаны на рисунке 5.
18
Рисунок 5. Основные блоки OLAM – модуля
БРМФ ТС – это блок реализации математических формул торговых
систем. МФ СП – математическая формула системы прогнозирования и
БВР – блок выбора результата. Crawler – это программный робот, который
обходит в определенном порядке (возможно случайном) ячейки OLAP –
куба параметров данного метода и подает их в соответствующие блоки. По
главной шине сигналов (выделена толстой линией) в случае СУ СТ идут
параметры системы, например таймфрейм, условия открытия / закрытия
позиций и т.д. В случае СУ СТ обратно идут параметры полученных тор-
19
говых систем, в случае СУ МП точность прогнозирования (оценивается дефакто).
В связи с тем, что в системе идет постоянный многопоточный процесс анализа данных и в связи с ограниченными вычислительными ресурсами необходим блок ограничения поиска моделей, как контурах прогнозирования, так и торговых систем. В качестве такого блока предлагается
разработанный блок самомодификации контуров (БСМК). Задача данного
блока – управление контурами СУ МП и СУ СТ. БСМК реализует операции остановки работы конкретного СУ МП или СУ СТ и сохранение его
конечных и наиболее успешных параметров, клонирование успешных моделей и скрещивание эффективных моделей с другими моделями
Учитывая сложность принятия решения о выборе торговой системы,
решение ищется с помощью нечеткой логики, которая позволяет использовать опыт экспертов и чрезвычайно гибка для подстройки в процессе работы. Блок Нечеткого Выбора результата (далее БНВ) предназначен для выбора лучшей, с точки зрения текущих настроек, торговой стратегии или
метода прогнозирования. База правил нечеткого вывода показана в таблице 1.
Таблица 1. – База правил нечеткого вывода
20
В Таблице 1 показан выбор ТС по трем параметрам (простая модель): P / L – прибыль к убыткам, ADP – математическое ожидание выигрыша и MS – максимальное проскальзывание. Выходная переменная –
уверенность отбора торговой системы. Покажем правило вывода для затемненной ячейки:
ЕСЛИ (Доходность) = (средняя) И (Матожидание выигрыша) =
(низкое) И (Максимальное проскальзывание) = (среднее) ТОГДА (Уверенность отбора ТС) = (средняя)
Отдельно отметим блок методов искусственного интеллекта, который содержит макросы и скрипты реализующие: нейронные сети, генетические алгоритмы, методы нечеткой логики, деревья решений. В частности
реализованы нейронные сети двух типов: многослойный персептрон для
прогнозирования и сеть Кохонена для классификации. При этом реализованы следующие алгоритмы обучения: обратного распространения ошибки, RProp, скоростной метод обучения и подбор весов генетическим алгоритмом.
В четвертой главе исследовался метод скоростного обучения многослойного персептрона и методика автоматической генерации торговых
систем на базе разработанной СППР аналитика финансовых рынков. В результате экспериментов было получено, что разработанный скоростной
21
метод обучения обучает многослойный персептрон в среднем в 4 раза
быстрее, чем алгоритм обратного распространения ошибки и в 1.77 раза
быстрее, чем алгоритм RProp. Также использование скоростного алгоритма сокращает количество нейронов в скрытом слое, в сравнении с стандартным методом на 9.5%, а в сравнении с алгоритмом RProp на 6.5%. В то
же время проигрывает в точности прогнозирования на заранее неизвестных примерах алгоритму обратного распространения ошибки (в среднем
на 6.4%) и превосходит по точности алгоритм RProp на 3.3%.
В случае использования нейронной сети в качестве ядра торговой
системы, применение скоростного метода обучения, в сравнении с методом обратного распространения ошибки, дает многократное преимущество
по времени нахождения адекватной модели, некоторое преимущество по
количеству перебираемых моделей, практически не использует два и более
скрытых слоя, однако проигрывает по времени жизни модели. Все эксперименты по прогнозированию проводились для прогноза абсолютного значения прогнозируемой величины, в данном случае по точности прогноза
алгоритм обратного распространения ошибки имеет преимущество, однако
для данной задачи в реальной торговле используется прогнозирование знака изменения относительного движения котировки – в таком случае по качеству прогнозирования методы практически идентичны, но скоростной
алгоритм имеет неоспоримое преимущество по времени генерации адекватной модели.
22
Также в четвертой главе исследовался OLAM – модуль, который
позволяет в автоматическом режиме получить МТС работающие со статистическим преимуществом. Результаты экспериментов показали, что
нейросетевые модели имеют значительное преимущество над моделями,
созданными на базе методов технического анализа.
В заключении описаны выводы и результаты проделанной работы.
В приложениях представлены результаты частотного анализа повторяемости комбинаций японских свечей и распределения движения валютных временных рядов по времени суток.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
Проделанная в рамках диссертации работа позволила ответить на поставленные вопросы, цели и задачи исследования. Основными задачами
исследования являлись: возможность создания автоматической системы
поиска новых закономерностей на финансовых рынках и разработка алгоритма обучения многослойного персептрона с высокими скоростными характеристиками обучения. Выполненные нами исследования и разработки
позволили сделать следующие выводы:
1. Разработан скоростной метод обучения нейронной сети, который
характеризуется высокой скоростью обучения. Нейронная сеть
обучается в среднем в 4 раза быстрее и использует меньшее на
9.5% количество нейронов в скрытом слое в сравнении с алгоритмом обратного распространения ошибки. При этом скоростной
алгоритм обучения проигрывает в точности прогнозирования на
23
заранее неизвестных примерах (в среднем на 6.4 %) методу обратного распространения ошибки и выигрывает у алгоритма
RProp на 3.3 %. В тоже время в задаче прогнозирования знака изменения котировки, разработанный алгоритм идентичен по точности алгоритму обратного распространения ошибки, а высокая
скорость обучения дает преимущество при использовании.
2. Разработан подход к созданию систем автоматического поиска
новых знаний (скрытых закономерностей), реализованный в виде
OLAM – модуля. При этом подход универсален в плане выбора
инструмента поиска, в частности используются методы математической статистики, искусственные нейронные сети, генетические алгоритмы, деревья решений и нечеткая логика.
3. На основе современных информационных технологий и методов
искусственного интеллекта реализована интеллектуальная многоконтурная система поддержки принятия решений аналитика финансовых рынков, которая реализует следующую цепочку: "поиск
и накопление данных – предварительная обработка данных – поиск торговых систем – торговля".
4. В ходе работ было выявлено, что торговые системы, использующие нейронные сети в качестве прогнозирующего ядра, имеют
преимущество по основным показателям МТС, над системами,
построенными на базе методов технического анализа.
24
5. В результате экспериментов выявлено, что нейросетевые МТС,
использующие для обучения скоростной метод выигрывают у алгоритма обратного распространения ошибки по времени поиска
адекватной модели, по количеству перебранных моделей, по
длине обучающей выборки, а также практически не используют
два и более скрытых слоя, в то же время проигрывают по времени
жизни модели.
6. Построена система автоматического поиска и ранжирования политических и экономических новостей (в том числе и макроэкономических индикаторов)
ПЕРЕЧЕНЬ
РАБОТ,
ОПУБЛИКОВАННЫХ
ПО
ТЕМЕ
ДИССЕРТАЦИИ
1. Карлов Д.Н., Шумков Е.А. Система поиска адекватных математических моделей // Сборник статей XXIV Международной научно – технической конференции «Математические методы и информационные
технологии в экономике, социологии и образовании» (зимняя сессия). – Пенза: Приволжский Дом знаний. – 2009. – С. 149-150.
2. Карлов Д.Н., Шумков Е.А. Автоматическая система отслеживания
политических и экономических новостей // Сборник статей XXV
Международная научно – техническая конференция (летняя сессия)
«Математические методы и информационные технологии в экономике, социологии и образовании». – Пенза: Приволжский Дом знаний. – 2010. – С. 29-31.
25
3. Шумков Е.А., Карлов Д.Н. Построение МТС на базе частотного и
временного анализа японских свечей. // Известия ЮФУ. Технические
науки. – Таганрог, 2010. – №2 (103). – С. 236- 242.
4. Шумкова О.А., Карлов Д.Н., Шумков Е.А. Многоконтурная система
анализа финансового рынка. // Труды Кубанского Аграрного Университета. – Краснодар: КубГАУ, 2010 – № 4(25). – С. 31-35.
Подписано в печать 28.01.2011. Печать трафаретная.
Формат 60x84 1/16. Усл. печ. л. 1,35. Тираж 100 экз. Заказ № 434.
ООО «Издательский Дом-Юг»
350072, г. Краснодар, ул. Московская 2, корп. «В», оф. В-120
тел. 8-918-41-50-571
e-mail: olfomenko@yandex.ru
Сайт: http://id-yug.narod2.ru