Институт машиноведения им. А.А. Благонравова РАН

ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
А.И. МАНОЛОВ
Институт машиноведения им. А.А. Благонравова РАН
paraslonic@gmail.com
МОДЕЛИРОВАНИЕ НЕЙРОННОЙ СЕТИ,
ОБЕСПЕЧИВШЕЙ ГИПЕРБОЛИЧЕСКУЮ ЗАВИСИМОСТЬ
ПАРАМЕТРОВ
Рассматривается возможный механизм реализации вычисления
гиперболической
функции
нейронной
сетью.
Особенностью
предложенного подхода является то, что функциональной зависимостью
можно связывать не только значения в некоторый момент времени, но
также параметры, имеющие временную развертку. Такой тип
функциональной зависимости особенно актуален для управления
движением организма. Дается описание нейронной сети, реализующей
геометрическую процедуру построения гиперболической кривой и
результаты моделирования ее работы.
Введение
Во многих автоматизированных (повторяющихся) движениях живых
организмов наблюдаются функциональные зависимости между
параметрами этих движений – синергии [1]. Так, например, в
шагательных движениях различных животных можно выделить
функциональную связь между длиной (L), периодом (T) шага и скоростью
ходьбы v. Она имеет гиперболический вид: T  Tс 
где
Lс
, L  Lc  Tc v ,
v
Lc и Tc – константы, различные для разных животных [2].
Экспериментальные данные и их аппроксимация гиперболической
функцией показаны на рис. 1.
Нейронный механизм формирования таких синергетических
функциональных связей пока во многих случаях неизвестен. Ниже описан
один из возможных механизмов реализации подобного рода
функциональной связи параметров.
Традиционный
подход
нейросетевого
моделирования
к
аппроксимации математических функций состоит в построении
многослойной нейронной сети и дальнейшего подбора весовых
коэффициентов межнейронных связей таким образом, чтобы уровень
УДК 004.032.26(06) Нейронные сети
18
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
активности выходного нейрона являлся функцией от уровня активности
входных нейронов (либо нейрона). При этом скорость распространения
сигналов по межнейронным связям не учитывается и считается
бесконечно большой. Для описанного выше класса задач данный подход
неприменим, поскольку он не дает возможность работать с такими видами
параметров как скорость распространения сигнала, либо длительность
некоторого процесса, но лишь с уровнями сигналов в данный момент
времени.
Рис. 1. Зависимость длины периода шага у различных животных: 1 –
человек,
2 – лошадь, 3 – собака, 4 – таракан, 5 – многоножка Skolopendra,
6 – многоножка Julus
В работе [3] был описан возможный нейронный механизм реализации
гиперболической зависимости между временными параметрами. Он
основан на реализации геометрической процедуры построения гипербол
при помощи линейки – процедуре Паскаля. Для задачи моделирования
описанной в [3] нейронной сети, мы несколько упростили предложенную
схему нейронной сети, о чем подробнее будет рассказано ниже.
Процедура Паскаля
Процедура Паскаля состоит в следующем. Пусть отрезок L (см. рис. 2)
называемый опорным, вращается вокруг точки c0. Из начала координат
выпускаем два луча с фиксированными углами наклона: с1 и с2. Из точки
A пересечения луча с1 и опорной прямой выпускаем луч r2, параллельный
с2. Из точки B пересечения луча с2 и опорной прямой выпускаем луч r1,
параллельный с1. Точка пересечения С лучей r2 и r1 и есть
УДК 004.032.26(06) Нейронные сети
19
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
результирующая точка. Меняя наклон опорной прямой, мы получаем
различные точки гиперболы.
Рис. 2. Схема лучей для процедуры Паскаля
Пусть угол наклона опорной прямой будет k < 0, а лучей с1 и с2 : k1 и k2
соответственно. Координаты точки с (вокруг которой вращается опорная
прямая) равны xc и yc . Тогда координаты результирующей точки будут:
 1
1 

xC  x A  xB  ( yc  kxc )

 k1  k k2  k 
 k
k2 

yC  y A  yB  ( yc  kxc ) 1 
 k1  k k2  k 
Модель нейронной сети
Рассмотрим три проводящие сигналы линии, расположенные так, как
это показано на рис. 3. Стрелками показано направление распространения
сигналов, v1, v2, v3 – скорости распространения сигналов.
УДК 004.032.26(06) Нейронные сети
20
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 3. Три проводящие сигналы линии
Введем систему координат Ox. Пусть в начальный момент времени в
точках A, B и C инициируются по сигналу. Покажем их ход на
пространственно-временной диаграмме (рис. 4). Линия c имеет
отрицательный наклон, поскольку сигнал из точки C идет в ином
направлении, чем из точек A и B.
Рис. 4. Пространственно-временная диаграмма
Если ввести в схему элементы – детекторы совпадений x-координаты
сигналов, то мы сможем обрабатывать события пересечения линий a, b и c
показанных на рисунке выше.
УДК 004.032.26(06) Нейронные сети
21
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Подобным образом, используя распространение сигналов с различной
скоростью и в различном направлении, мы можем реализовывать
геометрические процедуры построения, если только в построениях
достаточно прямых линий. В частности мы можем реализовать процедуру
Паскаля в сети нейронов. Линиями связи, упомянутыми выше, являются
отростки нейронов – аксоны и дендриты. Как правило, эти отростки
имеют сильно ветвящуюся древовидную форму, однако, например, в
мозжечке встречаются и параллельно идущие пучки нервных волокон и
расположенных вдоль них клеток. Что и наводит на мысль о возможности
реализации подобных вычислительных механизмов в нейронных сетях.
Рассмотрим следующую конфигурацию нейронов – одного модуля,
реализующего процедуру Паскаля для одной точки. Следует отметить, что
модели нейронов в данном случае могут быть сильно упрощены.
Достаточно пороговой активации (если сумма входящих сигналов
превышает порог – нейрон становится активным) и учета скорости
распространения сигналов по линиям, соединяющим нейроны.
Рис. 5. Работа одного модуля схемы
Нейрон А является пусковым. При его возбуждении импульс
распространяется по аксону и, после разветвления, одновременно
поступает на линии С0 и С1А. Сигналы s1 и s2 распространяются по
линиям С0 и С1А со скоростями с0 и с1 соответственно, что соответствует
лучам с0 и с1 на рис. 2. Одновременно с возбуждением нейрона A
возбуждается нейрон B, который посылает по линии А0 сигнал s3
(образующий опорную прямую в процедуре Паскаля – луч L на рис. 2).
Нейрон С служит детектором совпадения координат (здесь и далее
рассматривается проекция на горизонтальную ось) сигналов s3 и s1, что
УДК 004.032.26(06) Нейронные сети
22
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
соответствует пересечению опорной прямой и луча с0. При их совпадении
он возбуждается и посылает сигнал по своему аксону на линию С1В.
Нейрон D служит детектором совпадения координат сигналов s3 и s2
(пересечение прямой и луча с1) . При их совпадении он возбуждается и
посылает сигнал по своему аксону на линию С0. Нейрон Е служит
детектором совпадения координат сигналов, распространяющихся по
линиям С0 и С1В (это уже реинициированные сигналы, которые
соответствуют лучам r1 и r2 на рис. 2). При их совпадении он посылает
сигнал по своему аксону на линию E, являющуюся выходной для данной
схемы.
При изменении угла наклона опорной прямой (луч L на рис. 2) – что
необходимо, если мы хотим получить другую точку, лежащую на
гиперболической кривой – совпадение x-координаты сигналов будет
происходить при других значениях x. Поэтому нам необходимо наличие
не одного модуля, изображенного на рис. 5, но ряда таких модулей,
расположенных вдоль оси x, как это показано на рис. 6. Отметим, что при
моделировании мы изменяли скорость распространения сигналов по
линии А0, что, конечно, не может быть физиологически достоверным
механизмом (скорость распространения сигнала по аксону во многом
зависит от его диаметра). Это лишь абстракция, помогающая облегчить
моделирование. Возможные физиологические механизмы могут быть
следующие. Линия А0 состоит из ряда близкорасположенных нейронов, на
которые либо проецируется положение конечности (видимо, в системе
координат тела), либо по которым распространяется сигнал с изменяемой
временной задержкой (это свойство активации нейронов может
изменяться под воздействием модулирующих нейромедиаторов).
УДК 004.032.26(06) Нейронные сети
23
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 6. Схема нейронной сети, используемая в данной работе
На рисунке не показаны (чтобы не загромождать схему) тормозные
межнейронные связи, которые есть в рабочем варианте схемы. Такие
связи имеются между нейронами всех трех слоев: N3, N2 и N4. При
возбуждении одного из нейрона слоя, все близстоящие нейроны того же
слоя испытывают тормозное воздействие, инактивирующее их на
заданный промежуток времени. Следует также отметить, что реальное
число моделируемых нейронов много больше, а шаг между блоками М
меньше, чем в схеме, изображенной на рис. 6. Подобные изменения
внесены для большей наглядности схемы.
Результаты моделирования
Ниже на рис. 7 и рис. 8 показаны результаты моделирования в
координатах x и k (x – координата нейрона слоя N4, k – скорость
распространения сигнала по линии A0). Сплошная линия – это
гиперболическая аппроксимация, выполненная при помощи Matlab Curve
Fitting Tool. Также на рисунках указано среднеквадратичное отклонение
от аппроксимирующей кривой. На рис. 8 в модели мы увеличили
расстояние между модулями M, что увеличило погрешность результата,
но сохранило гиперболический характер кривой.
УДК 004.032.26(06) Нейронные сети
24
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 7. Результат работы программы (точки) и гиперболическая
аппроксимация.
Внизу указано значение среднеквадратичной ошибки
Выводы
Как показывают результаты моделирования, предложенный механизм
нейросетевой
реализации
геометрической
процедуры
Паскаля
действительно обеспечивает гиперболическую функциональную связь
параметров. Причем оказалось возможным варьировать параметры схемы
в широком диапазоне с сохранением гиперболического характера
функции.
В дальнейшем предполагается как развивать модель (перейти на более
физиологически достоверные модели Ходжкина и Хаксли), так и искать
описанные выше волновые принципы работы в реальных биологических
нейронных сетях.
УДК 004.032.26(06) Нейронные сети
25
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 8. Результат работы программы (точки) и гиперболическая
аппроксимация
в случае увеличения пространственного шага между нейронами.
Внизу указано значение среднеквадратичной ошибки
Список литературы
1. Бернштейн Н.А. Физиология движений и активность // Наука. 1990.
494 с.
2. Смолянинов
В.В.
Пространственно-временные
задачи
локомоторного управления // Успехи физических наук. 2000. Т. 170. № 10.
C. 1063-1128.
3. Смолянинов В. В. Локомоторная теория относительности //
Препринт ИПИ АН СССР. 1984. 120 с.
УДК 004.032.26(06) Нейронные сети
26