Моделирование топологий нейрональных сетей с

ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
О.А. ЛУКЬЯНОВА, О.Ю. НИКИТИН
Вычислительный центр ДВО РАН, Хабаровск
olegioner@ya.ru
МОДЕЛИРОВАНИЕ ТОПОЛОГИЙ НЕЙРОНАЛЬНЫХ СЕТЕЙ С ИСПОЛЬЗОВАНИЕМ ТЕОРИИ
КОС
Теория кос, как часть теории топологий, предлагается как инструмент для описания структуры
нейрональных путей. Рассматриваются сети нейронов с возможностью экстрасинаптической передачи
сигнала. Демонстрируются математические подходы к описанию и трансформации нейрональных путей. В
работе создана симуляционная среда для изучения ассоциативных особенностей различных топологий
нейрональной сети. Результаты симуляции нейрональных путей показывают, что они отражают некоторые
психологические аспекты подсознательной обработки памяти.
Ключевые слова: теория кос, нейронная сеть, нейрональные пути, экстрасинаптические контакты,
топологии, подсознание, ассоциации
Введение
Пространственные характеристики распределения нейронов в сети производят значительное влияние на
работу биологических нервных систем. Концентрация синаптических связей в одной конкретной области
мозгового вещества может привести к искажениям и модификации сигналов. Даже если нейроны не связаны
синапсами, они могут общаться посредством выпуска нейротрансмиттеров из синаптической щели в
межнейрональное пространство. Таким образом, если синапсы нейронов расположены достаточно близко,
они могут быть соединены, даже без непосредственного контакта. Данное обстоятельство может играть
важную роль в процессе обучения по Хеббу [4] и приводить к искажениям и нелинейным связям в передаче
и хранении информации.
Топология сети играет важную роль и в искусственных моделях нейронных систем с участием эффекта
нейромодуляции [5].
Использование математической топологии может помочь в описании пространственного распределения
нейрональных сетей. Такое направление топологии, как теория кос, может быть особенно полезна для
описания пространственного положения нейронов, так как многие биологические нейронные структуры
представлены в форме переплетенных волокон и могут быть описаны как косы.
Теория кос исследует топологии переплетенных нитей, которые формируют косу. При этом косы
прикреплены так, чтобы каждая нить в начале и в конце косы и при любых трансформациях косы не могла
быть разорвана или переставлена в начальной или конечной позиции. Каждая коса может быть описана с
помощью группы символов, называемых формулой косы. Косы также можно редуцировать, т.е. находить
для различных кос топологические эквиваленты.
Количество и позиции пересечений между нейрональными путями можно описать с помощью формулы
кос. Кроме того, теория кос может быть полезна для описания динамики развития нейрональной сети и того,
каким образом это влияет на обработку информации при передаче информации в сети с
экстрасинаптическими контактами.
Цель данного исследования направлена на разработку инструментов, подходящих для описания
топологии нейрональных сетей с использованием теории кос и изучение динамики информационного
процессинга с использованием полученных инструментов.
Для достижения цели исследования необходимо выполнить следующие задачи:
1. Разработать методы для описания нейронных сетей с использованием теории кос.
2. Изучить динамику распространения информации и формирования ассоциативных связей в сетях с
экстрасинаптической передачей сигнала, используя полученный инструментарий.
3. Изучить роль различных топологий сети в передаче информации.
4. Заключить, насколько возможно упростить описание нейрональных сетей с использованием теории
кос.
1. Нейрональные пути, их структура и информационные свойства
Не секрет, что нервная система представляет собой сложнейшую нейронную сеть. Но если рассмотреть
сети как набор отдельных путей, можно значительно упростить их понимание. Такие структуры можно
назвать нейрональными путями. Нейрональные пути могут отображать объекты реального мира или
объекты, хранящиеся в памяти. Один нейрон может быть включен сразу в несколько нейрональных путей
(рис. 1). Можно предположить, что объект выходит на уровень сознания в том случае, если сразу несколько
нейронов нейронального пути активируются последовательно.
Согласно концепции пульсового кодирования пачки нейронных импульсов играют ключевую роль в
памяти. Такие пачки могут циркулировать по нейрональным путям и приводить к вспоминанию
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
информации, хранящейся в памяти. Пачки импульсов, активирующихся
последовательно, называются «соактивирующиеся цепочки» (synfire chains) [5].
Эти цепочки представляют как бы «слова» в «нейронной речи». Каждая цепочка
производится определенным нейрональным путем.
Нейрональные
пути
могут
быть
взаимосвязаны
между
собой
непосредственным образом – через определённые нейроны и синаптические
контакты между ними. Но они также могут быть связаны через
эктсрасинаптические связи (рис. 2).
Рис. 1. Нейрональные пути
Современные исследования показывают, что во многих нервных системах
важная роль в перемещении сигнала приходится именно на экстрасинаптические
контакты. [1, 7] Таким образом, выпуск нейротрансмиттеров одним нейроном может
активировать не только его нейрональный путь, но и передать часть сигнала на
соседний (рис. 3).
Несмотря на их важность, несинаптическое соединения между нейрональными
путями до сих пор изучены крайне слабо и все еще остается неизвестным, как
пересечения между этими путями могут повлиять на перенос информации по путям, не
связанным напрямую.
Рис. 2.
Эктрасинаптические
связи нейронов
Рис. 3. Несинаптические соединения между нейрональными путями
Можно предположить ситуацию, когда близкое пространственное расположение в структуре нервной
системы двух различных воспоминаний может привести к искажению, или даже провалу воспоминания
(рис. 4). В данном случае необходимо было вспомнить название кафе, но вследствие случившейся рядом
аварии, над воспоминанием о кафе доминирует воспоминание о негативном событии – сломанной ноге, и, в
итоге, слишком негативное воспоминание отсеивается нервной системой и человек не может вспомнить
ничего. Данный пример находит широкое подтверждение в работах по психологии бессознательного,
начиная с [3].
Рис. 4. Случай безуспешного воспоминания, связанного с ассоциацией
2. Применение теории кос для изучения нейрональных путей
С точки зрения математики косы – это формальная модель переплетенных веревок или жгутов, они
могут описать женскую косу, канат и многое другое. Но теория кос как направление топологии может также
пригодиться для описания нервных волокон.
Коса – это набор переплетенных нитей, закрепленных внизу и наверху горизонтальными планками,
порядок крепления нитей вверху и внизу не обязательно должен совпадать. Наиболее распространенный
способ отображения кос – диаграмма кос (рис. 5).
Для описания кос можно закодировать их пересечения с использованием формул кос. Это могут быть
набор малых и больших букв, например: ‘a’, ‘A’, ‘b’, ‘B’, и т.д. Размер буквы обозначает то, проходит ли
нить над или под другой. Если нить n проходит под нитью n+1 такое пересечение будет обозначаться малой
буквой и наоборот.
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
В теории кос также существует понятие изотопии – эквивалентности кос, когда две косы можно
расплести, сделав одинаковыми без разрыва нитей, их называют изотопными (рис. 6).
Рис. 5. Диаграммы кос
Рис. 6. Пример изотопных кос
В случае изотопии кос мы можем без ущерба сокращать их длину, поскольку это не влияет на их
топологию пересечений. Такой процесс называется редукцией кос. В данной работе мы будем использовать
для редукции кос алгоритм Дехорнуа [2].
Редукция кос может быть применена к редукции нейрональных путей, так как реальные нейрональные
пути также подлежат редукции с течением времени – так мозг отсеивает лишнее, оставляя в воспоминании
лишь самые важные детали.
3. Симуляция редукции нейрональных путей
с использованием теории кос
В ходе работы над проектом была разработана программа, позволяющая представлять нейрональные
пути, с использованием теории кос. Используя эту программу, можно получить нейрональную структуру
через формулу косы (рис. 7). Полученная «нейрональная коса» будет отражать нейрональные пути (нейроны
одного цвета). Предполагается, что синаптическое соединение между нейронами находится посередине
между пресинаптичесим и постсинаптичесим нейроном. Таким образом, при пересечении два
синаптичесикх контакта, принадлежащих к разным нейрональным путям, накладываются друг на друга, и
становится возможна экстрасинаптическая передача сигнала.
По нейрональной косе может быть передан сигнал. В данной работе сигнал подавался только на одну
нить из всех нитей косы, а далее отслеживалось, как распространяется сигнал (рис. 8). Подача сигнала на
нейрональный путь означает попытку вызвать абстрактное воспоминание, закодированное в данном пути.
Рис. 7. «Нейрональная коса»
Рис. 8. Распространение сигнала по нейрональным путям
В случае распространения сигнала по синаптическим соединениям без пересечений вес при переходе
сигнала составлял 0.8, в случае наличия пересечения он составлял 0.9, поскольку наличие двух
синаптических контактов рядом усиливает оба контакта. Вес эктрасинаптического соединения составлял
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
0.7. Нейрональный путь и воспоминание, которое он несет, считался активным тогда, когда хотя бы
половина нейронов в нем достигли значения свыше 0.2.
Каждый нейрональный путь имел эмоциональную окраску, начиная с +0.8 для верхнего пути и
заканчивая – 0.8 для нижнего. Благодаря этому, можно прменить эмоциональный фильтр к активированным
путям и выявить победителя, который выйдет на уровень сознания. Победителем считается нейрональный
путь с наибольшим модулем эмоциональной окраски, но если эмоция слишком негативная (эмоциональный
вес меньше - 0.7) она отсеивается и на уровень сознания не выходит ответа (рис. 9).
Рис. 9. Определение пути «победителя»
В программе также был реализован алгоритм редукции кос, отражающий оптимизацию воспоминаний со
временем. Пример воспоминания, показанного на рис. 9, по прошествии времени показан на рис. 10.
Рис. 10. Смена «победителя» по прошествии времени
На примере рис. 9 мы старались вызвать воспоминание в пути втором сверху (эмоционально
положительное, вес + 0.6) , но вспомнили вместо этого совсем другое (пятое сверху, эмоционально
отрицательное, вес –0.6). По прошествии времени, связанные с необходимым нам вторым нейрональным
путем ассоциации отпали, и мы вызвали чистое воспоминание второго пути, которое нам и было
необходимо.
Для получения полной картины динамики воспоминаний до и после редукции были проведены тестовые
проверки для 1260 различных сочетаний сетей, состоящих из четырех нейрональных путей, различных
конфигураций (табл. 1).
Таблица 1. Анализ данных после 1260 тестов
Количество воспоминаний-победителей, отличных от
запрашиваемого, до редукции
Количество воспоминаний-победителей, отличных от
запрашиваемого, после редукции
Новый победитель после редукции
Суммарное отклонение между запрашиваемым и
победившим воспоминанием до редукции
Суммарное отклонение между запрашиваемым и
победившим воспоминанием после редукции
Отклонение уменьшилось, случаев
623
510
425
456,9166667
383,6
251
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
Таблица показывает, что до редукции только 50 % воспоминаний прошли удачно. После редукции, когда
память отсеяла незначимые аспекты, этот показатель уменьшился, но в 40 % случаев воспоминание все
равно было искажено ассоциациями. Тем не менее, редукция позволила также снизить суммарное
отклонение эмоциональных оценок на выходе от требуемых, оно снизилось на 16 % с 456.9 до 383.6. Всего,
отклонение реального воспоминания от ожидаемого снизилось в 20 % экспериментальных случаев.
Выводы
Таким образом, можно сделать вывод, что с помощью подхода, представленного в работе действительно
можно описывать сложные подсознательные ассоциативные связи. Использование теории кос и
эктрасинаптических контактов в моделировании позволяет получить результаты, подобные наблюдаемым
психологией данным.
Использование формул кос делает задачу определения нейрональной топологии простой и позволяет
автоматизацию перестройки пространственного расположения сети.
Четкая постановка топологии сети, предложенная в методе, создает перспективы использования формул
кос для прямого задания топологии нейронных сетей в эволюционной оптимизации. Особенно
перспективным подход выглядит в сочетании с нейронными моделями, учитывающими
эктрасинаптическую нейромодуляцию [5].
В целом, можно заключить, что косы позволяют описывать нейрональные пути, но для описания
полноценных сетей требуется разработка секвестрования сети на отдельные пути, либо разработка
математического аппарата, который бы позволил унифицировано описывать топологии нейронных сетей.
Модель выглядит перспективной для описания деятельности гиппокампа, поскольку гиппокамп сам по себе
похож на косу и, к тому же, является одним из основных элементов ассоциативной памяти мозга.
Список литературы
1. Chistopolsky I.A., Vorontsov D.D. and Sakharov D.A. Monitoring of neuroactive factors released from a pattern-generating network. // Acta Biologica Hungarica, 2008. V. 59. P. 29-31.
2. Dehornoy, P. Efficient solutions to the braid isotopy problem. // Disc. Appl. Math, 2008. V. 156, P. 30943112.
3. Freud, S. The psychical mechanism of forgetfulness. // SE, 1898. V. 3. P. 287-297.
4. Hebb, D. The Organization of Behavior: A Neurophysiological Theory. New York: Wiley, 1949.
5. Husbands, P., Philippides, A., Vargas, P., Buckley, C. L., Fine, P., Di Paolo, E. and O'Shea, M. Spatial, Temporal, and Modulatory Factors Affecting GasNet Evolvability in a Visually Guided Robotics Task. // Complexity,
2010. V. 16 No.2. P. 35-44.
6. Izhikevich, E.M. Polychronization: computation with spikes // Neural Comput., 2006. V. 18. P. 245-282.
7. Staras, K., Kemenes, G. and Benjamin, P.R. Pattern-generating role for motoneurons in a rhythmically active
neuronal network. J. Neurosci., 1998. V. 18. P. 3669-3688.