ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2

ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
С.В. АЛЕШИН, Г.В. ШАБАРШИНА
Ярославский государственный университет им. П.Г. Демидова
fktiby@yandex.ru, shegeve@yandex.ru
ПРИМЕНЕНИЕ СЕТИ МОДУЛЕЙ AW3-НЕЙРОНОВ
ДЛЯ РЕШЕНИЯ ЗАДАЧИ АССОЦИАТИВНОЙ ПАМЯТИ
В статье приведено описание новой модели нейронного элемента с
альтернативными синапсами – AW3-нейрона. Предложена сеть,
составленная из модулей AW3-нейронов для реализации ассоциативной
памяти. Сформулировано достаточное условие возможности обучения
такого нейрона. Проведено исследование возможностей сети при
различных значениях параметров модели.
Ключевые слова: ассоциативная память, альтернативный синапс,
генерация импульса, мембранный потенциал, расстояние Хемминга
Введение
По данным нейрофизиологии [1] в нервной системе существуют пары
согласованно функционирующих нейронов, один из которых тормозящий,
а другой – возбуждающий. Они функционируют в альтернативном
режиме: в возбужденное состояние (генерация спайка) переходит первый
или второй нейрон, но не оба одновременно. Эти данные составляют
основу моделей нейроноподобных элементов с альтернативными
синапсами.
В работе [2] предложена модель нейрона, названного A-нейрон.
Характерной особенностью A-нейрона является то, что входной сигнал с
каждого из его синапсов суммируется с разными весами, в зависимости от
знака сигнала. В работах [3] и [4] задача моделирования ассоциативной
памяти решается сетями из элементов, названными AW-нейронами и Wнейронами
соответственно.
Для
произвольного
набора
последовательностей, обладающего некой общностью положения,
выбираются синаптические веса. По "предъявлении" фрагмента
последовательности сеть воспроизводит одну из ранее запомненных
последовательностей образов. Тем самым, сеть играет роль ассоциативной
памяти.
Постановка задачи
УДК 004.032.26(06) Нейронные сети
249
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
В данной работе альтернативная пара нейронов, о которых шла речь
выше, представляется одним элементом, названным AW3-нейроном.
Задача состоит в разработке модели нейронных элементов с
альтернативными синапсами, генерирующих импульсы, и в исследовании
сети, собранной из этих элементов. Сеть, составленная из AW3-нейронов,
в результате соответствующей инициализации воспроизводит одну из
ранее запомненных в процессе обучения последовательностей тринарных
образов.
Описание AW3 – нейрона
AW3-нейроны функционируют в дискретном времени. По своим
свойствам они сходны с биологическими нейронами-детекторами,
которые генерируют импульсы в ответ на достаточно сильное
воздействие. В любой дискретный момент времени t AW3-нейрон
находится в одном из четырех состояний: ожидание, характеризуемое
тем, что в этом состоянии нейрон способен воспринимать направленное
на него внешнее воздействие; генерация возбуждающего сигнала;
генерация тормозного сигнала; рефрактерность – невосприимчивость к
внешнему воздействию. Понятия о состояниях и их смена роднит AW3нейрон с автоматом Винера [5], а также с другими подобными
конструкциями [3, 4]. Двухпороговый нейрон был использован в [6] для
реализации функций троичной логики.
Состояние возбуждения длится один такт. Если в момент времени t
AW3-нейрон возбужден, то в следующие r0  1 тактов он находится в
рефрактерном состоянии. В момент времени t  r0  1 он обязательно
переходит в состояние ожидания. В каждый момент времени AW3-нейрон
формирует выходной сигнал y (t ) : y (t )  0 , если нейрон находится в
состоянии ожидания или рефрактерности, y(t )  1 , если нейрон находится
в состоянии генерации возбуждающего сигнала, y(t )  1 , если нейрон
находится в состоянии генерации тормозного сигнала.
AW3-нейрон имеет синаптические входы двух типов: суммирующие и
безусловно тормозящие. Если на один из безусловно тормозящих входов
нейрона, находящегося в состоянии ожидания, в данный момент времени
приходит сигнал, то в следующие r0 тактов он находится в состоянии
рефрактерности.
УДК 004.032.26(06) Нейронные сети
250
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Пусть
( x1, x2 , ... , xN )
– вектор входов, где
xi  {1, 0, 1} . Тогда
1, если xi  1

 1, если xi 1

положим xi  
, xi  
, i  1,..., N .
0,
если
x

0
0, если xi 0

i

Внутреннее состояние AW3-нейрона будем характеризовать функцией
u(t ), которую назовем мембранным потенциалом. Мембранный
потенциал нейрона, находящегося в состоянии рефрактерности, считаем
равным нулю. Мембранный потенциал нейрона, находящегося в
состоянии
ожидания
определим
формулой

i 1

N
u (t )  qu (t  1)   wi xi (t )  wi xi (t ) .
Здесь
w  ( wi , wi )
– вектор
синаптических весов, и параметр 0  q  1 . Числа u0  0, u0  0 назовем
верхним и нижним порогами мембранного потенциала. Удобно считать
u0  u0 . Если в некоторый момент времени t значение функции u(t )
удовлетворяет неравенству u(t )  u0 , то в момент времени t  1 нейрон
переходит в состояние генерации возбуждающего сигнала, и y(t  1)  1 .
Если в момент времени t u(t )  u0 , то в следующий момент времени
нейрон переходит в состояние генерации тормозного сигнала, и
y(t 1)  1 . Далее AW3-нейрон переходит в состояние рефрактерности
на r0 тактов.
Процедура обучения AW3-нейрона
Пусть
( x(1) , x(2) , ... , x( M ) )
– набор из M эталонов, где вектор
(k )
x( k )  ( x1( k ) , x2( k ) , ..., xN
) , а его компоненты xi( k )  {1, 0, 1} . Обозначим
через ( y (1), y (2) , ..., y( M ) ) – требуемые выходы нейрона для каждого
входного эталона.
Предлагаемый алгоритм обучения AW3-нейрона заключается в
следующем:
1. Организуем из данных эталонов бесконечную последовательность
x(1) , x(2) , ..., x( M ) , x(1) , x(2) , ..., x( M ) ,... . Период обучения, в течение
УДК 004.032.26(06) Нейронные сети
251
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
которого на вход сети были поданы x(1) , x(2) , ..., x( M ) , будем называть
макроитерацией обучения. Начальные (в момент времени t  0 ) значения
компонент вектора w  (wi , wi ) выбираем произвольно.
2. Для каждого синапса на исходном множестве
выполняется
следующая
процедура
модификации
коэффициентов:
wi (t  1)  wi (t )   (t ),
если
эталонов
весовых
xi( k )  1,
wi (t  1)  wi (t )  (t ), если wi (t  1)  wi (t )  (t ), xi( k )   1, где поправка
 вычисляется следующим образом:   xi( k ) [ yi( k )  ],
N

 1 если
 wi xi (t )  wi xi (t )  u0 ,

1
N


   0 если u0   wi xi (t )  wi xi (t )  u0 ,

1
N

1 если
 wi xi (t )  wi xi (t )  u0 .

1
3. Если в результате макроитерации не выполнено условие останова,
то переходим ко второму пункту. Условием останова может служить
отсутствие изменений весовых векторов или ограничение общего числа
макроитераций.
Можно доказать утверждение о достаточном условии обучения AW3нейрона на исходном множестве эталонов. Для того, чтобы обучение
было возможно, достаточно потребовать, чтобы те эталоны, которым
соответствует нулевой выходной сигнал нейрона, удовлетворяли бы
  wi xi (t )  wi xi (t )   u0  0
N
условиям
и
i 1
  wi xi (t )  wi xi (t )  u0  0 , та часть множества эталонов, на которые
N
i 1
выходной сигнал нейрона равен единице, удовлетворяла условию
УДК 004.032.26(06) Нейронные сети
252
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
  wi xi (t )  wi xi (t )   u0  0,
эталоны с выходным сигналом, равным
1 , удовлетворяли бы условию
  wi xi (t )  wi xi (t )   u0  0.
N
i 1
N
i 1
Исследование сети модулей AW3-нейронов
Для проверки влияния значений параметров модели на качество
работы AW3-нейрона были созданы программные модели кольцевых
структур из 3 модулей размером 30  30, составленные изAW3-нейронов.
Сеть была обучена на наборе из 15 черно-серо-белых образов (по 5
эталонов на модуль). Цвета ассоциированы со значениями: белый – "-1",
серый – "0", черный – "1". В качестве образов были использованы буквы
латинского алфавита A, B, C, D, F, J, H, K, L, N, P, S, T, V, Z, взятые в
произвольном порядке. Инициализация режимов производилась в
соответствии с процедурой, описанной в [6].
На активную пару с вероятностью 0,05 вносился случайный шум.
Элемент модуля менял цвет c серого равновероятно на белый, либо на
черный. После прохождения первой волны возбуждения по сети на
первом модуле измерялось расстояние Хемминга (количество отличий)
между состоянием модуля и планируемым эталонным значением. Для
различных значений порога u 0 проводилась серия из 100 испытаний, в
результате этих испытаний вычислялось среднее значение расстояний
Хемминга Dh и среднеквадратичное отклонение . В таблице приведены
полученные в результате экспериментов данные. Здесь в качестве u 0
выбиралось значение N (N=900).
Таблица 1
Результаты экспериментов с пороговыми значениями
Параметр u0
Dh

N
N/1.5
N/2
N/3
N/4
N/5
N/6
28,39
9,4
7,51
4,86
3,76
2,57
5,1
24,62
11,36
8,29
5,62
4,14
2,99
5,8
Сравнение характеристик сетей на AW и AW3-нейронах
УДК 004.032.26(06) Нейронные сети
253
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Для экспериментального изучения и сравнения двух моделей нейронов
были созданы программные модели кольцевых структур из 3 модулей
размером 30  30 элементов на базе AW и AW3-нейронов (модель AWнейрона описана в [3]). Каждая сеть была обучена на наборе из 15 чернобелых (для AW-нейронов) или черно-серо-белых (для AW3-нейронов)
образов (по 5 эталонов на модуль). В качестве образов использовались
буквы латинского алфавита A, B, C, D, F, J, H, K, L, N, P, S, T, V, Z в
произвольном порядке.
В процессе работы на активную пару вносился случайный шум: для
AW-нейрона с некоторой вероятностью элемент модуля менял цвет с
белого на черный, а для AW3-нейрона с той же вероятностью элемент
модуля менял цвет c серого на белый, либо на черный.
После прохождения первой волны на первом модуле измерялось
расстояние Хемминга (количество отличий) между состоянием модуля и
планируемым эталонным значением. Для различных уровней шума
проводилась серия из 100 испытаний, в результате этих испытаний
вычислялось среднее значение расстояний Хемминга
и
Dh
среднеквадратичное отклонение .
В табл. 2 приведены полученные в результате экспериментов данные.
Таблица 2
Результаты эксперимента
Модель
AW
Параметр
Dh
5%
4,24
10 %
11,96
15 %
14,73
20 %
29,86
25 %
43,61
30 %
61,61
AW
AW3

Dh
13,34
3,04
26,03
7,73
25,71
10,83
44,51
15,52
42,16
20,88
51,85
26,58
AW3

3,26
7,07
10,2
12,54
12,82
16,69
Более надежную оценку сравнительных характеристик AW3-нейрона
дает критерий Вилкоксона.
Сравним две выборки из случайных величин: X  ( X1, X 2 , ... X n ) и
Y  (Y1, Y2 , ..., Yn ) . Здесь X i – экспериментальные значения величины Dh
для AW-нейрона, Yi экспериментальные значения Dh для AW3-нейрона.
Выборки X и Y независимы между собой. Конечно, значения величины
Dh по сути своей являются дискретными, но для достаточно больших
значений N величину Dh будем считать непрерывной. В экспериментах N
УДК 004.032.26(06) Нейронные сети
254
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
равно 900. Такие значения позволяют сделать переход к непрерывному
распределению X и Y .
Нуль-гипотеза: обе выборки принадлежат одной и той же генеральной
совокупности, т.е. отсутствует эффект от применения AW3-нейрона
вместо AW-нейрона.
Рассмотрим совокупность выборок X и Y: Z  {Z1, ..., Z 2n} ,
Z1  Z 2  ...  Z 2n . В экспериментах наблюдается небольшое количество
совпадений элементов выборок, т.е. X i  Y j для некоторых i, j. В этом
случае ранги совпадающим элементам назначались случайным образом из
диапазона, соответствующего данной связке наблюдений.
Статистика Вилкоксона: S   i . Так как в экспериментах n было
i:Zi X
достаточно большое (n=60), то можно применить нормальную
аппроксимацию распределения S. Тогда математическое ожидание и
дисперсия при нуль-гипотезе вычисляются как MS = n 2n 1 , DS =
2
1 n 2 (2n  1)
12
. Зададим уровень значимости   0, 05. Для нормального
распределения нуль-гипотеза будет отклонена в случае, если
S  MS  2. Ниже в таблице приведены значения величины
n(2n  1)

 S , вычисленной на основании серии из 60 испытаний.
2
Критическое значение при n = 60 примерно 381,05.
Таблица 3
Значения величины 
Уровни шума
n(2n  1)
S
2
5%
10 %
15 %
20 %
25 %
30 %
676
526
455
420
501
888
Заключение
В настоящей работе была предложена модель нейронного элемента,
названная AW3-нейроном, с альтернативными синапсами. Был разработан
алгоритм обучения такого нейроэлемента и показано, что сеть, состоящая
из AW3-нейронов, может быть использована при решении задач
ассоциативной памяти. Из результатов компьютерного моделирования
УДК 004.032.26(06) Нейронные сети
255
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
видно, что при уменьшении до определенного уровня порогового
значения возрастает качество работы сети. Однако стоит отметить, что
при большом уменьшении пороговых значений возрастает вероятность
того, что сеть обучится неправильно. Это обусловлено тем, что обучение
нейрона прервется вследствие превышения количества тактов обучения.
Этот факт стоит учитывать при применении данной сети.
Нервные клетки часто функционируют в пачечном режиме, в котором
они генерируют подряд группу импульсов. Для сетей AW3-нейронов при
небольшом изменении модели численно исследован режим пачечной
активности.
При организации пачечной волновой активности, сеть, собранная из
AW3-нейронов, на тринарных образах показала результат лучше, чем сеть
из AW-нейронов на бинарных образах. Учитывая, что образы
представляли собой одни и те же буквы латинского алфавита, то можно
сделать вывод об оправданности применения AW3-нейронов вместо AW.
Дальнейший путь развития нейронных сетей может представлять
собой тесный синтез биологии и математики. Успехи в построении
математических моделей нейронных сетей будут обеспечиваться за счет
привлечения новых знаний человека о биологических аспектах
функционирования нейронов.
Список литературы
1. Кропотов Ю.Д. Мозговая организация восприятия и памяти:
гипотеза о программировании действий. //Физиология человека, 1997. Т.
15. С. 19–27.
2. Короткин А.А., Панкратов В.А. Классифицирующие свойства
нейронов с альтернативными синапсами. //Моделирование и анализ
информационных систем. Ярославль, 1997. Вып. 4. С. 118–123.
3. Овечкин А.С. О применении альтернативных синаптических связей
для реализации пачечной активности W-нейрона. //Современные
проблемы математики и информатики. Ярославль, 2002.
4. Майоров В.В., Шабаршина Г.В. Сети W-нейронов в задаче
ассоциативной памяти. //ЖВМ и МФ. 2001. Т. 41. № 8.
5. Винер Н., Розенблат А. // Кибернетический сборник. Вып. 3. М.:
ИЛ, 1961. С. 3–56.
6. Кичак В.М., Семенова Е.А., Войцеховская О.А. Реализация
троичных логических операций с помощью двухпороговых нейронов //
Наукові праці ВНТУ, 2010, № 1.
УДК 004.032.26(06) Нейронные сети
256