Терехин А.Т., Будилова Е.В.

ОПТИМАЛЬНОЕ СООТНОШЕНИЕ МЕЖДУ ИНТЕГРАЛЬНОСТЬЮ И
КОНКРЕТНОСТЬЮ МЫШЛЕНИЯ В СОВРЕМЕННОЙ ИНФОРМАЦИОННОЙ
СРЕДЕ
А.Т. Терехин, Е.В. Будилова
Институт когнитивной нейрологии Современной Гуманитарной Академии, Москва
Биологический факультет МГУ им. М.В. Ломоносова, Москва
Введение
С точки зрения представления о мозге как нелинейной динамической системе,
образованной взаимодействующими между собой нейронами, процесс мышления можно
рассматривать как изменение состояния мозга в пространстве состояний нейронов в
направлении аттрактора – ментального образа, понятия, в бассейне притяжения которого это
состояние оказалось под воздействием внешнего сигнала – ассоциации. Наглядной
аналогией может служить движение потока воды от выпавшего дождя к ближайшему
водосборному бассейну. Подобно земным ландшафтам, когнитивный ландшафт – функция
Ляпунова нейронной сети – может иметь разную степень изрезанности. Холмистый
ландшафт соответствует конкретному мышлению, сглаженный – интегральному. Поскольку
большая интегральность мышления может быть легче достигнута при уменьшении его
конкретности, и наоборот, то между этими двумя когнитивными свойствами должно
соблюдаться оптимальное соотношение – разное для разных условий жизни человека.
Мы полагаем, что в современных условиях, характеризующихся, с одной стороны,
быстрым изменением информационной среды, а с другой – более легким доступом к
информации, это оптимальное соотношение должно сдвигаться
в сторону большей
интегральности мышления. Одним из способов достижения этого может служить
образовательный процесс, методика которого должна реформироваться в соответствующем
направлении. В частности, признаком движения в сторону интегральности является
формулирование цели образования как получение компетенций в противоположность узко
профессиональным знаниям. Наоборот, тестирование с упором на проверку запоминания
конкретных фактов не способствует развитию интегрального мышления.
Понятия общности и конкретности мышления близки к таким свойствам мышления
как его гибкость (флексибильность) и жесткость (ригидность) [Залевский, 1993]. На
нейробиологическом уровне обнаруживается обратная зависимость гибкости мышления от
активности катехоламиновых систем мозга [Beversdorf et al., 1999]. Снижение когнитивной
гибкости наблюдается при некоторых психических заболеваниях – шизофрении [Twamley et
al., 2003], аутизме [Botting, Conti-Ramsden, 2003 ]. Гибкость мышления тесно связана с его
креативностью [Guilford, 1967; Torrance, 1972].
В качестве нейросетевой модели, описывающей базовые аспекты когнитивной
деятельности мозга, мы используем градуальную сеть Хопфилда с сигмоидной функцией
активации,
содержащей
изменяемый
параметр
сглаженности.
При
неизменных
синаптических весах увеличение параметра сглаженности приводит к увеличению гладкости
функции Ляпунова сети. В свою очередь, степень гладкости функции Ляпунова определяет
масштаб переходов между аттракторами сети: большая гладкость обеспечивает возможность
перехода между более удаленными аттракторами сети, т.е. интегральность, стратегичность
мышления. Наоборот, меньшая гладкость соответствует более конкретному мышлению. Что
касается когнитивной гибкости мышления, то мы предлагаем определить ее как диапазон
изменения степени гладкости функции энергии.
Модель
Cеть Хопфилда характеризуется тем, что все ее элементы (нейроны) связаны со всеми
остальными и есть только два ограничения на веса синаптических связей: веса прямых и
обратных связей равны между собой, а вес связи нейрона с самим собой равен нулю (условие
симметричности связей не является биологически мотивированным, а служит упрощающим
допущением, позволяющим построить для сети функцию Ляпунова). Состояние каждого
нейрона i , i  1, 2, ..., n , в момент времени t задается переменной
состояния xi (t ) ,
принимающей значения –1 или 1. Динамика сети определяется правилами изменения
состояний ее нейронов и весов wij (t ) синаптических связей, соединяющих нейроны i и j .
Если веса wij (t ) и состояния xi (t ) сети в момент времени t заданы, то в следующий момент
t  1 состояние нейрона i изменится в соответствии с правилом [Hopfield, 1984]
2
xi ( t  1) 
1 e
1
  w x (t )
ij j
S
1
где S – параметр сглаженности сигмоидной функции (при S  0 сигмоидная функция
превращается в пороговую, а при S   приближается к
горизонтальной прямой,
совпадающей с осью абсцисс). Что касается синаптических весов, то при обучении сети они
изменяются для всех j  i в соответствии с правилом Хебба [Hebb, 1949]
wij (t  1)  wij (t )  xi (t ) x j (t )
т.е вес увеличивается на единицу, если нейроны i и j находятся в одинаковых состояниях и
уменьшается на единицу, если – в разных.
Поведение сети Хопфилда очень удобно интерпретировать в терминах функции
Ляпунова (функции энергии), вид которой в момент t определяется значениями весов
связей и которая задается формулой
E ( x1 ,..., x n , t )  
n
1 n n
1 x ( t )
1 x ( t )
  xi ( t ) wij ( t ) x j ( t )  S  ln[(1xi ( t )) i (1  xi ( t )) i ]
2 i 1 j 1
i 1
Из этой формулы видно, что значение функции энергии в момент t зависит от
совокупности состояний нейронов x1 (t ),..., xn (t ) в этот момент, т.е. от состояния сети,
которое можно наглядно представлять в виде точки в n -мерном пространстве состояний
нейронов. Можно показать, что изменение состояния сети может происходить только в
направлении уменьшения функции энергии. Этот факт позволяет наглядно представлять
изменение состояния сети как его движение по поверхности функции энергии подобно
тому, как это происходит, например, с помещенным на неровную поверхность шариком,
который всегда движется в направлении уменьшения своей потенциальной энергии к
ближайшему локальному минимуму – аттрактору. Все пространство состояний
распадается на области, образующие так называемые бассейны притяжения аттракторов,
и динамика сети, установленной в некоторое начальное состояние, полностью зависит от
того, в бассейн притяжения какого из аттракторов она попала.
Определенная таким образом сеть обладает рядом интересных свойств с точки зрения
ее использования как модели биологических когнитивных процессов [см., напр.: Веденов,
1988; Amit, 1989, Терехин, Будилова, 1995]. Рассмотрим эти свойства, интерпретируя их в
терминах функции Ляпунова. Для наглядности представим, что нейроны образуют
прямоугольную решетку и мы можем наблюдать их состояния в разные моменты времени.
Пусть сначала все синаптические веса сети равны нулю, т.е. ее функция энергии
представляет собой «горизонтальную» гиперплоскость E ( x1 ,..., xn , t )  0 , а на входы ее
нейронов поступает некоторая конфигурация сигналов – образ. В результате нейроны
установятся в состояния, соответствующие этому образу, после чего, в соответствии с
правилом Хебба, сформируются новые веса сети. Если после этого предъявить сети любое
другое сочетание сигналов и разрешить ей свободно эволюционировать во времени, то через
небольшое число шагов состояние сети стабилизируется на ранее предъявленном образе.
Можно сказать, что сеть его «запомнила». Что касается функции энергии, то в точке,
соответствующей запомненному образу образуется локальный минимум. Можно сказать, что
на исходно ровной поверхности появилось «углубление» и вспоминание образа – это
«скатывание» состояния сети в это углубление.
При изменении параметра S , определяющего степень сглаженности сигмоидной
функции активации, меняется и степень гладкости функции Ляпунова. Когда S очень мало,
т.е. сигмоидная кривая близка к пороговой функции, то второй член в правой части формулы
энергии, обозначим его E2 , становится пренебрежимо малым и в ней доминирует первый
член – обозначим его E1 . Поскольку различные минимумы могут иметь разную глубину, то
при монотонном увеличении S , начиная с нуля, они будут постепенно исчезать – сначала
самые мелкие, затем более глубокие, пока, в конечном итоге, не исчезнут все.
0
S=0.16
S=0.14
-500
S=0.12
-1000
S=0.10
-1500
-2000
0
20
40
60
80
100
120
140
160
180
200
Рис. 1. Функции Ляпунова для разных значений S для сети из 200 нейронов – темные
кривые (серая кривая показывает число предъявленных образов).
В качестве иллюстрации на рис. 1 представлен график уменьшения числа аттракторов
первоначально обученной сети из 200 нейронов при увеличении параметра сглаженности S .
Обсуждение
Таким образом, при увеличении параметра S происходит сглаживание функции
энергии (можно назвать ее «когнитивным энергетическим ландшафтом»). При больших S
сеть как бы не замечает мелких минимумов и ее состояние эволюционирует в направлении
более глубокого минимума, что можно интерпретировать как нахождение стратегически
более эффективного решения задачи.
500
0
-500
-1000
-1500
0
20
40
60
80
100
120
140
160
180
200
Рис. 2. Функции Ляпунова (темные кривые) для разных значений для сети из 200 нейронов
для разных наборов образов. Пунктирная серая кривая соответствует меньшему среднему
квадратичному отклонению от локальных максимумов числа предъявляемых обучающих
образов (s=5), сплошная – большему (s=10,5).
Однако пока не ясно, как можно изменять параметр сглаживания
S
не
физиологическим образом (например, изменением концентрации нейротрансмиттеров или
плотности синаптических рецепторов), а с помощью обучения. Имеется другой вариант
сглаживания функции Ляпунова, который более легко реализуется путем обучения. На рис. 2
представлены две функции Ляпунова, соответствующие разным степеням изолированности
предъявляемых для обучения образов. Мы видим, что предъявление промежуточных образов
сглаживает функцию Ляпунова и, соответственно, делает мышление более интегральным. С
точки зрения методики преподавания, это означает, что обучающий материал должен
включать большое число связей между его составляющими частями и содержать не только
крайние, но и промежуточные варианты понятий.
Литература
Веденов А. А. Моделирование элементов мышления. Москва: Наука, 1988.
Залевский Г.В. Психическая ригидность в норме и патологии. Томск: Изд-во ТГУ, 1993.
Терехин А.Т., Будилова Е.В. Сетевые механизмы биологической регуляции. Успехи
физиологических наук Т. 26, No 4, 1995. С. 75–97.
Amit D.J. Modeling brain function. The world of attractor neural networks. New York: Cambridge
University Press, 1989.
Beversdorf D. Q., Hughes J. D., Steinberg B. A., Lewis L. D., Heilman K. Noradrenergic
modulation of cognitive flexibility in problem solving. Cognitive Neuroscience, 1999, v.
10(13), 2763-2767.
Botting Т., Conti-Ramsden G. Autism, primary pragmatic difficulties, and specific language
impairment: can we distinguish them using psycholinguistic markers? Developmental
Medicine and Child Neurology, 2003, 45(8), 515-524.
Guilford J.P. The nature of human intelligence. New York: McGraw-Hill, 1967.
Hebb D. O. The organization of behavior. New York: Wiley, 1949.
Hopfield J.J. Neurons with graded response have collective computational properties like those of
two-state neurons. Proc. Natl. Acad. Sci. USA, 1984, v. 81, 3088–3092.
Torrance E. P. Can we teach children to think creatively? Journal of Creative Behavior, 1972, v. 6,
236-262.
Twamley E.W., Jeste D.V., Bellack A.S. A Review of Cognitive Training in Schizophrenia
Schizophrenia Bulletin, 2003, v. 29(2), 359–382.