Архитектуры искусственных нейронных сетей

реклама
Архитектуры искусственных
нейронных сетей
Курс «Нейроинтеллектуальные системы», ФНБИК МФТИ, 2013
Содержание лекции

Модели нейрона





Архитектуры искусственных нейронных сетей




Виды активационных функций (пороговая, линейная,
сигмоидальная).
Линейная разделимость входов.
Рекуррентные нейроны.
Обобщение нейрона в виде произвольных сверток входов с
последующей суммой.
Однослойные
Многослойные
С обратными связями
Кодирование входов и выходов ИНС


Нормализация
Кодирование спайками
Базовые понятия



Искусственная нейронная сеть (ИНС)
является концептуальной моделью
биологической нейронной сети
Состоит из элементов, влияющих на
активность друг друга
Основные свойства




надежность – по мере ухудшения
качества входа, удалении связей или
элементов эффективность сети
снижается постепенно
гибкость – ИНС могут быть применены
в широком круге задач
генерализация – достаточно обучения
на ограниченной выборке
ассоциативность памяти
Модель нейрона

Активность нейрона
определяется преобразованием
взвешенного суммарного
воздействия на него

Воздействия могут быть
активирующими
(положительные веса) или
тормозными (отрицательные
веса)
Вид функции активации

Линейная

Ступенчатая

Сигмоидальная
Геометрическая интерпретация



Входы нейрона
соответствуют признакам
текущего состояния
окружающей его среды
Нейрон реализует
линейное разделение в
пространстве признаков
Веса и порог задают
гиперплоскость в
пространстве признаков
Динамический нейрон с задержкой

Для задач классификации
и генерации
последовательностей
необходимы сети с
рекурентными
(обратными) связями или
динамические нейроны,
изначально содержащие
обратную связь с
задержкой
ответ на единичное предъявление
Динамический нейрон с задержкой

Динамический нейрон с
непрерывным временем
Обобщенная модель нейрона

В общем случае каждый
вход нейрона может
иметь свою функцию
свертки (синаптическое
ядро) входного сигнала
Архитектуры нейронных сетей


Свойства ИНС сильно
зависят от её архитектуры
Часто используемые
архитектуры ИНС




а) однослойная сеть –
классификация по простым
признакам
b) многослойная сеть классификация по сложным
признакам
с) сеть с рекурентными
связями в выходном слое –
простая динамика
d) сеть с рекурентными
связями в скрытом слое –
сложная динамика
Архитектуры нейронных сетей

Echo state network –
проекция входов в
пространство большей
размерности для
облегчения их
разделимости
Кодирование входов и выходов ИНС

Текущее состояние признаков
решаемой сетью задачи
кодируется активацией нейронов
входного слоя

Локальное кодирование
 требует большого количества
входных нейронов
 неустойчиво к шуму

Распределенное кодирование
 экономичнее локального
 Устойчивее

Нормализация входов
Кодирование для спайковых нейронов

Частотное кодирование


Синхронизация


частота спайков
пропорциональна величине
входного сигнала
повышение степени
синхронизации с фоновым
ритмом в популяции
нейронов пропорционально
величине входного сигнала
Задержка

сдвиг от фазы фонового
ритма пропорционален
величине входного сигнала
Заключение

Искусственные нейронные сети удобный инструмент для
задач классификации и аппроксимации функций



высокая надежность за счет распределенного представления
возможность быстрой адаптации для широкого круга задач
В зависимости от задачи необходимо выбрать наиболее
адекватные модель нейрона и архитектуру сети



при простом наборе признаков и высоким требованиям к
вычислительным ресурсам (энергоэффективности) – простые
сети
сложные признаки – подбор синаптических ядер и
многослойные сети
временная динамика – динамические нейроны и сети с
обратными связями (рекурентные сети)
Ссылки и примечания



Глава 3. Floreano, D. and Mattiussi, C. (2008) Bio-inspired
Artificial Intelligence. Cambridge, MA: MIT Press
Глава 5. Pfeifer, R. and Scheier, C. (1999). Understanding
Intelligence. MIT Press, Cambridge, MA.
Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика =
Neural Computing. Theory and Practice. — М.: Мир, 1992.


Глава 1. Горбань А. Н., Дунин-Барковский В. Л. и
др. Нейроинформатика. — Новосибирск: Наука, 1998.


http://icm.krasn.ru/refextra.php?id=2795
Задачник для развлечения. Беркинблит М. Б. Нейронные
сети. — М.: МИРОС и ВЗМШ РАО, 1993.


http://evrika.tsi.lv/index.php?name=texts&file=show&f=410
http://www.katenke.net/static/berkinblit/neironnye_seti.html
Иллюстрации для данной презентации взяты из первого
источника
Скачать