Перцептрон

«Нейрокомпьютерные системы»
Тема: «Перцептрон»
Сидоров С.Г., кафедра ВВС ИГЭУ, 2012
Перцептрон
• Перцептрон, или персептрон (англ. perceptron от лат. perceptio
– восприятие; нем. perzeptron) – математическая и
компьютерная модель восприятия информации мозгом
(кибернетическая модель мозга), предложенная Фрэнком
Розенблаттом в 1957 году
• Перцептрон был реализован в виде электронной машины
«Марк-1» в 1960 году. Перцептрон стал одной из первых
моделей нейросетей, а «Марк-1» — первым в мире
нейрокомпьютером.
• Основная математическая задача, решаемая перцептроном –
это линейное разделение любых нелинейных множеств
(линейная сепарабельность).
Линейная сепарабельность
Разработчик перцептрона
•
•
Фрэнк Розенблатт (англ. Frank Rosenblatt)
11 июля 1928 – 1969 гг.
•
Известный американский учёный в
области психологии, нейрофизиологии и
искусственного интеллекта. Родился в
Нью-Йорке, закончил Принстонский
университет. В 1958-1960 годах в
Корнелльском университете создал
вычислительную систему «Марк-1» (на
фотографии рядом с ним).
Перцептрон Марк-I
Устройство перцептрона
Слои перцептрона
•
•
•
•
R – слой рецепторов. На этом слое
формируется входной образ
A – ассоциативный (решающий) слой
E – эффекторный слой. На этом слое
формируется результат
распознавания – выходной образ
Gi,j – обучаемые веса связей
Связи перцептрона
•
Связи между рецепторным слоем R и
ассоциативным слоем A формируются случайным
образом
– одна клетка слоя R может быть связана с несколькими
клетками слоя A
– много клеток слоя R могут быть связаны с одной клеткой
слоя A
– могут остаться несвязанные клетки
– связи не обучаемые
•
Все клетки слоя A имеют связи со всеми клетками
слоя E
– связи имеют веса, настраиваемые в ходе обучения
Работа перцептрона
•
•
•
•
•
•
На слое R формируется образ для распознавания
Со слоя R возбуждение по связям передается на слой A,
вызывая возбуждение клеток на входе слоя
На выходе слоя A возбуждение формируется при
превышении суммарного возбуждения на входе некоторого
порога Θ
Возбуждение с ассоциативного слоя A передается, с учетом
весов Gi,j, на эффекторный слой E
Клетки слоя E возбуждаются, если суммарный сигнал на их
входе положителен (больше порога)
Комбинация возбужденных клеток слоя E соответствует
двоичному коду распознанного образа
Образ на рецепторном слое R
Расчет ассоциативного слоя A
n
Uc   ui
i 1
асс
U вых
1 если U c  

0 если U c  
Расчет ассоциативного слоя A
•
•
•
ui – входные сигналы от рецепторов
Uc – суммарный сигнал на входе
ассоциативной клетки
 – пороговое значение
Образ на входе в слой A
Образ на выходе из слоя A
Расчет эффекторного слоя E
n
Uв  
i 1
эфф
U вых
асс
G i Ui
1 если U в  0

0 если U в  0
Расчет эффекторного слоя E
•
•
•
Uiасс – входные сигналы от
ассоциативных клеток
Gi – веса связей ассоциативных и
эффекторных клеток
Uв – суммарный сигнал на входе
эффекторной клетки
Пороговая передаточная функция
Обучение перцептрона
•
•
•
Чтобы «научить» перцептрон классифицировать
образы, был разработан специальный
итерационный метод обучения проб и ошибок,
напоминающий процесс обучения человека –
метод коррекции ошибки
Он представляет собой такой метод обучения, при
котором вес связи не изменяется до тех пор, пока
текущая реакция перцептрона остается
правильной
При появлении неправильной реакции вес
изменяется на единицу, а знак (+/-) определяется
противоположным от знака ошибки
Алгоритм обучения перцептрона
1.
2.
3.
4.
5.
6.
7.
8.
9.
Инициализируются веса связей перцептрона
Формируется обучающая выборка
На вход перцептрона подается очередной образ из
обучающей выборки
Происходит расчет значений на выходе перцептрона
Результат сравнивается с правильным ответом из
обучающей выборки
Вычисляется ошибка на выходе перцептрона
При наличии ошибки происходит корректировка «виноватых»
в ошибке связей
Процесс обучения повторяется с шага 3
Обучение завершается после выполнения заданного числа
итераций, либо после достижения требуемой точности
распознавания
Корректировка весов связей
G i  G i  G если A i  1 и dic  0

 G i  G i  G если A i  1 и dic  1
• Gi – вес i-й связи
• ∆G – приращение веса
• Ai – значение на выходе ассоциативной клетки,
входе i-й связи
• dic – тип распознаваемого образа (1-крестик, 0нолик)
Обучение перцептрона
•
•
Весовые коэффициенты изменяются
только для связей, «виноватых» в
ошибке (Ai=1)
Перцептрон в ходе обучения пытается
уменьшить возможность повторной
ошибки, подбирая тем самым
оптимальные веса
Веса связей в ходе обучения
Число слоев перцептрона
•
•
•
•
Нет общепринятого способа подсчёта числа
слоёв в сети
Входной слой не выполняет суммирования,
поэтому он не принимается во внимание
Веса слоя считаются связанными со
следующими за ними нейронами,
суммирующими взвешенные сигналы
Перцептрон попал под определение
«однослойная нейронная сеть»
Контрольные вопросы
•
•
•
•
•
•
•
•
•
Что такое перцептрон?
Когда и кем перцептрон был создан?
Какую основную задачу решает перцептрон?
Из каких основных слоев состоит перцептрон?
Как устанавливаются связи между слоями?
Расскажите о работе перцептрона
Какое правило используется при обучении
перцептрона?
Опишите алгоритм обучения перцептрона
Для каких связей происходит корректировка весов?