МЕРКУШЕВ ДМИТРИЙ ВИКТОРОВИЧ Северо

МЕРКУШЕВ ДМИТРИЙ ВИКТОРОВИЧ
Северо-Кавказский горно-металлургический институт
Стратегия выбора оптимальной нейронной сети
Начиная с конца восьмидесятых годов, нейронные сети представляют собой основную структуру для решения разнообразных практических задач.
Формально искусственную нейронную сеть можно определить как систему,
имеющую входы, выходы и большого числа простых параллельных вычислителей, соединенных односторонними каналами передачи информации. В процессе
работы нейронная сеть преобразует поданный сигнал от входов в свои выходы.
Основной задачей в теории нейронных сетей является нахождение способов получения нейронной сети, наилучшим образом решающей определенный
класс задач. Эта проблема включает в себя определение структуры нейронной
сети и настройку ее параметров – обучение, включающее в себя определение
эффективности готовой сети. К настоящему времени разработано достаточное
количество эффективных методов обучения нейронных сетей и выработаны совершенные критерии оценки, но окончательно не решена важная проблема
определения структуры сети, т.е. количества и способа взаимной организации
нейронов.
Нейронные сети, в силу своей гибкости характеризуются большим разнообразием всех возможных структур. Из всего класса возможных структур выбирается такая структура нейронной сети, при которой нейронная сеть наилучшим образом настраивается на обучающую выборку.
Если зафиксировать класс нейронных сетей наиболее распространенным
классом – сетями прямого распространения, все множество нейронных сетей
можно разбить на множество подклассов, определяемых выбранной топологией
сети (числом уровней и количеством нейронов сети). В пределах каждого класса нейронные сети будут характеризоваться дополнительным набором параметров – набором весов связей между нейронами сети. Таким образом, количество
нейронов, их связность и число слоев определяют возможности конкретной
нейронной сети.
Одним из самых распространенных алгоритмов настройки весов нейронной сети является алгоритм обратного распространения ошибки, критерием
оценки обучения для которого является среднеквадратическая погрешность
обобщения нейронной сети. Недостатком алгоритма обратного распространения ошибки является проблема переобучаемости нейронной сети. Для исключения влияния проблемы переобучения разработаны новые критерии, принимающие во внимание сложность структуры нейронной сети. К сожалению, эти
критерии предлагают только способы оценки эффективности структуры
нейронной сети, но не предоставляют механизма поиска оптимальной структуры.
Решение задачи поиска оптимальной нейронной сети можно условно разделить на два направления – конструктивные алгоритмы и методы глобального
поиска. Конструктивные алгоритмы за короткий срок позволяют получать субоптимальное решение задачи, а методы глобального поиска находят лучший результат, но за более длительное время.
В работе предлагается использовать одну из разновидностей конструктивного алгоритма поиска оптимальной структуры нейронной сети – метод исследования пространства параметров. К настраиваемым параметрам нейронной сети
относятся число слоев нейронной сети, общее количество нейронов сети и распределение нейронов по слоям. К критериальным ограничениям можно отнести
число весов связей между нейронами сети и распределение нейронов по слоям.
Функциональными ограничениями нейронной сети являются: среднеквадратическая погрешность обобщения обучающей и проверочной выборок, а также
количество нейронов нейронной сети.
Достоинствами данного метода является быстрая сходимость процесса
поиска оптимального решения, исследование всего диапазона изменения параметров и интерактивность процесса поиска оптимальной структуры нейронной
сети, в процессе которого могут быть оперативно изменены параметрические,
критериальные и функциональные ограничения.