Исследование связи характеристик алгоритма

1Н
УДК 519.6
С.В. Неделько, В.М. Неделько
Институт математики СО РАН,
г. Новосибирск, Россия
nedelko@math.nsc.ru
Исследование связи характеристик
алгоритма поиска глобального экстремума
и класса функций в дискретном
пространстве малой мощности*
Решается задача выявления связи между алгоритмом поиска глобального экстремума и классом
функций, которые он эффективно решает. В частности, для дискретного пространства малой
мощности найден класс функций, решаемых алгоритмом адаптивного поиска. Для нахождения
алгоритма, оптимального на заданном классе, используется метод полного перебора. Предложен
критерий эффективности алгоритма, основанный на разбиении всего множества функций на классы
эквивалентности.
Введение
Согласно теореме «о бесплатном завтраке» (no free launch theorem) [1] в задаче
дискретной оптимизации для всех алгоритмов поиска глобального экстремума
мощность класса функций, для которых экстремум будет найден за заданное число
испытаний, одинакова. Это означает, что, не имея информации о классе функций,
нельзя сказать, что один алгоритм лучше другого. Вместе с тем, с практической
точки зрения использование какого-либо обучающегося алгоритма, например
генетического или случайного поиска с адаптацией [2], [3], выглядит более «разумным», чем априорный выбор точек наугад.
Классы функций, решаемые различными алгоритмами, не отличаясь
мощностью, отличаются по составу, и на них можно ввести функционал
предпочтительности. Одним из таких функционалов может служить мера
разнообразия функций в классе. Как простейший вариант это может быть число
точек пространства, где находится (для какой-либо функции из класса) глобальный
экстремум. Также можно использовать критерий информативности [4], [5].
При наличии метрики на области определения функций множество всех
функций естественным образом разбивается на классы эквивалентности. Если
принять, что алгоритм решает заданную функцию, только если он решает также все
функции, эквивалентные ей, то число решаемых различными алгоритмами функций
уже не будет одинаковым.
*
Работа выполнена при финансовой поддержке РФФИ, грант № 04-01-00858-а.
«Штучний інтелект» 2’2006
201
Неделько С.В., Неделько В.М.
1Н
Постановка задачи
Задачу поиска глобального экстремума будем рассматривать в следующей
постановке. Пусть неизвестная числовая функция f определена на конечном
дискретном множестве X  x j j  1, n , причем все значения функции различны.


Перенумеруем все значения, принимаемые функцией f на множестве X, в порядке
возрастания и обозначим через f j – порядковый номер значения f x j . Таким
образом, функцию f можно отождествить с перестановкой f j из натуральных чисел
от 1 до n.
Поиск экстремума (для определенности минимума) состоит в последовательном выборе произвольных m значений из X, т.е. фактически в выборе некоторого
подмножества индексов J m  ji  I n i  1, m , где через In обозначено множество из
 


натуральных чисел от 1 до n. При выборе очередной точки x ji  X сообщается не
значение функции в этой точке, а лишь ri  I i – ранг этого значения среди значений
функции во всех выбранных к этому моменту точках.
Таким образом, выбор очередного значения из X можно представить как
функцию всех рангов, полученных до этого, т.е. ji  Qi r1 ,..., ri 1  . Совокупность


таких функций для всех m шагов составляет Q  Qi i  1, m – алгоритм поиска
глобального экстремума. Заметим, что для каждой f алгоритм выбирает
определенное множество Jm.
Алгоритм поиска экстремума может быть представлен в виде дерева решений,
вершинам которого приписаны индексы расставляемых точек, а ветви, исходящие из
вершины, соответствуют возможным значениям ранга значения функции в
выбранной точке. Из каждой вершины i-го слоя исходит i ветвей.
Критерием качества нахождения экстремума будет K Q, f   min f ji –
i 1,m
минимальный ранг значений функции в расставленных точках.
Будем говорить, что функция (перестановка) решается алгоритмом, если
значение критерия равно 1, т.е. экстремум найден точно.
Переход на классы эквивалентности
Согласно известной теореме «о бесплатном завтраке» [1], усредненное по всем
функциям качество работы алгоритма одинаково для всех возможных алгоритмов.
Для рассматриваемой постановки задачи это, в частности, означает, что количество
функций, решаемых каждым алгоритмом, одинаково. Это число составляет,
очевидно, m от всех функций. Данный факт означает, что говорить о предпочn
тительности того или иного алгоритма имеет смысл только в контексте каких-либо
гипотез о классе функций.
До сих пор мы не брали в рассмотрение свойства пространства X, в то время
как эти свойства играют важную роль при выборе алгоритма оптимизации. Одним из
наиболее часто эксплуатируемых свойств пространства X является наличие метрики.
202
«Искусственный интеллект» 2’2006
Исследование связи характеристик алгоритма поиска…
1Н
Поскольку мы рассматриваем максимально упрощенную постановку задачи,
метрику в X зададим также простую:  x j1 , x j2    j1 , j 2   min  j1  j2 , n  j1  j 2  .
Особенность данной метрики состоит в том, что точки x1 и xn являются соседними.
Наглядной иллюстрацией этой метрики будет равномерное размещение точек
пространства X на окружности.
Введенная метрика позволяет задать отношение эквивалентности на множестве
функций. Функции будем считать эквивалентными, если их можно привести одну к
другой с помощью некоторого сохраняющего расстояния отображения пространства
X на себя.
Легко установить, что эквивалентными функции будут тогда и только тогда,
когда соответствующие им перестановки f j и f j приводятся одна в другую
циклической перестановкой и при необходимости зеркальным отражением. Иными
словами, рассматривается эквивалентность по сдвигам и отражениям.
Будем говорить, что алгоритм решает заданный класс эквивалентности, если
он решает все функции этого класса.
Заметим, что если число функций, решаемых каждым из алгоритмов, в
точности одинаково, то число решаемых классов эквивалентности может
кардинально различаться и это число может использоваться в качестве меры
эффективности алгоритма.


Класс функций для алгоритма СПА
Расстановкой 5 точек в пространстве, мощности 10, можно лишь с большой
степенью условности смоделировать СПА, однако основные идеи этого алгоритма
отразить возможно. Основной идеей СПА является одновременное «тяготение»
выбираемой точки как к менее исследованным областям, так и к ранее
расставленным точкам, в которых функция принимает относительно меньшие
значения.
Однако реализовывать данную эвристику можно по-разному и чтобы избежать
этой неоднозначности, будем отталкиваться от класса функций. Вполне очевидно,
что функции, решаемые алгоритмом СПА, должны иметь определенные
ограничения на скорость изменения. Поэтому выберем класс функций F с
ограниченным изменением, т. е. удовлетворяющих условию:
f j1  f j2    j1 , j2  .
Параметр κ примем равным 2, т. е. минимально возможным. Заметим, что данный
класс функций замкнут по введенному ранее отношению эквивалентности. Состав
класса при m = 4, n = 10 приведен в табл. 1, где представлено по одной функции из
каждого класса эквивалентности.
Таблица 1  Класс функций F2
7
7
7
7
8
8
8
8
«Штучний інтелект» 2’2006
5
5
6
6
5
5
6
6
3
4
3
4
3
4
3
4
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
2
2
2
2
2
2
2
2
4
3
4
3
4
3
4
3
6
6
5
5
6
6
5
5
8
8
8
8
7
7
7
7
9
9
9
9
9
9
9
9
203
Неделько С.В., Неделько В.М.
1Н
При m = 4, n = 10 класс F2 решается алгоритмом, дерево решений для
которого изображено на рис. 1. Как можно заметить, полученный алгоритм вполне
соответствует идеям адаптивного планирования. Действительно, первые три точки
расставляются максимально равномерно: на первом шаге выбирается точка с
номером 1, на втором – с номером 4, а на третьем – с номером 7, если f 4  f1 , и с
номером 8 в противном случае. На четвертом шаге точка ставится рядом с точками,
где получены наименьшие значения функции: например, при f 7  f 4  f1 будет
выбрана точка с номером 6, при f 4  f 7  f1 – с номером 5 и т. д.
1
4
7
6
5
8
3
9
10
2
Рисунок 1  Дерево решений для алгоритма, оптимального
на классе Fκ при m = 4, n = 10
Заключение
Проведенное исследование демонстрирует принципиальную пригодность
метода прямого компьютерного перебора для выявления свойств алгоритмов поиска
экстремума и связи между алгоритмом и классом решаемых им функций. Метод
позволяет в задачах небольшой размерности явно найти оптимальный для заданного
класса функций алгоритм. При этом следует заметить, что аналитическое
нахождение оптимального алгоритма сопряжено с большими трудностями и
осуществимо только для очень частных классов функций. Это объясняется, в
частности, тем, что алгоритм, который на каждом шаге выбирает точку с
204
«Искусственный интеллект» 2’2006
Исследование связи характеристик алгоритма поиска…
1Н
наибольшей вероятностью нахождения экстремума, в общем случае не является
оптимальным.
Как один из вариантов меры эффективности алгоритма предложено
использовать число решаемых им классов эквивалентности относительно метрики
исходного пространства.
Литература
1.
2.
3.
4.
5.
Wolpert D.H., Macready W.G. No Free Lunch Theorems for Search // Santa Fe Institute repot,
SFI-TR-95-02-010, 1996.
Лбов Г.С. Выбор эффективной системы зависимых признаков // Выч. системы. – Новосибирск. –
1965.  Вып. 19. – C. 21-34.
Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. – Новосибирск: Изд-во Ин-та математики СО РАН, 1999. – 211 с.
Lbov G.S., Nedel’ko V.M. A Maximum Informativity Criterion for the Forecasting Several Variables of
Different Types // Computer data analysis and modeling. – Minsk. – 2001. – Vol. 2. – P. 43-48.
Неделько С.В. Критерий информативности матрицы переходов и прогнозирование разнотипного
временного ряда // Искусственный интеллект.  2004.  № 2. – C. 145-149.
С.В. Недєлько, В.М. Недєлько
Дослідження зв’язку характеристик алгоритму пошуку глобального екстремуму і класу
функцій у дискретному просторі малої потужності
Розв’язується задача виявлення зв’язку між алгоритмом пошуку глобального екстремуму і класом
функцій, які він ефективно розв’язує. Зокрема, для дискретного простору малої потужності знайдений
клас функцій, розв’язуваних алгоритмом адаптивного пошуку. Для знаходження алгоритму,
оптимального на заданому класі, використовується метод повного перебору. Запропоновано критерій
ефективності алгоритму, заснований на розбитті всієї множини функцій на класи еквівалентності.
S.V. Nedel’ko, V.M. Nedel’ko
A Relationship Between a Global Search Algorithm and a Class of Functions it Solves for a Small
Discrete Space
The task of retrieving a relationship between a global search algorithm and a class of functions it effectively
solves is considered. For a discrete low cardinality space a class of functions those an adaptive algorithm
solves was found using an exhaustive search method. An algorithm effectiveness criterion based on
equivalence classes was also suggested.
Статья поступила в редакцию 26.04.2006.
«Штучний інтелект» 2’2006
205