Представление данных с помощью экстремальных эллипсоидов

Представление данных с помощью экстремальных эллипсоидов
Бедринцев Алексей
ИППИ РАН
alekseybed@phystech.edu
Чепыжов Владимир
ИППИ РАН
chep@iitp.ru
В связи с этим актуальна задача аппроксимации
имеющегося
набора
данных,
принадлежащего
допустимому множеству,
какими-либо более
простыми геометрическими телами.
Часто в
приложениях данные представляют собой конечный
набор точек фазового пространства, а допустимое
множество является выпуклым многогранником.
Самый простой в реализации метод аппроксимации
- параллелепипед с гранями, параллельными
координатным плоскостям, - имеет недостаток,
проиллюстрированный на рисунке 1. В случае, если
данные образуют наклоненное узкое облако, внутри
параллелепипеда имеются большие области, которые
не соответствуют реальным объектам. С ростом
размерности, объем «полезного множества» внутри
параллелепипеда убывает экспоненциально.
Другой возможный подход связан с построением
выпуклой оболочки данных. Построение выпуклой
оболочки - вычислительно сложная задача (см. [4]).
Кроме того, выпуклая оболочка может иметь
достаточно сложную структуру, что не позволяет
эффективно с ней работать.
В связи с
этим
весьма
перспективным
аппроксимирующим
выпуклым
множеством
представляется эллипсоид, поскольку он лишен многих
из перечисленных выше недостатков. Говоря
неформально, задача заключается в нахождении
«хорошего»
эллипсоида,
принадлежащего
допустимому множеству, содержащего большинство
точек выборки и имеющего наименьший объем.
В данной статье изложено несколько подходов к
аппроксимации множества данных с помощью
различных эллипсоидов. Ряд этих эллипсоидов
получаются при решении специальных экстремальных
задач. В настоящее время известно несколько
классических эллипсоидов.
Задачи оптимизации
формулируются
в
виде
задач
выпуклого
программирования с ограничениями вида линейных
матричных неравенств.
Некоторые эллипсоиды (эллипсоид минимального
объема, содержащий все заданные точки) в своей
классической формулировке не учитывают наличие
допустимого множества. Для случая, когда допустимое
Аннотация
В статье предложен подход к аппроксимации
множества
точек,
лежащих
в
выпуклом
многограннике, с помощью эллипсоидов. Рассмотрены
эллипсоид главных компонент, эллипсоид минимального
объема, содержащий заданный точки, эллипсоид с
минимальным следом его матрицы, эллипсоид
максимального
объема,
содержащийся
в
многограннике и эллипсоид Дикина. Разработана
процедура, которая позволяет изменить эллипсоид,
построенный исключительно по выборке так, чтобы
он принадлежал допустимому многограннику, и,
наоборот,
чтобы
эллипсоид,
построенный
исключительно по многограннику, лучше описывал
множество точек.
Некоторые эллипсоиды строятся через решение
оптимизационных задач. Они формулируются в виде
задач выпуклого программирования с использованием
линейных матричных неравенств.
1. Введение
В прикладных
задачах
часто
приходится
моделировать
сложные
объекты,
которые
параметризуются большим числом переменных. На
значения этих переменных накладывается множество
ограничений,
связанных
с
геометрическими
особенностями
и
физическими
свойствами
моделируемых объектов.
Для
эффективной
аппроксимации
объектов
применяют методы снижения размерности. При
применении этих методов множество допустимых
значений переменных в исходном пространстве
переходит в допустимое множество в пространстве
меньшей размерности.
При
таком
преобразовании
структура
и
геометрические свойства допустимого множества
могут существенно усложниться. Тем более при
переходе в сжатое пространство теряется информация
о физических и геометрических свойствах объекта.
55
В разделах 3.1-3.3 будут рассмотрены эллипсоиды,
которые строятся исключительно по множеству точек и
не учитывают накладываемые на точки ограничения.
В разделах 3.4-3.6 будут рассмотрены эллипсоиды,
которые хорошо описывают многогранник, но могут
плохо описывать множество точек.
Для
исправления
этих
недостатков
была
разработана дополнительная процедура, которая
изменяет параметры эллипсоида таким образом, что он
принадлежит допустимому множеству, и лучше
описывает облако точек.
Рис. 1. Прямоугольный параллелепипед - грубое и
неэффективное приближение данных.
3.1. Эллипсоид главных компонент
множество
представляет
собой
выпуклый
многогранник, разработана процедура «вписывания»
эллипсоидов в допустимое множество.
Естественно описывать множество точек его
матрицей главных компонент.
Центром эллипсоида главных компонент является
среднее арифметическое точек выборки:
2. Линейные матричные неравенства
=
В настоящей статье оптимизационные задачи будут
сформулированы в виде задач с ограничениями вида
линейных матричных неравенств (linear matrix
inequalities). Это выражения вида ( ) ≤ 0, где ( ) аффинное отображение конечномерного векторного
пространства в пространство симметричных матриц.
Отметим несколько свойств линейных матричных
неравенств (см. [1]):
1. Выпуклость множества решений.
2. Система ЛМН может быть записана как одно
ЛМН.
3. Лемма Шура: симметричная блочная матрица
=
а матрицей эллипсоида является ковариационная
матрица выборки:
=
( )=
где
3. Экстремальные эллипсоиды
( − ) ≤ 1},
− )
(det ) ,
- объем единичного n-мерного шара.
min
где с – центр эллипсоида, P – его матрица.
Предлагаемые методы отличаются различными
подходами к определению центра и матрицы
эллипсоида.
Имеется выборка точек
∈
− )(
Поэтому оптимизационная задача для нахождения
данного эллипсоида имеет вид (см. [1]):
Уравнение эллипсоида имеет вид
,
(
В неформальной постановке задачи было отмечено,
что одним из критериев «качества» эллипсоида
является его небольшой объем. Поэтому сформулируем
и решим задачу нахождения эллипсоида минимального
объема, содержащего все заданные точки выборки.
Объем эллипсоида вычисляется по формуле:
и только тогда, когда > 0 и −
> 0.
Лемма Шура позволяет записать квадратичные
ограничения на нормы векторов в виде линейных
матричных неравенств.
={ }
1
3.2. Эллипсоид минимального объема
положительно определена тогда
= { |( − )
1
,
(det ) s.t. (
− )
(
− ) ≤ 1, = 1 …
С помощью леммы Шура и замены переменных
/
/
=
и
=
ее можно переписать с
использованием линейных матричных неравенств в
виде задачи выпуклого программирования:
min −l det
,
.
s.t.
Допустимое
множество представляет
собой
выпуклый многогранник, заданный системой линейных
неравенств:
≤ .
1
−
Функция − ln det
56
(
− )
≥ 0, = 1 …
является выпуклой (см. [3]).
0.08
0.06
0.06
0.04
0.04
0.02
0.02
0
0
-0.02
-0.02
-0.04
-0.04
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08
Рис. 2. Эллипсоид главных компонент
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
Рис. 4. Эллипсоид с минимальным следом матрицы,
содержащий заданный точки
0.08
3.4.
Эллипсоид
максимального
содержащийся в многограннике
0.06
0.04
объема,
Для описания многогранника может быть
использован
эллипсоид,
принадлежащий
многограннику, и имеющий максимальный объем.
Пусть многогранник задается системой линейных
неравенств
≤ , = 1… .
Тогда поставленную задачу можно сформулировать
следующим образом (см. [1]):
min − log det
0.02
0
-0.02
-0.04
-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Рис.
3.
Эллипсоид
минимального
содержащий заданный точки
,
0.08
s.t.
объема,
(
)
−
(
)
(
−
)
≥ 0,
где матрица выражается через матрицу эллипсоида:
= / > 0.
3.3. Эллипсоид с минимальным следом его
матрицы
В разделе 3.2 эллипсоид строился через
минимизацию детерминанта. Родственной к этой
задаче является задача минимизации следа матрицы
эллипсоида:
( − ) ≤ 1, = 1 …
min , (tr ) s.t. ( − )
С помощью леммы Шура ограничения могут быть
записаны в виде системы линейных матричных
неравенств:
−
≥ 0, = 1 … .
( − )
1
Рис. 5. Эллипсоид максимального
содержащийся в многограннике
57
объема,
3.5. Эллипсоид Дикина
4. Процедура улучшения эллипсоидов.
Для системы линейных неравенств
≤ , = 1… ,
задающей непустой ограниченный многогранник
рассмотрим логарифмическую барьерную функцию
( )=−
log (
−
Как указывалось, в процессе построения некоторых
эллипсоидов не берутся в расчет многогранник
существующих ограничений, а при построении других
эллипсоидов учитывается только этот многогранник.
Поэтому необходима постобработка эллипсоидов,
чтобы учесть ранее не использованную информацию.
Алгоритм
использует
понятие
метрики,
порожденной эллипсоидом:
‖ ‖ , =( − )
( − )
Сформулируем алгоритм:
1. Найти точку выборки, наиболее удаленную
от центра эллипсоида по метрике, им
порожденной. Преобразованием гомотетии с
центром в центре эллипсоида получить
эллипсоид, на границе которого находится
найденная точка.
2. Линейным преобразованием перейти в
пространство,
в
котором
эллипсоид
становится единичным шаром с центром в
начале координат.
3. Если шар не принадлежит многограннику,
то повторять шаги 4-7.
4. Найти гиперплоскость с наименьшим
расстоянием до центра эллипсоида.
5. Найти
любое
ортогональное
преобразование,
переводящее
вектор
нормали к этой гиперплоскости в вектор
(1, 0, 0 … 0)
6. Сжать шар вдоль направления (1, 0, 0 … 0)
так,
чтобы
гиперплоскость
стала
касательной к шару.
7. Применить преобразование, обратное п. 5.
8. Если шар принадлежит многограннику,
применить преобразование, обратное п. 2,
для возврата в исходную систему координат.
Таким образом, если центр эллипсоида лежит
внутри многогранника, и эллипсоид нарушает
ограничение, задаваемое некоторой гиперплоскостью,
то этот алгоритм приводит его к такому виду, что эта
гиперплоскость становится касательной.
)
Точка
, в которой эта функция достигает минимума,
называется аналитическим центром многогранника.
Гессиан барьерной функции вычисляется по
формуле:
H( ) = ∇
где
=
( )=
,
.
Эллипсоидом Дикина называется эллипсоид с
) .
центром в точке
и матрицей H(
Данный
эллипсоид
обладает
следующими
свойствами (см. [3]):
1. Лежит в многограннике.
( − 1) раз
2. При увеличении полуосей в
содержит многогранник.
Таким образом, эллипсоид Дикина является
описанием многогранника. Если многогранник имеет
вытянутую форму, то таким же будет и эллипсоид.
Недостатком
эллипсоида
Дикина
является
зависимость решения оптимизационной задачи от
зависимых неравенств в системе. В пространствах
малой размерности таких неравенств может быть
много. Поэтому необходимо перед построением
эллипсоида
Дикина
отфильтровать
зависимые
неравенства, чтобы эллипсоид описывал реальный
многогранник. Описание данной процедуры выходит за
рамки данной статьи.
Рис. 6. Эллипсоид Дикина.
58
Рис. 8. Типичный профиль крыла самолета
Поэтому многогранник
≤
в исходном
пространстве переходит в многогранник
≤ −
в пространстве меньшей размерности.
Рассмотрены
две
возможности
добавления
параллелепипеда дополнительных ограничений: по
точкам в исходном пространстве и по их образам
процедуры сжатия. Для экспериментов выбрана
процедура сжатия профилей до размерности 6,
поскольку в этой размерности ошибка восстановления
профилей достаточно мала (см. [6][7][8]).
Оптимизационные задачи решались с помощью
пакета CVX для Matlab (см. [2]).
В таблице 1 приведено сравнение эллипсоидов,
описанных в разделах 3.1-3.5 после применения
процедуры, изложенной в разделе 4. Сравнение
проведено по следующим параметрам: объем
эллипсоида, количество точек вне эллипсоида.
Как видно из таблицы, некоторые эллипсоиды хуже
подходят для описания множества данных. Так,
последний эллипсоид Дикина, построенный при
дополнительных ограничениях, добавленных в сжатом
пространстве, имеет очень большой объем по
сравнению с другими эллипсоидами, и при этом
большое количество точек находятся вне эллипсоида.
Эллипсоид №3 с минимального следом его матрицы
доминируется эллипсоидом №2 минимального объема,
так как при том же количестве точек вне эллипсоида
имеет больший объем. В качестве решения данной
задачи можно выбрать эллипсоиды №№1, 2, 4.
Остальные эллипсоиды доминируются ими.
Авторы выражают благодарность А.А. Ильину за
активное участие в обсуждении результатов и полезные
замечания в ходе работы над статьей.
Рис. 7. Изменение эллипсоида для выполнения
ограничений
5. Представление множества профилей
крыла
Описанные алгоритмы применимы в задаче
представления множества профилей крыла самолета.
Для быстрых расчетов аэродинамики крыла при
суррогатном моделировании используются различные
эффективные методы снижения размерности. (см.
[6][7][8]).
Профиль задается 57-мерным вектором ординат
( )и ( ) точек верхнего и нижнего контуров на
местах с заданными абсциссами. Экспертами отобрано
множество 206 профилей, которые используются в
реальных самолетах. Описания этих профилей и
составляют множество данных.
Многогранник ограничений состоит из условий
несамопересечения, т.е. точки верхнего контура в
каждой точке лежат выше точек нижнего:
( )− ( )≥0
Поскольку размеры допустимого множества могут
быть сильно больше, чем размеры множества точек, в
систему ограничений добавляются условия, задающие
минимальный прямоугольный параллелепипед с
гранями, параллельными координатным плоскостям,
содержащий точки выборки:
≤
≤
,
= min
,
= max
6. Направления ближайших исследований
, = 1…
В разделе 5 рассмотрено сравнение эллипсоидов по
двум критериям: объему и количеству точек, не
содержащихся в эллипсоиде. Рассмотрены несколько
классических подходов к поиску «хорошего»
эллипсоида. Однако можно рассмотреть задачу
двухкритериальной минимизации объема и количества
исключенных из эллипсоида точек выборки при
условии, что эллипсоид принадлежит многограннику.
Рассмотренные эллипсоиды, возможно, являются
неплохими начальными точками для решения этой
задачи.
Эти дополнительные ограничения не учитываются в
рамках изложенной в разделе 4 процедуры.
Для профилей работает достаточно простой метод
снижения размерности: метод главных компонент (см.
[5]).
При процедуре сжатия применяется линейное
преобразование:
= ( − ),
а при восстановлении:
= +
.
59
Эллипсоид
Объем
Количество
точек вне
эллипсоида
6
13
13
2
1. Эллипсоид главных компонент
4.9577e-008
2. Эллипсоид минимального объема
2.1632e-008
3. Эллипсоид с минимальным следом матрицы
3.2284e-008
4. Эллипсоид максимального объема,
2.3614e-007
содержащийся в многограннике (доп.
параллелепипед в исходном пространстве)
5. Эллипсоид максимального объема,
4.0683e-008
20
содержащийся в многограннике (доп.
параллелепипед в сжатом пространстве)
6. Эллипсоид Дикина (доп. параллелепипед в
2.2229e-007
6
исходном пространстве)
7. Эллипсоид Дикина (доп. параллелепипед в
3.5035e-006
14
сжатом пространстве)
Таблица 1. Сравнение эллипсоидов для аппроксимации множества из 206 профилей
аэродинамического расчета для задач проектирования,
Труды Центрального аэродинамического института им.
проф. Н.Е. Жуковского. Выпуск №2678 «Применение
искусственных нейронных сетей в задачах прикладной
аэродинамики». М.: ЦАГИ, 2008.
[7] А.В. Бернштейн, А.П. Кулешов, Когнитивные
технологии в проблеме снижения размерности
описания геометрических объектов, Информационные
технологии и вычислительные системы. 2008, №2.
[8]
А.В.
Бернштейн,
А.П.
Кулешов,
Математические методы построения метамоделей,
Труды
Третьей
международной
конференции
«Системный анализ и информационные технологии»
(САИТ-2009, 14-18 сентября 2009 г., Звенигород,
Россия). 2009, с. 756 – 789.
[9] Ю.Е. Нестеров, Методы выпуклой оптимизации,
издательство
«МЦМНО»,
Москва,
2010.
Список литературы
[1] Stephen Boyd et al., Linear Matrix Inequalities in
System and Control Theory, SIAM studies in applied
mathematics ; vol. 15, 1994.
[2] CVX: Matlab Software for Disciplined Convex
Programming, http://cvxr.com/cvx.
[3] Boyd S., Convex Optimization, Cambridge
UniversityPress, 2004.
[4] C. Bradford Barber et al., The Quickhull Algorithm
for Convex Hull, ACM Transactions on Mathematical
Software, Vol. 22, No. 4, 1996, pp. 469-483.
[5] Е.В. Бурнаев, С.С. Чернова, Об итеративном
алгоритме
подсчета
главных
компонент,
Информационные процессы, Том 8, №2, 2008, с. 99-107.
[6] А.В. Бернштейн, В.В. Вышинский, А.П.
Кулешов, Ю.Н. Свириденко, Быстрый метод
60