Применение MPEG-7 для классификации и поиска визуальных данных Вихровский Кирилл vkirv@mail.ru Graphics & Media Lab Проблемы поиска мультимедиа данных Более 90% информации создается и хранится в цифровом виде цифровых архивов широковещательных потоков в форме частных или профессиональных баз данных Большинство систем хранения и поиска информации не предоставляют возможности поиска мультимедиа данных либо имеют собственный формат описания свойств объектов Стандарт MPEG-7 MPEG-7 является стандартом ISO/IEC “Интерфейс для описания мультимедийного содержимого” Multimedia Content Description Interface Цель: стандартизовать описание семантики мультимедийного материала, которое может быть передано для обработки ЭВМ MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания материала Средства стандарта Главными элементы стандарта MPEG-7: Дескрипторы (Descriptors) Схемы описания (Description Scheme) специфицируют структуру и семантику взаимодействия между компонентами (дескрипторами и схемами описания) Язык описания определений (Description Definition Language) определяют синтаксис и семантику представления каждой из характеристик элемента данных позволяет создавать новые DS и, возможно, D и обеспечивает расширение и модификацию существующих DS Системные средства служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д. Поиск и классификация Контентно-зависимый поиск (CBR). основываются на сравнении таких характеристик как цвет, текстура или форма Поиск на основе метаданных (MBR). использует более высокоуровневую информацию, опираясь на ключевые слова или свободную текстовую аннотацию Поиск на основе метаданных: Пример описания MPEG-7 <Mpeg7> <Description type="SemanticDescriptionType"> <Semantics> <Label> <Name>Dodge Viper</Name> </Label> <Definition> <FreeTextAnnotation> mountain on the background </FreeTextAnnotation> </Definition> <MediaOccurrence> <MediaLocator> <MediaUri>image.jpg</MediaUri> </MediaLocator> </MediaOccurrence> </Semantics> </Description> </Mpeg7> Дескрипторы цвета MPEG-7 Устойчивы к изменению цветов фона и независимы от размера изображения и ориентации объекта в сцене Цветовое пространство(CS) Масштабируемый цвет(SCD) пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), матрица линейного преобразования с учетом RGB, монохромное описывающий распределение цвета в изображении может быть использован для эффективного поиска в базе однородных данных Доминантный цвет(DCD) наиболее удобный для представления локальных характеристик высокоскоростной поиск, где для предоставления цветовой информации достаточно малого числа цветов Дескрипторы цвета MPEG-7 Цветовое распределение(CLD) описывает пространственное распределение цветов в областях произвольной формы Структура цвета(CSD) локальные цветовые характеристики в изображениях поиск, базирующийся на подобии естественных изображений Дескрипторы текстуры Могут быть использованы как независимо, комбинации с другими MPEG-7 дескрипторами так и в Однородная текстура(HTD) поиск и просмотр в большой коллекции сходно выглядящих образов Краевая гистограмма(EHD) поиск изображений по образцам или наброскам, в особенности для изображений с нерегулярными краями Дескрипторы формы Предоставляет мощное средство для поиска и сравнения в базе изображений Форма, базирующаяся на областях (Region Shape) Форма, базирующаяся на контуре (Contour Shape) Дескрипторы формы 3D-форма (Shape 3D) Дескриптор 2D/3D формы 3D объект может быть описан конечным числом 2D форм известен как дескриптор световых полей устойчивый поиск в базе объектов с различными разрешениями Экспериментальная модель Модули программного обеспечения XM используют специфицированные интерфейсы Это позволяет облегчить навигацию среди множества различных модулей для разных D и DS. С другой стороны, использование фиксированного интерфейса позволяет повторно использовать и объединять отдельные модули в большие приложения. Особенности поиска создаваемой системы Гистограмма цветов Краевая гистограмма поиск в базе однородных данных поиск по образцу или наброску Форма, базирующаяся на контуре поиск, основанный на сходстве устойчиво при частичном перекрытии формы Область применения Мультимедийные библиотеки Фотоальбомы Базы 3D-моделей для разработчиков компьютерных игр и дизайнеров