Классификация, кластеризация и поиск изображений на основе низкоуровневых характеристик Наталья Васильева natalia@ntc-it.ru Руководитель: Новиков Б. А. Поиск изображений Поиск по ключевым словам (Description Based Image Retrieval Поиск по содержанию (Content Based Image Retrieval - CBIR) Запрос Текстовый запрос Картинкаобразец Текст Картинка Эскиз DBIR) поиск индексация CBIR : традиционный подход изображение вычисление сигнатур запрос вычисление сигнатур база данных сравнение уточнение запроса результат Сигнатуры Цветовые характеристики гистограммы статистические модели Текстура фильтры Габора Формы и объекты Пространственное распределение Основные проблемы Семантический разрыв Запрос-образец Сложность процесса визуального восприятия Точность моделей – время обработки запроса Комбинирование различных моделей и метрик уровни содержания изображения Семантический разрыв – описание проблемы Объекты (машина, дерево) Текстура Цвет, яркость семантика изображения семантический разрыв низкоуровневые характеристики Семантический разрыв – вариант решения (1) Построение базисных цветовых характеристик Построение базисных лексических характеристик Сопоставление низкоуровневых(цветовых) и лексических характеристик Цветовая хар-ка 1 Кластер 1 Лексическая хар-ка 1 Цветовая хар-ка 1 Кластер 2 Лексическая хар-ка 1 Цветовая хар-ка 1 Кластер 3 Лексическая хар-ка 1 … … … Цветовая хар-ка 1 Кластер N Лексическая хар-ка 1 Семантический разрыв – вариант решения (2) I. Построение базисных цветовых характеристик Выбор обучающего набора Построение цветовой характеристики для каждого изображения из набора Вычисление степени схожести для каждой пары изображений Кластеризация обучающего набора Построение базисных цветовых характеристик как среднее характеристик каждого кластера Семантический разрыв – вариант решения (3) II. Построение базисных лексических характеристик город, ночь, река, шоссе Слова русского языка, которым соответствует определенный зрительный образ (лес, небо). Абстрактные понятия (воля, разум). снег, зима, небо, гора Семантический разрыв – применение решения (1) I. Индексация изображение вычисление цветовой характеристики Использование того же алгоритма, что и при вычислении характеристик изображений из обучающего набора база данных определение кластера Вычисление расстояний между индексируемым изображением и центральными характеристиками кластера Семантический разрыв – применение решения (2) II. Поиск Пользователь Система текстовый запрос n изображений из кластера Определение кластера Оценка результата оценка результата, запрос-образец результат Оценка результата уточненный запрос … Уточнение кластеров, поиск по содержанию Процесс визуального восприятия – направления Построение разбиения цветового пространства в соответсвии с визуальным восприятием человека Нелинейное восприятие цвета Нелинейная зависимость от яркости Ориентация и расположение объектов Использование механизма обратной связи (relevance feedback) для корректировки запроса с учетом оценки пользователя Направления дальнейших исследований: Поиск оптимальных параметров для кластеризации с помощью экспериментального сравнения кластеров: полученных при использовании различных цветовых пространств и цветовых разбиений; полученных при использовании совместной оценки цвета и яркости (сейчас только цвет); построенных по сегментам изображений. Использование политики реорганизации кластеров в зависимости от оценок пользователя при поиске изображений. Использование информации о кластерах для ускорения поиска. Комбинирование метрик на основе цвета и текстуры использование механизма обратной связи.