О СХЕМЕ ВЗАИМОДЕЙСТВИЯ В КОМПЛЕКСЕ «АНАЛИЗ И СИНТЕЗ ЕСТЕСТВЕННОГО ЯЗЫКА И ИЗОБРАЖЕНИЙ»

О СХЕМЕ ВЗАИМОДЕЙСТВИЯ В
КОМПЛЕКСЕ «АНАЛИЗ И СИНТЕЗ
ЕСТЕСТВЕННОГО ЯЗЫКА И
ИЗОБРАЖЕНИЙ»
С.С. Курбатов, cul@nicevt.ru
К.А. Найденова, Naidenovaxen@gmail.com
Г.К. Хахалин, gkhakhalin@yandex.ru
20-24.09.10
КИИ-2010, Тверь
1
Комплекс: анализ/синтез ЕЯ и
изображения + онтология





Система анализа изображений.
Система синтеза изображений.
Система анализа ЕЯ-текста.
Система синтеза ЕЯ-текста.
Прикладная онтология - связующее звено
между системами:
Прикладная область: плоские контурные
планиметрические объекты.
 Язык представления знаний в онтологии –
семантический гиперграф.

20-24.09.10
КИИ-2010, Тверь
2
Схема комплекса
Концептуальный
анализ
изображений
Прикладная
онтология
Анализ
ЕЯ
20-24.09.10
Концептуальный
синтез
изображений
Синтез
ЕЯ
КИИ-2010, Тверь
3
Семантический гиперграф
 Является расширением семантических
сетей, где естественным образом
представляются n-арные отношения.
 Предоставляет возможность задавать
атрибутивную и структурную информацию
об объектах и ситуациях.
 В зависимости от типов отношений можно
реализовывать классифицирующие,
функциональные, ситуационные,
структурные сети и сценарии.
20-24.09.10
КИИ-2010, Тверь
4
Фрагмент прикладной онтологии на
языке семантического гиперграфа
Плоская Фигура
Треугольник
Прямоугольный
Треугольник
Параллелограмм
Трапеция
Эллипс
Ромб
Равнобедренный
Треугольник
Овал
Равнобочная
Трапеция
Прямоугольник
Квадрат
Круг
Равносторонний
Треугольник
20-24.09.10
КИИ-2010, Тверь
5
Равнобочная трапеция
Трапеция
F11 (S=1/2 (ав+cd)*h)
Площадь
вид
имеет
по_формуле
Равнобочная_Трапеция
по_формуле
имеет
им_структуру
Периметр
F10 (P=ав+сd+2l)
соприк_к.т.В
Основание (ав)
им_длину
им_длину
l2
им_длину
Бок_Сторона (аd)
соприк_к.т.D
параллельны
20-24.09.10
соприк_к.т.С
l
соприк_к.т.А
Бок_Сторона (вс)
не_параллельны
Основание (сd)
не_параллельны
КИИ-2010, Тверь
им_длину
l3
6
Схема взаимодействия систем
9
1
3
2
КАИ
4
11
КСИ
5
Прикладная
онтология
12
8
6
АЕЯ
7
СЕЯ
10
20-24.09.10
КИИ-2010, Тверь
7
Анализ/понимание изображения
 {1, 2} – вход: изображение; в онтологии: описание зрительной
ситуации (всей или части) на ЯПЗ
Параллелограмм
F22 (S= l1*l2)
Площадь
по_формуле
по_формуле
имеет
имеет
вид
Прямоугольник
им_структуру
Периметр
F20 (P=2*(ав+вс))
соприк_к.т.В
Сторона (вс)
Сторона (ав)
им_длину
соприк_к.т.А
перпенд.
Сторона (аd)
l1
l2
им_длину
соприк_к.т.D
соприк_к.т.С
перпенд.
Сторона (сd)
параллельны
20-24.09.10
КИИ-2010, Тверь
8
Анализ изображения и проверка
результатов анализа по синтезу объектов
 {1, 2, 3} – вход: изображение; в онтологии:
описание зрительной ситуации на ЯПЗ; выход:
множество примеров изображений класса
объектов.
20-24.09.10
КИИ-2010, Тверь
9
Генерирование текста по рисунку
 {1, 4, 8} – вход: изображение; в онтологии: описание
геометрической ситуации на ЯПЗ; выход: ЕЯ-тексты,
описывающие геометрическую ситуацию.
А
C
20-24.09.10
B
ЕЯ-тексты:
Треугольник ABC, две стороны которого
равны 6 и 8, а медиана, заключенная между
ними, равна 5.
Треугольник со сторонами АВ=8, АС=6.
Медиана, проведенная из вершины А, равна
5.
Задан треугольник ABC. Сторона АС
(равна 6) меньше стороны АВ (равна 8). Из
вершины А к основанию CB опущена
медиана AD (равна 5).
КИИ-2010, Тверь
10
Создание рисунка по тексту
 {6, 5, 3} – вход: ЕЯ-текст; в онтологии: семантическое описание
текстовой ситуации на ЯПЗ; выход: изображение (множество
изображений), описывающее текстовую ситуацию.
ЕЯ-текст: В треугольник ABC вписана окружность.
Вписанная_в_Тре-к_Окружность
им_структуру
Треугольник
нах_внутри
Центр_Окр.
Сторона
(вс)
имеет
А
принадлежит
Сторона
(ас)
Сторона (ав)
касается_в_точке
C
B
R
Окружность
20-24.09.10
имеет
им_знач
Радиус
КИИ-2010, Тверь
11
Перефразирование входного текста
(анализ/синтез текста)
 Входной текст: Постройте круг данного радиуса r,






который включает точку с координатами X1 и Y1.
Выходные тексты:
Задана точка с координатами X1 и Y1. Она находится
внутри круга с радиусом r. Построить такой круг.
Построить круг с радиусом r, включающий точку с
координатами X1 и Y1.
Внутри круга находится точка с координатами X1 и Y1.
Постройте такой круг, радиус которого равен r.
Выходной текст может быть представлен на языке,
отличным от входного языка:
To construct the circle with radius r which includes a points with
co-ordinates X1 and Y1.
20-24.09.10
КИИ-2010, Тверь
12
Схема взаимодействия подсистем
9
1
3
2
КАИ
4
11
КСИ
5
Прикладная
онтология
12
8
6
АЕЯ
7
СЕЯ
10
20-24.09.10
КИИ-2010, Тверь
13
Пример наполнения онтологии
 Кораблик – это равнобочная трапеция, к
большему основанию которой
перпендикулярно проведен отрезок
прямой длиной не более 2/3 этого
основания. Этот отрезок прямой
касается большего основания трапеции в
его середине. Отрезок прямой
пересекает параллелограмм. Стороны
параллелограмма не более 2/3 и не менее
1/4 длины отрезка.
20-24.09.10
КИИ-2010, Тверь
14
Структура понятия «Кораблик» и
пример изображения
Отрезок прямой
Кораблик
вх._в_стр-ру
Равнобоч.
трапеция
вх._в_стр-ру
Параллелограмм
вх._в_стр-ру
Равнобоч.
трапеция
касается_в_сере
дине
Отрезок прямой
пересекает
Параллелограмм
им_структуру
вх._в_стр-ру
Большее основание
им_длину
l1
перпендикулярно
им_длину
не более 2/3 от
l2
не менее 1/4 и не более 2/3 от
им_длину
вх._в_стр-ру
l3
l4
Сторона а
им_длину
вх._в_стр-ру
Сторона b
20-24.09.10
КИИ-2010, Тверь
15
Претенденты на системы комплекса
 Система Spotlight (фирма CSOFT) – «нижние»
уровни анализа объектов изображения.

Основные функции: сканирование, фильтрация,
коррекция, распознавание геометрических
примитивов:
 отрезки, дуги, окружности, символы, произвольные
кривые (полилинии)
 Система «ПСИ» (Власов А.В., Аредова И.И.) –
синтез объектов изображения.

20-24.09.10
Основные функции: означивание параметров
объектов изображения по структурам модели;
расчет экземпляров объектов; выявление
недостатка/противоречивости данных и т.д.
КИИ-2010, Тверь
16
Претенденты на системы комплекса
 Лингвистический транслятор «Адалит» (Хахалин
Г.К. и др.) – анализ/синтез ЕЯ-текста.

Основные функции: морфологический,
синтаксический и семантический анализ элементов
ЕЯ-текста, включающего простые, осложненные,
сложные, эллиптические и анафорические
предложения. Элементы синтеза ЕЯ-текста.
 Язык представления знаний для прикладной
онтологии (Курбатов С.С., Хахалин Г.К.) –
семантический гиперграф.

20-24.09.10
Основные функции: стандартные процедуры
обработки гиперграфов (добавление/удаление
вершин, ребер; стягивание, свертка и т.д.).
КИИ-2010, Тверь
17
Возможное применение:
 Системы обучения (естественному языку с
картинками, геометрии и т.д.).
 Робототехника.
 Система сурдоперевода («текст →
аватар»).
 Система описания изображений на ЕЯ для
поиска.
20-24.09.10
КИИ-2010, Тверь
18
Спасибо за внимание!
 Дополнительную информацию можно
получить, обратившись к докладчикам или
по e-mail: gkhakhalin@yandex.ru
20-24.09.10
КИИ-2010, Тверь
19
Студенты и аспиранты!
 Если Вы хотите работать над дипломом
или над диссертацией по темам
«Лингвистический анализ/синтез
естественного языка» или
«Концептуальный анализ/синтез
изображений», обращайтесь к докладчику
или по e-mail: gkhakhalin@yandex.ru
 Престиж и качество гарантируются!
20-24.09.10
КИИ-2010, Тверь
20