Петрушан М.В. МЕТОД ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА

МЕТОД ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА
НА ВИДЕОИЗОБРАЖЕНИЯХ ДЛЯ РАСПОЗНАВАНИЯ ФАЗ
ЧТЕНИЯ УЧАЩЕГОСЯ ПРИ РАБОТЕ
С ЭЛЕКТРОННЫМИ УЧЕБНЫМИ ПОСОБИЯМИ
Петрушан М.В.
drn@bk.ru
УНИИ Валеологии ЮФУ
СИТО-2013, Ростов-на-Дону
Обоснование.
Необходимость оценки кратковременной динамики образовательного
процесса, выявления причин плохого усвоения материала, коррекция траектории
обучения с учётом индивидуальных особенностей учащегося.
Введение в образовательный процесс коротколатентной обратной связи
предполагает разработку комплекса методических, алгоритмических и программноаппаратных решений, предназначенных для оценки состояния учащегося в реальном
времени при выполнении определенных видов учебной деятельности.
Введение программного модуля определения направления взгляда в
комплекс психофизиологической поддержки процесса обучения позволит рассчитать
временные затраты на выполнение определенных видов деятельности, в частности
время фазы чтения, время фазы печати, локализовать учебный материал, восприятие
которого затруднено. Разработанный метод позволяет также количественно оценить
динамику положения человека для анализа уровня двигательной активности и
автоматизации рекомендаций по смене режимов работы и отдыха.
Последовательность процедур обработки изображения для
определения направления взгляда.
Сегментация изображения. Выделение области лица.
Определение области глаз. Контекстное описание глаз в двух
состояниях:
- направление взгляда на экран;
- направление взляда на клавиатуру.
Классификация направления взгляда.
Сегментация изображения. Выделение области лица.
Метод Виолы-Джонса использовался для поиска области лица
(библиотека процедур компьютерного зрения OpenCV).
Примеры признаков Хаара,
используемые в процедуре
детектирования лица
методом Виолы-Джонса.
Примеры детектированных лиц на
изображениях. Области глаз были определены
относительно рамки найденного лица.
Определение расположения центров глаз относительно
рамки найденного лица.
Была составлена тестовая выборка из 178 изображений лиц,
из них с открытыми глазами - 101, с закрытыми – 77. Точки
центров глаз были расставлены на изображениях тестовой
выборки вручную.
Средние координаты точек центров глаз относительно
прямоугольника Виолы-Джонса (в единицах ширины и
высоты прямоугольника Виолы-Джонса):
(0.31; 0.41) (0.69; 0.41)
Среднеквадратичные отклонения точек центров глаз:
(0.03; 0.02 ) (0.03; 0.02)
Контекстное описание области глаза.
Область глаза описывается гистограммой ориентаций
сверхпороговых градиентов яркости. Оптимизируемые
параметры метода – ширина и высота области описания и порог
градиента. Оптимизация осуществлялась методом bee colony
(рой пчёл) семейства методов оптимизации “particle swarm”.
Оптимизационный критерий – максимизация расстояния
Махаланобиса между классами гистограммных описаний
области глаза при направлении взгляда на экран и на
клавиатуру. Были найдены оптимальные параметры:
ширина - 0.17, высота - 0.09 (в единицах ширины и высоты
прямоугольника Виолы-Джонса);
порог градиента – 15.
Классификатор – k ближайших соседей (k=3, число эталонов
класса = 10).
Визуализация разделимости классов «взгляд на экран» и
«взгляд на клавиатуру» методом Саммона.
Красные точки – прецеденты класса «взгляда на экран», зеленые – «взгляд на клавиатуру».
* Граница классов проведена условно для удобства визуального представления.
Пример записанных измерений.
метка
времени
лицо
найдено
67304875
67305000
67305078
67305156
67305234
67305312
67305390
67305468
67305531
67305609
1
1
1
1
1
1
1
1
1
1
координаты
лица
291
291
288
288
283
283
281
281
283
283
взгляд
на экран (0)/
на клавиатуру (1)
259
261
259
259
258
258
259
259
256
256
0
1
1
1
1
1
1
1
0
0
Визуализация динамики направления
взгляда. 0 – взгляд на экран, 1 – взгляд
на клавиатуру. Быстрые смены
направления взгляда соответствуют
артефактам морганий.
Характеристики. Интегрируемость в комплекс
психофизиологической поддержки обучения.
Характеристики и требования:
- скорость обработки 7 – 10 кадров/сек. (pentium 4, 1.6 гГц);
- фронтальное освещение (требование);
- доля правильных сегментаций лица на тестовой выборке ~
98 %;
- доля ошибок классификации направления взгляда на
тестовой выборке ~ 4%.
Интеграция в комплекс психофизиологической поддержки
возможна двумя путями:
• Реализация метода в виде отдельного программного модуля.
Взаимодействие через tcp-ip.
• Реализация метода в виде динамической библиотеки. Вызов
функций.