название доклада заглавными буквами со спуском 50 мм от края

ПРИМЕНЕНИЕ ОНТОЛОГИЙ ПРИ ПОСТРОЕНИИ
ТЕСТОВ ДЛЯ ПРОВЕРКИ УРОВНЯ ПОДГОТОВКИ
ОБУЧАЕМЫХ
В.П. Малиновский
(Москва, Московский энергетический институт (Технический университет), Россия)
В процессе обучения возникает необходимость проверить, насколько
хорошо обучаемый усвоил материал. Одной из форм проверки успешности
обучения является тестирование, которое широко используется в
различных учебных программных продуктах. Обычно тестирование
представляет собой последовательность вопросов, на которые обучаемый
отвечает либо в произвольном, либо в заданном порядке. Отвечая,
обучаемый выбирает один или несколько вариантов ответов, предлагаемых
по каждому вопросу. Критерием успешности обучения является
количество правильно отвеченных вопросов.
Описанная процедура тестирования проста в использовании, в том
числе в программировании. Однако она допускает случайный характер
выбора правильных ответов, и направлена, в первую очередь, на проверку
знания терминов предметной области. Вместе с этим, может потребоваться
проверка способности обучаемых к обобщению и заданию проблемных
вопросов, а также наличия целостного представления о предмете обучения.
В данной работе предлагаются две модификации «классического»
теста. Первая предназначена для проверки способности обучаемого к
обобщению, а вторая к построению целостной картины изучаемого
материала. Обе модификации построены на управлении порядком
представления обучаемому вопросов теста. Управление тестированием
основывается на онтологическом подходе к описанию осваиваемого
учебного материала, который подразумевает представление понятий
учебного курса в виде концептуального графа. Рассмотренные тесты
использованы в экспертной системе (ЭС) для подготовки менеджеров
проектов.
С точки зрения учебного процесса ЭС выступает как хранилище
знаний. В самом простом случае обучаемые обращаются к экспертным
системам как к источникам справочной информации, при этом проверка
степени усвоения этой информации остается за рамками программного
продукта. Однако если снабдить пользовательский интерфейс ЭС блоком
тестирования, то можно использовать ее для самостоятельной работы
обучаемых. При этом процедура тестирования, заложенная в этом блоке,
должна опираться на модель представление знаний в базе знаний (БЗ)
данной ЭС.
Рассмотрим онтологический подход к построению БЗ ЭС для
поддержки учебного процесса. В данной работе используется формальная
модель онтологии, приведенная в [1], расширенная множеством оценок:
  , , E
где множества концептов  и отношений  образуют концептуальный
граф [3], а множество оценок E , присваиваемых концептам, отражает
степень освоения материала обучаемым. Оценка для концепта в общем
случае может носить произвольный характер (например, в самом простом
случае это два значения 0 - концепт не освоен и 1 - концепт освоен), и
определяется совокупностью используемых тестов.
Используемая
модель
представления
учебного
материала
подразумевает, что каждый концепт из множества  является
самостоятельной единицей знания (тематический подраздел, понятие и
т.д.) Уровень освоения концепта может быть проверен путем задавания
обучаемому одного или нескольких вопросов. Таким образом,
представление какого-либо фрагмента учебного материала опирается на
некоторую совокупность концептов, а построение теста на вопросы,
которые соответствуют выбранным концептам. Для каждого вопроса
также заложены варианты ответов и оценки, которые присваиваются
данному концепту при том или ином выборе обучаемого.
Под «классическим» тестом в данной работе понимается группа
вопросов, для каждого из которых обучаемому предлагается не менее
четырех вариантов ответа. Варианты ответов могут быть представлены
списком, областями на картинке и т.д. [2] Правильным может быть один
или несколько ответов, при этом задача обучаемого заключается в том,
чтобы ответить правильно на как можно большее количество ответов. Для
«классического» теста, в котором порядок ответа на вопросы в общем
случае не важен, проверка уровня освоения материала опирается только на
элементы множества концептов  , соответствующие данному фрагменту
учебного материала. При этом отношения (связи между концептами) из
множества  не используются.
Итак, для «классического» теста последовательность вопросов
формируется некоторым произвольным образом, зачастую случайным, и
их порядок практически не используется для проверки способностей
обучаемого. В данной работе предложены два варианта использования
управления порядком вывода вопросов, основанные на использовании
отношений между концептами из множества  онтологии, описывающей
учебный материал. Построенные на этих двух вариантах тесты также
подразумевают несколько вариантов ответа на каждый вопрос, как и в
«классическом» тесте.
Первая модификация «классического» теста, так называемый тест«конструктор», предназначен для проверки способности обучаемого к
построению целостной картины учебного материала. Предполагается, что
обучаемый обладает такой картиной, если он может задать по этому
материалу связанную последовательность вопросов. Для проверки
обучаемому сразу показывается весь набор вопросов теста. Из всех
вопросов предлагаемого набора обучаемый составляет некоторую
последовательность.
Так как каждый вопрос соответствует некоторому концепту из
множества  , а концепты связаны между собой отношениями из
множества  , то обучаемый, обладающий целостным представлением
учебного материала, должен уметь составить из вопросов такую
последовательность, что соответствующие концепты и отношения
образуют на концептуальном графе одну непрерывную цепь. Если
обучаемый сформировал правильную последовательность вопросов, то он
отвечает на них как в классическом тесте.
Следует отметить, что для работы этого теста на концептуальном
графе должна существовать, по крайней мере, одна цепь, покрывающая все
его узлы. А наличие нескольких таких цепей означает несколько
правильных последовательностей, которые может сформировать
обучаемый.
Перейдем ко второй модификации - «динамическому» тесту. Этот
тест предназначен для проверки способности обучаемого к обобщению. Он
опирается на предположение, что обучаемый должен уметь различать
общие и частные вопросы по учебному материалу. Таким образом,
обучаемый начинает с наиболее частного вопроса, и должен, выбирая все
более и более общие вопросы, дойти до самого общего. Этот процесс
имеет итерационный характер, при этом на каждом шаге обучаемый видит
несколько вопросов, из которых ему нужно выбрать один.
«Динамический» тест возможен при наличии на концептуальном
графе некоторой цепи концептов, связанных между собой в иерархию
понятий. Наиболее частный вопрос определяется вопросом, который
соответствует самому нижнему понятию в иерархии, а наиболее общий –
верхним. Набор вопросов, предлагаемый обучаемому на каждом шаге,
определяется концептом, который является следующим в иерархии после
выбранного на предыдущем шаге. На рис. 1 изображен граф,
описывающий фрагмент иерархии, для иллюстрации формирования этого
теста.
Рис. 1. Фрагмент концептуального графа, иллюстрирующий
«динамический» тест.
В описанной на рисунке ситуации обучаемый только что ответил на
вопрос, связанный с понятие «Руководитель отдела маркетинга» и получил
за него оценку (4,2). Отношения, формирующие заданную иерархию
понятий, выделены жирными линиями. Обучаемый увидит пять вопросов,
связанных понятием «Начальник отдела», при этом правильным вопросом
на этом шаге будет вопрос 2.
Для обучаемого важно дойти до наиболее общего вопроса за как
можно меньшее количество итераций. При этом возможно, при наличии
циклов на графе, что обучаемый вернется к первоначальному вопросу.
В работе предложены два вида тестирования, использующие
выводимую обучаемому последовательность вопросов для проверки его
способностей. Предложенные тесты опираются на представления учебного
материала в виде концептуального графа, и могут быть использованы для
тестирования обучаемых в любых учебных курсах, требующих
комплексной проверки уровня знаний обучаемых.
ЛИТЕРАТУРА
1. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных
систем. – СПб.: Питер, 2001. – С.286-291.
2. Ларичев О.И., Стернин М.Ю. и др. Интеллектуальные обучающие
системы для пользователей лазерных технологических комплексов //
Новости искусственного интеллекта № 4, 2003. – М.: Анахарсис, 2003. –
С.4-11.
3. Baget J.F., Mugnier M.L. Extensions of Simple Conceptual Graphs: the
Complexity of Rules and Constraints // Journal of Artificial Intelligence,
Volume 16, 2002. – P. 425-465.