Требования к подбору заданий

ПОВЫШЕНИЕ КВАЛИФИКАЦИИ
ПО ДИСТАНЦИОННЫМ
ОБРАЗОВАТЕЛЬНЫМ
ТЕХНОЛОГИЯМ
Технология и средства
контроля знаний
Евсеев Анатолий Ильич
(YevseevAI@mpei.ru)
http://cnit.mpei.ac.ru/fpkp/control.pdf- адрес
ресурса
тел. (495)-362-75-93
Цель
повышения квалификации
Целью данного занятия является
ознакомление слушателей с
технологиями и средствами контроля
знаний, умений и навыков и обсуждение
их практического применения в
дистанционных образовательных
технологиях.
ТЕХНОЛОГИИ И СРЕДСТВА
КОНТРОЛЯ ЗНАНИЙ
Способы диагностики и контроля ЗУН (достижения целей обучения)



Виды и цели контроля
Оценка уровня усвоения, шкалы оценки
Требования к подбору заданий
Средства ввода и анализа ответов




Средства обеспечения диалога
Ввод ответа
Типы ответа
Системы анализа ответов
Средства диагностики и контроля знаний, умений и навыков






Организация контроля знаний. Стратегии (алгоритмы, сценарии) контроля
Генерация условий задания
Организация заданий, типы заданий
Оценка ответа (выполнения одного задания).
Принятие решения по результатам контроля
Надежность контроля
Основные факторы, влияющие на выбор инструментальной среды
(ИС) для разработки компьютерных средств тестирования и
контроля знаний
Виды и цели контроля

Самоконтроль знаний – систематизация знаний
- самоутверждение

Входной контроль – введение в предмет;
- допуск к работе

Текущий контроль – диагностика и проверка
регулярности работы

Рубежный контроль – проверка уровня знаний
темы и диагностика

Заключительный (итоговый) контроль
– проверка итогового уровня
усвоения,
аттестация
Различие заданий по уровням
деятельности
Уровень
Типы заданий
первый
опознание
различение
классификация
второй
воспроизведение по памяти
решение типовой задачи –
|
|
|
задание и ответ
на одном экране
задания подстановки
конструктивные задания
типовые задачи
третий
нетиповые задачи – поиск дополнительных данных,
подведение задачи по типовую, разделение задачи
на этапы
четвертый
творческие задачи – подбор гипотез, ведущих к
решению задачи; сокращение поля поиска
решений; разделение задачи на части
Оценка уровня усвоения
Измерение параметра уровень усвоения осуществляется путем введения понятия
существенная операция деятельности. Под существенной операцией понимают все
действия, выполняемые деятелем, ведущие к достижению цели деятельности.
4
Ку
5
0,9
0,8
0,7
4
3
2
3
5
0,9
0,8
0,7
2
4
3
2
5
0,9
0,8
0,7
4
3
2
1
5
0,9
0,8
0,7
4
3
2
Время обучения, T
Процесс усвоения деятельности
Что проверяем?





Структуру и научный уровень той информации, которая
является объектом усвоения (обобщенность и ступень
абстракции);
Качество овладения учащимися этой информацией (уровень
усвоения деятельности, скорость выполнения, осознанность
действий);
Объем усвоенных знаний (число учебных элементов и
качество их усвоения);
Степень свободы в использовании информации
(автоматизация и свернутость действий);
Прочность овладения (долговременность по уровню и
точности деятельности).
Требования к подбору заданий







Задание должно быть содержательно валидным, то есть построено на
содержании, которое учащемуся должно быть известно из
предшествующего обучения.
Задание должно быть функционально валидным, то есть оно должно
проверять то, для чего его используют.
Задание должно быть объективным, то есть задание может быть выполнено
обучаемыми, а не только преподавателем - автором задания.
Однозначность требует однозначного ответа. Обучаемому должно быть
указано, в какой форме он должен дать свой ответ (высказывание).
Специфичность означает, что выполнение задания требует специфических
ЗУН по данной теме, а не только общей эрудиции.
Задание должно обладать дифференцирующей способностью, то есть
знающие обучаемые в состоянии выполнить задание, а незнающие - нет.
Задания объединяются в одну или несколько групп. К подбору заданий в
группу можно предъявить следующие требования:




Репрезентативность означает, что ограниченная выборка достаточно полно охватывает
дисциплину или раздел дисциплины, по которой осуществляется проверка знаний.
Однородность означает, что каждому обучаемому предъявляется равноценные по
содержанию и трудности наборы заданий.
Рандомизация означает, что двум обучаемым (или одному и тому же обучаемому при
повторном контроле знаний) не будет предъявлен один и тот же набор заданий.
Требования однородности и рандомизации должны обеспечиваться системой предъявления
заданий. Естественно, для обеспечения требования однородности преподаватель должен
сгруппировать их в однородные наборы.
Средства обеспечения
диалога
Средства обеспечения диалога
Средства навигации
Средства ввода и
анализа высказываний
обучаемого
Типы ответа
Выбор
Указатель
Выделение
Однозначный или
многозначный
места на карте
места в тексте,
таблице, карте
Типы ответа
Произвольная
строка
Классификация
Ситуация
Отметка фазы
Перемещение
элементов и
изменение их
состояний
по времени и месту
Система анализа ответа
(высказываний)




число:

тип числа и точность по эталону;

число в диапазоне;

любое число;
слово, фраза;

полное совпадение;

слово, фраза без учета шрифта;

логическое выражение с "ключевыми" словами;
выражение (формула):

алгебраическое выражение;

любое алгебраическое выражение;

логическое выражение;

любое логическое выражение;
ситуация. В случае ввода ответа по типу "ситуация" проводятся различные виды
преобразований:

преобразовать в алгебраическое выражение.

преобразовать в строку.

классификация по областям.

анализ взаиморасположения объектов в пространстве;

анализ последовательности изменения объектов.
Средства диагностики и контроля
знаний, умений и навыков
Стратегии (алгоритмы, сценарии) контроля

Последовательная выборка (m вопросов из m,
последовательно)


Случайная выборка (m вопросов из n)
Иерархические (многоуровневые) выборки (m1
вопросов из n1, m2 вопросов из n2 и т.д.)

Адаптивные алгоритмы
выход на заданный уровень усвоения;
выяснить пробелы в знаниях – диагностика;
усеченный контроль (по оценке или времени).
Оценка ответа (выполнения
одного задания)

Вес задания. Вес задания может
характеризовать:







трудность задания, как уровень усвоения
деятельности;
сложность задания, как количество существенных
операций при решении данного задания
Использования помощи (подсказок)
Вес ошибки
Количество попыток решения
Отказ от ответа
Время на ответ
Принятие решения по
результатам контроля



По завершении контрольной серии заданий
принимается решение по результатам контроля. При
этом могут быть приняты во внимание следующие
показатели:
общее число заданий;
число правильно решенных заданий;
число неправильно решенных заданий с учетом:






весов заданий;
использования помощи (подсказок);
времени, затраченного на ответ;
числа использованных попыток решения;
весов ошибок;
числа отказов от ответа.
Вопросы к обсуждению
1 Какие параметры необходимо учитывать при контроле навыков?
Почему?
2 Зависит ли контролируемый уровень ЗУН от способа
автоматического анализа ответа?
3 В каких случаях необходимо использовать самоконтроль знаний
обучаемых?
4 В чем разница между контролем и диагностикой знаний?
5 Для чего могут применятся стандартные системы тестирования?
6 Контроль каких уровней ЗУН можно возложить на компьютерные
системы и какие уровни должен проверять преподаватель.
Почему?