Авдеева С.М., Васин Г.М. Обработка результатов тестирования.

Семинар
«Оценка информационно-коммуникационной компетентности выпускников основной
школы: инструментарий, организация тестирования и использование результатов»
28-29 ноября 2013 года, г. Москва
Обработка результатов тестирования
Тестирование компетентности в области использования информационно-коммуникационных (ИК) технологий
с помощью тестовых заданий, основанных на реальных жизненных ситуациях
С.М.Авдеева
Разработка инструмента осуществляется при поддержке Минфина России и при
участии Всемирного Банка
Автоматическая обработка результатов тестирования: сети Байеса
2
ОЦЕНКА
ИЯ
ИНТЕГРАЦ
НИЕ
ОПРЕДЕЛЕ
СОЗДАНИЕ
ПЕРЕДАЧА
ИЕ
ДОСТУП
УПРАВЛЕН
Процедура установки тестовых стандартов
ПРОДВИНУТЫЙ
В
В
В
В
В
В
В
ВЫШЕ БАЗОВОГО
В
В
В
В
В
С
С
БАЗОВЫЙ
С
С
С
С
С
С
С
НИЖЕ БАЗОВОГО
С
С
С
С
С
Н
Н
РАЗВИВАЮЩИЙСЯ
Н
Н
Н
Н
Н
Н
Н
3
Результаты тестирования школьников
4
О результатах психометрических
исследований
5
Психометрические исследования
• Исследование валидности
текущей, очевидной)
(конвергентной,
дивергентной,
• Корреляционный анализ
• Факторный анализ
• Анализ внутренней согласованности
• Анализ параметров заданий
• Анализ DIF (различного функционирования заданий)
• Анализ функционирования сети Байеса (model criticism)
Конвергентная, дивергентная и текущая валидность
Коэффициент корреляции Спирмана
Измерение
Собственная оценка своих навыков
Уверенность в собственных ИК-способностях
0.22 – 0.3
Частота обращения к навыкам ИКТ
-0.08 – 0.12
Техническая грамотность
0.04 – 0.12
Самодостаточность
Просил помощи (обратное кодирование)
0.05 – 0.22
Самостоятельно решал проблемы
0.06 – 0.25
Успеваемость
Средняя оценка успеваемости в школе
0.32 – 0.48
Факторный анализ
 Эксплораторный и конфирматорный
факторный анализ:
 ФА на уровне наблюдаемых
переменных
 ФА на уровне заданий
Факторная структура отражает
контекст заданий
Превалирует решение
с одним фактором
ИКТ-компетентность – сложный конструкт,
части которого связаны между собой;
Использование единого показателя ИКТкомпетентности оправдано.
Надежность (внутренняя согласованность)
61-64 наблюдаемых переменных:
• Альфа Кронбаха 0.72-0.95
• Метод расщепления с коррекцией 0.65-0.86
16 заданий:
• Альфа Кронбаха 0.35-0.86
• Метод расщепления с коррекцией 0.38-0.86
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
Дополнительные измерения, Белоруссия 2013
Измерение
Количество вопросов
Среднее
Стандартное
отклонение
Альфа Кронбаха
Собственная оценка своих навыков
Уверенность в
собственных ИКспособностях
23
88.7
18
0.96
Частота обращения к
навыкам ИКТ
13
37.2
10.9
0.81
Техническая грамотность
12
19.7
6.3
0.89
Самодостаточность
Просил помощи
(обратное кодирование)
1
0.48
0.5
NA
Самостоятельно решал
проблемы
1
1.4
0.8
NA
Успеваемость
Средняя оценка
rtc.imerae@gmail.com
по предметам
в школе
14
92.8
WWW.RTC-EDU.RU
18.8
0.96
Model criticism
•
•
•
•
•
•
•
Weaver’s surprise index
Logarithmic and quadratic loss
Spherical payoff
Error rate
Confusion matrix
Calibration table
Test sensitivity
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
Дальнейшее развитие инструмента
• Переход к адаптивному тестированию
• Администрирование с параллельным обучением сети
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ОЦЕНКА
ИЯ
ИНТЕГРАЦ
НИЕ
ОПРЕДЕЛЕ
СОЗДАНИЕ
ПЕРЕДАЧА
ИЕ
ДОСТУП
УПРАВЛЕН
Процедура установки тестовых стандартов
ПРОДВИНУТЫЙ
В
В
В
В
В
В
В
ВЫШЕ БАЗОВОГО
В
В
В
В
В
С
С
БАЗОВЫЙ
С
С
С
С
С
С
С
НИЖЕ БАЗОВОГО
С
С
С
С
С
Н
Н
РАЗВИВАЮЩИЙСЯ
Н
Н
Н
Н
Н
Н
Н
17
Что думают школьники о тестировании
ИК- компетентности
Мнения
Согласны с
мнением (%)
Я никогда прежде не участвовал в такого рода тестировании.
90%
Данный тест оказался мне по силам
85%
Чтобы успешно выполнить этот тест, нужно хорошо поработать головой.
96%
Мне понравился этот тест. Мне было интересно отвечать на вопросы.
92%
Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в
школе или дома.
87%
18
Семинар
«Оценка информационно-коммуникационной компетентности выпускников основной
школы: инструментарий, организация тестирования и использование результатов»
28-29 ноября 2013 года, г. Москва
Спасибо за внимание
!