«Практическая тестология - VIII Саммит психологов (Спб-2014) Интерактивная лекция
реклама
VIII Саммит психологов (Спб-2014) Интерактивная лекция «Практическая тестология это прикладная психология или нет?» Шмелев Александр Георгиевич, профессор МГУ, научный руководитель Лаборатории «Гуманитарные технологии», www.ht.ru План лекции • Участники корпоративной системы тестирования. • «Практическая тестология» (ПТ) и «дифференциальная психометрика» • О книге «Практическая тестология» • Сайт книги и как ее приобрести • forum.ht-line.ru – интерактивное упражнение • Роли разных специалистов в ПТ • Интеграция тестовых баллов и экспертных оценок • Модуль «Интегратор» в системе HT-LINE • Метод целочисленного взвешивания Парадигма «один на один» уходит Парадигма традиционной психологии «один психологисследователь – один обследуемый клиент» в эпоху ИКТ-революции и глобализации в крупных корпорациях исчезает: кандидаты оспаривают вакансии, выполняя с самого начала дистанционные онлайн-тесты, в создании и проведении которых участвуют многие (десятки человек)» Testology-book.ru 1) Для психометристов – психологов с математической подготовкой 2) Для менеджероворгпсихолологов 3) Для авторов тестовых заданий (предметников) 4) Для ИТ-специалистов 5) Для руководителей подразделений качества в ВУЗах Практическая тестология и дифференциальная психометрика • Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов). • Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации. Требования к тестологу • Современный практический тестолог – это не просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации. Оглавление книги 1. 2. 3. 4. 5. Определения и классификация тестов Конструкция и конструирование тестов Разработка тестовых заданий и образцы Математическая тестология (с. 262 – 350) Организационно-технологическое обеспечение тестовых систем 6. Валидность, рентабельность и достоверность 7. Внедрение тестов в систему вузовских экзаменов 8. Социально-психологические проблемы внедрения тестов. Где и как приобрести книгу? • На сайте www.ht.ru в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли. Интерактивная работа экспертов в И-сообществе • Вход на форум экспертов со страницы forum.ht.ru (возможна саморегистрация, а о регистрации «через Фейсбук» доступна инструкция на первой странице). • Раздел «Объединение психологов –> Разработка стандартов». • Тема: «Проконтролируйте себя на согласованность с экспертами». http://forum.ht-line.ru/threads/prokontrolirujte-sebja-na-soglasovannost-s-ehkspertami.179/ • Опрос-голосование: «Назовите признаки, входящие в определение понятия «измерительный тест». Роли в тестологической команде ВУЗа Главный менеджер проекта (Генконструктор АСТ) Менеджерпредметник ИТ-менеджер (Зампред УМК) Автор-эксперт 1 Автор-эксперт 1 Операторпрограммист Инспектор(ы) учебной части Супервизоры в к-классах Модель интеграции тестовых баллов и экспертных оценок Эксперт. оценки Тестовые баллы Эксперт. оценки в стенах 2 неуд 1–3 2 3 удов 4–5 4.5 4 хор 6–7 6.5 5 отл 8 - 10 9 Главная проблема – это не формула подсчета, а непонимание психологами способа приведения разнотипных шкал к одной шкале. Расчетный пример ФИО респондента А С В Балл по тесту Э-оценка D Перевод A в Перевод В в шкалу грейдов шкалу стенов Иванов 8 4 5 6.5 Петров 10 5 5 9 Усреднение в грейдах Усреднение в стенах Иванов Mean(5, 4) = 4.5 Mean(8, 6.5) = 7.25 Петров Mean(5, 5) = 5 Mean(10, 9) = 9.5 Модуль «Интегратор» в системе HT-LINE Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE Возможность дополнительных групповых приглашений (тем, кто не начал какой-то тест) Рассылка приглашений Индивидуальная страница участника Завершение пакета тестов Вкладка «Результаты» и меню пакета Экспорт результатов в Excel вый балл i-го испытуемого,Qj – это целочисленная трудность j-го задания, симально возможная трудность (самый высокий уровень), е число заданий в тесте, i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно», и R= - 1, что означа Формула целочисленного взвешивания Практический эффект МЦВ • Результат МЦВ-подсчета – балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий. X=1 – означает, что испытуемый может справляться 50:50 с легкими заданиями Q=1 X=2 – означает, что испытуемый может справляться 50:50 с о средними заданиями Q=2 и 66*33 с легкими Q=1 X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50:50 с трудными Q=3 Таблицы вероятностей на целочисленной модели Раша Xi Qj-> -2 -1 0 1 2 -2 0,50 0,67 0,80 0,89 0,94 -1 0,33 0,50 0,67 0,80 0,89 0 0,20 0,33 0,50 0,67 0,80 1 0,11 0,20 0,33 0,50 0,67 2 0,06 0,11 0,20 0,33 0,50 По строкам – сила испытуемого X, по столбцам – трудность задания Q Где и как приобрести книгу? • На сайте www.ht.ru в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли. Как быстрей познакомиться со «Стандартами тестирования персонала» 1) Надо зарегистрироваться на форуме forum.ht-line.ru 2) Проект документа будет опубликован в разделе Вики. 3) Каждый, кто считает себя компетентным, сможет что-то подправить или добавить в документ. Спасибо за внимание. Готов ответить на вопросы.
