Семинар «Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов» 28-29 ноября 2013 года, г. Москва Характеристика инструментария: объекты измерения, рамка и спецификация теста, метод наблюдаемых доказательств, примеры тестовых заданий Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИК-компетентности 2 ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ • Метод разработки теста: в центре – доказательства компетентности (evidence centered design – Mislevy, Levy, 2006) • ИК-компетентность – это то, что мы хотим измерить • Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей 3 ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ • Концептуальные подходы к разработке инструмента оценки ИК-компетентности • • Что мы измеряем? – Уровень ИК- компетентности (7 составляющих ИК- компетенции) Как мы можем оценить уровень ИКкомпетентности? Как мы можем обнаружить/судить об… – Через систему измеряемых доказательств Как мы измеряем уровень ИКкомпетентности? – Через систему тестовых заданий Процедуры разработки теста в двух разных подходах Классическая разработка теста Спецификация содержания Тест, построенный на системе свидетельств Модель компетенций Рамка теста Модель сбора свидетельств Создание опросов/задач Анализ данных «Проходной балл» Модель задания Задание 5 ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Тест, построенный на системе доказательств– это набор взаимосвязанных процедур, призванных прояснить два вопроса: 1. Какие доказательства ИК-компетентности учащегося мы можем непосредственно наблюдать? 2. Как структурировать ситуацию, чтобы увидеть эти доказательства? 6 Пример разработки тестового задания: «Работа с почтовым ящиком/электронной почтой» 1. Предмет оценки: компетенция: Управление (определение: применение существующей организационной или классификационной схемы) операционализация: предпринять элементарную организацию имеющейся информации для дальнейшего использования 2. Общие параметры/общая рамка тестового задания: Продолжительность выполнения: 4 минуты Содержание: Практические дела Контекст: Личный Основные инструменты: Электронная почта 7 Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования • • Измеряемая составляющая ИК-компетентности: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): – – – • Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную №1: – – – Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 8 9 Some interface elements are not translated YET. We are here for that. 10 11 12 13 Наблюдаемые признаки/Измеряемые переменные Наблюдаемые признаки/ Измеряемые переменные (Observables) Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Уровень Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 14 Метод разработки теста: в центре – свидетельства компетентности (evidence centered design – Mislevy, Levy, 2006) 1. Определения компетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия составляющих ИКкомпетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какойлибо задачи. 15 Пример Модель компетенций: что измеряем и зачем? • Модель сбора свидетельств: что мы можем узнать о компетенции управления, наблюдая за деятельностью учащегося? ИКкомпетентност ь Досту п Интег рация Перед ача Оценк а Опред елени е Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти 16 Управ ление Созда ние Пример • Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Ситуация, в которой файл нужно сохранить в определенную папку Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти 17 Пример • Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? Тестовое задание +контекст +контент Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл Точность в управлении информацией Ситуация, в которой файл нужно сохранить в определенную папку Сохранение информации для того, чтобы ее не потерять 18 Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти • Одно из важнейших преимуществ теста, построенного на системе свидетельств –конструктная валидность теста. • Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции. 19 Разработка тестового задания: основные этапы Этап 1 • • выбор одной или нескольких компетенций операционализация определения данной компетенции/данных компетенций Этап 2 В соответствии со спецификацией теста выбираем: • • • • продолжительность выполнения тестового задания содержание контекст основные инструменты. Этап 3. Выделение измеряемых переменных Этап 4. Написание сценария тестового задания 20 20 Данное задание измеряет/определяет уровень владения четырьмя компетенциями: «Доступ к информации», «Оценка информации», «Создание информации», «Коммуникация» с помощью следующей ситуации: поиск данных для создания графика и ответа на поставленной учительницей вопрос исследования ПРИМЕР Т ПРИМЕР ТЕСТОВОГО ЗАДАНИЯ: «ЯЗЫКПРИМЕР ТЕСТОВОГО ЗАДАНИЯ «ЯЗЫКИ МИРА»МИРА» ЕСТОВОГО ЗАДАНИЯ: «ЯЗЫКИ МИРА» 21 Пример разработки тестового задания: «Языки мира» • • Предмет оценки: – компетенция: Доступ (определение: способность искать и находить информацию из различных источников в разных средах) – компетенция: Оценка (определение: способность составить мнение о качестве, авторитетности, релевантности, полезности или эффективности информации и ее источников) – компетенция: Создание (определение: способность создавать или адаптировать информацию с учетом конкретной задачи, выражать главную мысль и приводить аргументы и свидетельства) – компетенция: Коммуникация (определение: способность адаптировать информацию к конкретной аудитории) Операционализация: – найти необходимую информацию и ответить на поставленный вопрос на базе полученной информации, подкрепив ответ аргументами Общие параметры/общая рамка тестового задания: – Продолжительность выполнения: 30 минут – Содержание: Общественные науки – Контекст: Учебный Основные инструменты: База данных, Электронная почта, Конструктор схем, Презентация 22 22 Пример разработки тестового задания: «Языки мира» Выделение измеряемых переменных: • Качество выбора источников • Качество создания поискового запроса • Соответствии информации в выбранном ресурсе указанным требованиям • Качество построенного графика (с какой попытки был построен правильный график) • Соответствие отправленного графика указанным требованиям • Точность информации, представленной на слайде презентации • Степень полноты информации в отправляемом сообщении • Насколько подходящим по содержанию является отправляемое сообщение? • Соблюдение правил цитирования информации • Качество организации информации на отправляемом слайде • Покрытие коммуникационных задач Написание сценария задания: • описание ситуации: вам нужно ответить на вопрос в рамках исследования, основываясь на полученной в процессе поиска информации и проиллюстрировав свой ответ построенным графиком. • постановка задачи: найдите бесплатную базу данную, постройте график на основе полученных данных, создайте слайд, включив в него график и ответ на поставленный вопрос, отправьте слайд по электронной почте учительнице. 23 23 Тестовое задание «Языки мира»: автоматическая обработка результатов тестирования • • Измеряемые компетенции: ДОСТУП, ОЦЕНКА, СОЗДАНИЕ, КОММУНИКАЦИЯ Доказательства, по которым можно судить о наличии данных компетенций (Observables): – – – – – – – – – – – • • • • Качество выбора источников Качество создания поискового запроса Соответствии информации в выбранном ресурсе указанным требованиям Качество построенного графика (с какой попытки был построен правильный график) Соответствие отправленного графика указанным требованиям Точность информации, представленной на слайде презентации Степень полноты информации в отправляемом сообщении Насколько подходящим по содержанию является отправляемое сообщение? Соблюдение правил цитирования информации Качество организации информации на отправляемом слайде Покрытие коммуникационных задач Как измерить 1-й наблюдаемый признак/ переменную №1: Если участник выбирает в качестве типа базы данных Статистика и/или Графики, то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; Если помимо Статистика и/или График выбрано Картинки или Тексты, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если Статистика и/или Графики не выбрано, то уровень «НИЗКИЙ». 24 Система измеряемых доказательств • • Поведение и поступки, которые отличают людей с разным уровнем ИКТ - компетентности Пример: компетенция – Коммуникация, т.е. способность адаптировать информацию к конкретной аудитории Наблюдаемый признак/ Измеряемая переменная (Observable) Уровень Высокий: Все поля в сообщении заполнены И график также приложен Степень полноты информации в отправляемом сообщении Средний: График приложен к сообщению И поле Заголовок или поле Источник не заполнены, но 5 языков выбраны ИЛИ поле Заголовок или поле Источник заполнены, хотя бы 1 язык не выбран Низкий: все другие случаи 25 Экран с заданием 26 Инструкция и интерфейс 27 30 31 32 Отправка информации корреспонденту 33 Что думают школьники о тестировании ИК- компетентности Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87% 34 Семинар «Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов» 28-29 ноября 2013 года, г. Москва Спасибо за внимание!