Опыт применения тестов SAM: от уровня образовательного

Возможности SAM: от уровня
образовательного учреждения
к региональному уровню
Воронцов Алексей Борисович
13-14 апреля 2015 г.
Возможности SAM
SAM – как инструмент измерения образовательных результатов
(предметные и ключевые компетентности (МПР)
влияние на образовательную политику от региона до школы
SAM – как подход для построения содержания и организации
образовательного процесса в школе
влияние на содержание и образовательный процесс в школе
Цель занятия:
показать
разные
возможности
и
потенциал
использования результатов тестов SAM для разных
субъектов образования (политиков от образования,
директоров школ, учителей класса, учащихся и их
родителей)
Вопросы для рассмотрения
1. Зачем нужен инструмент SAM учителю в школе?
2. Как влияет SAM на изменение качества образовательного
процесса и образовательных результатов?
3. Как провести грамотно мониторинг в школе с
использованием SAM?
4. Может ли SAM и как влиять на образовательную политику в
регионе, в стране?
ЧАСТЬ 1
Тезис 1:
инструмент SAM может
технологию обучения если:
кардинально
изменить
содержание
и
1.Авторы учебных пособий и учителя школы смогут понять «устройство»
SAM через собственное конструирование «трехуровневых задач»;
2.Учебный процесс будет выстроен в логике «трехуровневых» задач;
3.Система оценивания будет ориентирована на формирующее
оценивание и оценку индивидуального прогресса ученика
Тезис 2:
с помощью результатов SAM можно влиять на изменение
образовательной политики на разном уровне управления образования,
которое может включать:
 выбор содержания образования (через выбор учебников);
 разный статус ОУ (различение ОУ по «амбициям»: лицеи, гимназии и
т.п., а значит и на финансирование);
 выбор методов и способов обучения;
 аттестацию педагогов и аккредитацию ОУ
2 группы участников:
• 1 группа – SAM как подход для изменения качества образования
силами
методистов,
педагогов,
администрации
школы
преподавателей ВУЗов через кардинальное изменение в
содержании и организации образовательного процесса в школе
• 2 группа – SAM как инструмент измерения образовательных
результатов для управленцев всех уровней образования,
образовательных политиков, работников центров оценки качества и
региональных служб контроля качества образования
Часть 1. Группа «SAM как подход»
для изменений в содержании и организации ОП
6 класс, география, тема № 2 «План и карта» ( 6-10 часов)
Ключевые способы (инструменты) действия на плане и карте:




определение направлений;
определение расстояний;
изображение форм рельефа;
построение собственно карты.
Задания для работы в группах:
1. Выполнить три задания одной трехуровневой
задачи «Масштаб»
2. Экспертно отнестись к трехуровневой задаче
«Изолинии»
3. Распределить задания по уровням в трехуровневой
задачи «Направление»
Задача 1:
Определите с помощью плана местности точное расстояние на
местности между спортивной базой около озера Долгое и
железнодорожной станцией Ермолино.
Задача 2:
На рисунках 1 и 2 показаны обрывки двух географических карт.
Определите расстояние между населенными пунктами
Кошкино и Мышкино.
Задача 3:
Представьте себе, что на Земле появилась новая часть
суши с координатами крайних точек северная – 12º с. ш.,
южная точка - 12 º ю. ш., западная точка - 10 º в. д.,
восточная - 20 º в.д. Изобразите эту территорию на
листе формата А4 так, чтобы можно было как можно
точнее определить площадь этой территории для ее
освоения.
Задание:
Рассмотрите треухровневую задачу, составленную
учителем географии для учащихся.
Дайте экспертную оценку этой задачи. Подходит ли данная
задача под концепцию инструмента SAM?
Обоснуйте свой ответ. Если считаете необходимым внести
коррективы в задачу - внесите.
Задание 1.1.
Изолинии высоты – линии на плане,
соединяющие точки, имеющие одинаковую
высоту над уровнем моря. Рассмотрите
профиль впадины и ее изображение на плане.
Выберите из четырёх точек (А, В, С, D) ту,
которая расположена на наибольшей
высоте.
Задание 1.2.
На исследуемом Острове ученые обнаружили удивительный,
живописный уголок природы: огромное Чудесное озеро, чистая
вода которого привлекает не только рыболовов-любителей, но и
любителей подводной охоты…Установлено, что здесь один раз
за сезон происходит уникальное природное явлениевыбрасывание столба воды на озере высотой примерно пять
метров, которое продолжается 30-40 минут…
Помогите ученым определить
место на острове, с которого
можно было хорошо видеть
это уникальное природное
явление. Выберите из четырех
одну из самых удачных
смотровых площадок.
Задание 1.3.
На плане местности жирными линиями изображены две
горнолыжные трассы. Выбери на них точки, где имеют место
крутые спуски, и где лыжнику нужно быть особо внимательным.
Распределите задания в одной задаче по
уровням и обоснуйте свой ответ.
Задание ____ уровня
Стороны горизонта легко определить в солнечную погоду в
местный полдень — 12 часов
Для этого достаточно стать спиной к Солнцу, и тень,
отброшенная фигурой наблюдателя, превратится в стрелку указатель, показывающую на север.
Итак, турист в полдень определил направление на
солнце.
Укажите, куда ему нужно двигаться, чтобы
вернуться
в лагерь на востоке от него.
Задание _____ уровня
Отметьте на плане озеро, находящееся на северо - западе от
пристани Большая
Задание ___ уровня
Чтобы доехать из Москвы в Смоленск в летнее время автомобилисту
требуется 5 часов. Укажи самое позднее время выезда, чтобы в
пути солнце светило водителю в спину или в бок, но не в глаза.
Ночная езда исключается.
2. SAM как средство мониторинга
Образовательный процесс - организационная форма культурного развития:
ОБУЧЕНИЕ КАК УСЛОВИЕ КУЛЬТУРНОГО РАЗВИТИЯ
фото
.
1 ЭТАП
Присвоение знаковых структур
(орудий)
Ориентировочная
основа действий
фото
2 ЭТАП
Реконструкция и ассимиляция
содержания присвоенных
знаний
Обобщенный способ
действия
3 ЭТАП
Широкое использование общего
способа в нестандартных
ситуациях
Функциональное
развитие
фото
Признаки трехуровневых задач
Задачная ситуация
Схема действия
фото
Схема
действия
Задачная ситуация
Существенное отношение
/ Принцип действия
фото
Схема действия
Схема действия
Схема действия
Задачная ситуация
Высшая школа экономики, Москва, 2014
Существенное
отношение /
Принцип действия
фото
Построение темы на подходе SAM (задачный подход):
1 этап – «ситуация успеха»
(актуализация знаний, опыт)
- определение направлений в заданном
формате;
- определение расстояний на плане
Принятие
решения о
следующем шаге
2 этап – «ситуация разрыва»
(обозначение проблемы, вопроса)
- определение местоположения точки в
пространстве относительно заданной;
- определение расстояний без наличия
масштаба
Постановка
новой задачи
построение градусной сетки
определение координат точки
определение расстояний и площадей;
изображение рельефа и других объектов
Общий способ
(понятие)
- построение
собственных
карт
гипотетических территорий;
- использование
картографических
произведение для решения других задач
Опыт
использования
и применения
3 этап – поиска способа
решения поставленной задачи
(этап моделирования)
4 этап – решение частных
задач
(этап применения в нестандартных
ситуациях)
5 этап – постановка новой
задачи
-
- построение профиля территории по
нескольких тематическим картам
Новая
проблема
2 группа – «SAM как инструмент измерения качества
образовательных результатов»
Качество образовательных результатов
как мера присвоения культурных средств
и соответствующих им способов действия
Сравнение школ по итогам теста (математика)
ШКОЛА 1
ШКОЛА 2
ШКОЛА 3
Задания для работы (Мониторинг в ЯМАЛО-НЕНЕЦКОМ
АВТНОМНОМ ОКРУГЕ - 2011 год)
2
1
4
3
5
Сравнение результатов по муниципалитету в
динамике
ЧАСТЬ 2:
Опыт использования SAM
1.Конструирование инструмента силами
педагогов – деятельностный способ
повышения их квалификации
Цель: освоение пользователями принципов построения и
функционирования SAM.
1 этап - разработка матрицы предметного содержания,
дающей
компактное
представление
о
совокупностях
когнитивных средств действия (понятий, принципов, схем,
алгоритмов и др.), составляющих содержание основных
разделов некоторой учебной дисциплины. Мера усвоения этих
совокупностей
средств,
обеспечивающих
решение
соответствующих классов задач, и подлежит тестированию.
Фрагменты предметных матриц
Предметная
линия
Способы действия
Средства действия
Математическая грамотность
Измерение
величин
•прямое измерение
•косвенное измерение
отношение между числом,
величиной и единицей
отношение «часть и
целое»
формула площади
прямоугольника
Естественнонаучная грамотность
Процессы и их
условия
установление временных
отношений между событиями
схема процесса
схема эксперимента
Языковая грамотность
Слово и его
значение
Построение рядов слов и
словоформ с чередующими
звуками
Отношение «звук-буква»
Звуковая модель слова
Структура тестовых заданий
Задание 1.1.
Способ
действия
(задача)
1 уровень формальный
Задание 1.2.
2 уровень предметный
Задание 1.3.
3 уровень функциональный
Структура теста
Содержательная основа теста – технологическая матрица
(система средств/способов ориентировки действия в данной предметной
области)
…
Задача 1
Задача 2
Задание 1.1
Задание 2.1
Задание n.1
Задание 1.2
Задание 2.2
Задание n.2
Задание 1.3
Задание 2.3
Задание n.3
Задача N
Предмет тестирования – мера присвоения культурных
средств и соответствующих им способов действия
Конструктор для изготовления инструмента
Числа и вычисления
Средства
математического
действия (понятия,
представления)
Математические
действия
1 уровень
(формальнорепродуктивный)
2 уровень
(предметнорефлексивный)
3 уровень
(функциональноресурсный)
последовательность
натуральных чисел
числовая прямая
позиционный
принцип
(многозначные
числа)
свойства
арифметических
действий
порядок действий
нумерация
представление
чисел на числовой
прямой
сравнение
многозначных чисел
выполнение
арифметических
действий
с
многозначными
числами
определение
порядка действий в
выражении
прикидка
Связаны, с
выполнением
арифметического
действия и с
некоторыми
стандартными
приемами,
используемыми при
вычислениях, такими,
например, как оценка
результата, округление,
проверка результата
обратным действием
Задания в большей
степени
должны
строиться не на прямых
вычислениях,
а
на
учете
«строения»
многозначного
числа
или
математического
выражения. К этому
уровню относятся также
задания,
в
которых
надо
самому
определить программу
вычислений.
Ориентация
заданий на границы
способа действия.
Предполагает
свободное владение
способом.
Построение нового
способа действия
Конструктор для изготовления инструмента
Измерение величин
Средства
Математические
математического
действия
действия
(понятия,
представления)
отношение между прямое измерение
числом, величиной длин линий и
и единицей
площадей фигур
(непосредственное
отношение «целого «укладывание»
и частей»
единицы,
«укладывание»
формула площади единицы с
прямоугольника
предварительной
перегруппировкой
частей объекта)
косвенное
измерение
(вычисление по
формулам)
1 уровень
(формальнорепродуктивный)
2 уровень
(предметнорефлексивный)
3 уровень
(функциональноресурсный)
Связаны с простыми
измерениями. Если речь
идет
о
прямом
измерении, то результат
достигается
укладыванием единицы
или
с
помощью
знакомых приборов. В
заданиях не требуется
производить
предварительных
преобразований
объектов.
В
случае
косвенных
измерений
могут
требоваться
простейшие расчеты с
использованием
известных формул.
Задания, в которых
невозможно
сразу
применить
непосредственные
действия
и
надо
сначала
либо
преобразовать
объекты, участвующие
в измерении (в случае
прямого
измерения),
либо
перейти
в
модельный план, либо
отстраниться
от
«возмущений»
и
определить
правильную программу
вычислений
Задания,
где
необходимо
переосмыслить
(преобразовать)
ситуацию
так,
чтобы
увидеть
возможность
применения
некоторого
известного способа.
Характеристика заданий каждого уровня внутри одной
задачи
Уровни решения задачи
Характеристика заданий
описание в заданиях однозначно указывает на их принадлежность к определенному
классу с отработанной процедурой решения (стандартные, модельные, типовые задачи);
отношения, существенные для выполнения задания, увязаны с внешними
характеристиками ситуации и не требуют обязательного установления (выявления).
Первый репродуктивный
уровень
-
Второй рефлексивный
уровень
-
Третий функциональны
уровень
а) на реконструкцию и опробование вариантов действия с выбором одного, отвечающего
некоторому требованию;
б) на анализ заданных схем (формул) действия для выбора адекватной;
в) на адаптацию самой формулы действия к специфическим особенностям объекта;
г) предполагающих обнаружение границ основного способа и привлечение дополнительных
ресурсов;
д) в которых основной способ выступает средством реализации другого действия.
-
задания для которых нельзя непосредственно найти и применить готовые стандартные
схемы действия, минуя выделение существенного отношения. Виды заданий:
А) в которых для применения типового способа необходимо преобразование условий;
Б) данные представлены в абстрактной форме, исключающей поиск решения путем
манипулирования конкретными данными;
В) предполагающие обращение типовых схем действия (движение от результата к
условиям) при выполнение заданий другими людьми
Основные результаты тестирования
Три ключевые группы показателей:
• интегральные баллы (первичные и тестовые) - характеризуют общую
успешность освоения учебного содержания;
• трехмерные профиль – фиксирует меру присвоения культурных средств
и соответствующих им способов действия;
• ступени достижений - основаны на интегральных баллах участников
тестирования и пороговых значениях, делящих всех участников на группы,
соответствующие различным качественным ступеням
Трехмерный профиль
Успешность усвоения разных разделов содержания
Тематизм
Средний
Первичный
балл
Уровень I,
%
Уровень II,
%
Уровень
III, %
100
90
80
100
70
70
90
80
60
50
40
Класс 4 в
30
Решаемость (%)
Решаемость (%)
Элементы
геометрии
Измерение
величин
.....
60
10 классы
50
8 классы
40
6 классы
30
20
10
Класс 4 г
0
4 классы
20
10
0
1 уровень
2 уровень
3 уровень
1 уровень
2 уровень
3 уровень
Интерпретация профиля ребенка:
определение зоны ближайшего развития
(ЗБР)
Уровень (1,2,3) указывает на ведущий тип его ориентировки в предмете;
позволяет педагогу видеть и учитывать в своей работе зону ближайшего
развития ребенка (ЗБР):

1 уровень освоения - ЗБР несомненно включает дополнительное
осмысление основных понятий пройденной программы, т.е.
своеобразные обращения к начальному этапу образовательного
процесса.

2 уровень важно расширение опыта в решении нестандартных
задач с выходом на границы данной предметной области.

3 уровень желательно организовать мотивацию и создать
возможности для
углубления в содержание пройденной части
программы.
Интерпретация ступени: индивидуальный
прогресс ребенка (дельта)
Деление участников тестирования по
ступеням
достижений
позволяет
квалифицировать результаты в терминах
уровневой модели, т.е. дать интегральному
баллу качественную интерпретацию.
Распределение учащихся разного возраста
(математика)
по ступеням достижений
Возрастной нормой конца начальной школы следует считать
освоение учебного материала на втором уровне.
3. Сравнительная оценка учебных
достижений учащихся - установление
статистических норм
оценка результатов тестирования в рамках SAM опирается на четыре
нормативных основания:
 Среднестатистическая норма – средний показатель выполнения теста
(учащиеся / школы);
 Социокультурная норма – средний показатель группы школ-лидеров;
 Возрастная норма конца начальной школы – освоение учебного
материала на втором (рефлексивном) уровне;
 Абсолютная культурная норма – освоение учебного материала на третьем
(функциональном) уровне.
Муниципальный уровень:
На уровне муниципальных управленческих структур интерес может
представлять следующий набор тестовых показателей:
 Тестовый балл - класс / школа / город
 Распределение учащихся по ступеням достижений - класс /школа
/ город

 Тестовый балл для каждого раздела программы – город
 Распределение учащихся по ступеням достижений для каждого
раздела программы - город
Интерпретация норм на уровне муниципалитета
•
•
•
•
Средний тестовый балл по городу, характеризует общий уровень
образовательных результатов школьной сети в целом. Этот шкалированный балл
допускает сопоставление со среднестатистическими показателями по региону, а
также с аналогичными показателями других городов (или регионов), что позволяет
дать общую сравнительную оценку подготовки учащихся местной системы
школьных учреждений.
Средние тестовые баллы по школам и классам, позволяют оценить успешность
тех и других на фоне городских данных, а также в сравнении с другими школами и
классами, как местными, так и находящимися в других городах.
Распределение учащихся по ступеням достижений – весьма информативный
показатель для управленца. На уровне города он характеризует качественный состав
общего контингента учащихся. На фоне этого показателя можно рассмотреть
аналогичные показатели по классам и школам, чтобы выявить зону неблагополучия,
т.е. школы, в которых сравнительно большое число детей не освоило программу даже
на первом уровне. Наряду с этим следует уделить внимание и школам, где слишком
значительная часть детей демонстрируют первый уровень, т.е. не вписываются в
культурно-возрастную норму.
Распределение учащихся по ступеням достижений на уровне школ характеризует
меру однородности контингента детей по уровню успеваемости.
Красноярский край – региональный
мониторинг школ-лидеров
Группа лидеров – это группа школ, имеющих самые высокие
показатели.
Лидирующая группа школ выступает в качестве ориентира для всего
образовательного сообщества, то есть задает социо-культурную норму,
как реалистичную норму «завтрашнего дня» и дополнительное
основание оценки тестовых результатов
Группа школы-лидеры Красноярского края
Рис.11. Распределение учащихся по ступеням достижений (математика), 70%-ный критерий
достижения уровня
Профиль важнее процентов!
Оценка образовательной стратегии
100%
80%
60%
40%
20%
0%
1
2
3
Региональный мониторинг –
Ямало-Ненецкий АО
8
К анализу возможных причин ошибок
Гипотезы:
1) Ошибки обусловлены, главным образом, недостаточным уровнем
освоения учащимися некоторых разделов программы начальной
школы по математике.
2) Основная причина ошибок состоит в несформированности
общеучебных умений (компетентностей) применительно к
математическому содержанию.
9
К анализу возможных причин ошибок
Диаграммы решаемости теста по задачам
100
90
80
70
60
50
40
30
20
10
0
М-01 М-03 М-06 М-08 М-11 C-01 C-03 C-05 C-08 D-04 D-05 R-04 R-05 G-01 G-02
10
К анализу возможных причин ошибок
Диаграммы решаемости теста по содержательным областям
100
90
80
70
60
50
40
30
20
10
0
Измерения
Вычисления
Зависимости
Закономерности
Геометрия
11
К анализу возможных причин ошибок
Диаграммы решаемости заданий второго уровня
100
90
80
70
60
50
40
30
20
10
0
М-01 М-03 М-06 М-08 М-11 C-01
C-03
C-05
C-08
D-04 D-05
R-04
R-05
G-01
G-02
16
К анализу возможных причин ошибок
Приведенные данные позволяют отдать предпочтение второй гипотезе:
Основная причина ошибок состоит в несформированности общеучебных
умений
(компетентностей)
применительно
к
математическому
содержанию.
В первую очередь это касается таких умений, как:
 анализировать текст,
различных формах;
использовать
информацию,
представленную
в
 удерживать одновременно несколько условий, в том числе, конфликтующих
друг с другом;
 использовать моделирование с целью выделения существенных отношений в
задаче;
 выявлять закономерности в структурированных объектах;
 осуществлять пробные действия при поиске решения;
 контролировать ход и результат решения задачи.
Выводы и рекомендации
18
Как в начальной школе, так и на переходе из начальной школы в основную
(5-6 классы):
 Регулярно включать в учебный процесс задания по разным темам,
соответствующие второму и третьему уровням;
 Уделять особое внимание анализу текстов заданий, по возможности
использовать для этого различные средства моделирования (графические,
знаковые и т.п.);
 Проводить отработку понятий и определений не путем их заучивания, а
через решение задач, выявляющих суть данных понятий в том числе, в
нестандартных ситуациях;
 Обращать особое внимание на формирование у учащихся контрольных
действий, как формальных (например, с помощью обратного действия), так
и содержательных (прикидка, сопоставление результата с условиями
задачи, проверка решения на «здравый смысл») способами контроля.
Итог: кому и зачем нужен инструмент SAM?
Субъекты,
использующие
инструмент SAM в своей
деятельности
Тестовые показатели
Назначение и использование результатов оценивания
Ученик
Интегральный балл
- позволяет определить «проблемные места» в учебной
программе; определить место ученика в рейтинге
класса;
- позволяет определить «дельту» (индивидуальный
прогресс) учащегося в освоении учебного предмета
- уровень освоения программы – зону ближайшего
развития
Трехмерный профиль
Ступень достижений
Учитель
Интегральный балл
Трехмерный профиль
Ступень достижений
- позволяет определить рейтинг класса среди подобных
классов школы; выделить «проблемные места» у
учащихся класса;
- указывает на ведущий тип ориентировки учащихся в
предмете (ЗБР), позволяет построить для учащихся
индивидуальные
маршруты
(индивидуальные
программы) для учащихся
- позволяет сразу увидеть качественный уровень
освоения материала разными учащимися
Итог: кому и зачем нужен инструмент SAM?
Субъекты, использующие
инструмент SAM в своей
деятельности
Тестовые показатели
Назначение и использование результатов оценивания
Директор, завуч школы
Интегральный балл
- позволяет оценить классы по качеству освоения
отдельных частей учебной программы
- позволяет определить способ обучения в разных
классах;
- дать оценку качества работы учителя в динамике
(стартовая и итоговая диагностика)
Трехмерный профиль
Ступень достижений
Руководитель
муниципального уровня
Интегральный балл
Трехмерный профиль
- проведение мониторинга по качественным
характеристикам предметной области;
- выделение специальных «кластеров» школ
Министр
Мониторинговые
исследования
- определение возрастных норм освоения учебного
материала: например, конец начальной школы
следует считать освоение учебного материала на
втором уровне;
- определение
образовательных технологий,
учебников
и
учебных
пособий,
которые
демонстрируют лучшие результаты на втором и
третьем уровне в динамике
Трехмерный профиль и его интерпретация
учителем
Уровни освоения учебного средства
(способа действия)
Описание действий учителя
1 репродуктивный уровень
Зона ближайшего развития (ЗБР)
включает дополнительное осмысление
основных понятий пройденной
программы, т.е. своеобразные обращения
к начальному этапу образовательного
процесса.
2 предметный (рефлексивный)
уровень
Увеличение количества нестандартных
задач с выходом на границы
определенной предметной области
3 функциональный уровень
Организовать мотивацию и создать
возможности для углубления в
содержание пройденной части
программы.
Выводы:
 в рамках технологии SAM нормативная основа оценивания результатов
включает возрастную и культурную нормы, носящие абсолютный характер,
что делает оценку более объемной;
 SAM может изменить подходы к методам обучения педагогов через
включения их в проектирование контрольно-измерительных материалов
для формирующего оценивания;
 SAM
можно использовать как эффективное средство обратной
педагогической связи, как основу для формирующего оценивания;
 SAM дает информацию об образовательном процессе - его эффективности,
адресованности, целевой направленности;
 при применении SAM появляется возможность помимо количественного
прироста компетентности (линейный прогресс) фиксировать и качественный
(уровневый прогресс);
 SAM позволяет влиять на образовательную политику на всех уровнях
образования
Спасибо за внимание