Квантификация знаний и умений

1
Квантификация знаний и умений
Одной из нерешенных проблем педагогики как науки является проблема педагогических измерений. Принятые в средней и высшей школе системы оценок, призванные отражать мнение об уровне или степени достижения учебных целей, результат, подтверждающий соответствие или несоответствие знаний и умений обучающихся, не имеют под
собой четких критериев, разработанных на основе определенных научных представлений
о структуре и объемах знаний. Поэтому трудно говорить об объективности, валидности
измерений знаний обучающихся, опираясь на субъективные оценки, не включенные в
специально разработанные процедуры измерения знаний.
Д.И. Менделеев утверждал, что «наука начинается с тех пор, как начинают измерять …». Смысл этого выражения заключается в том, что измерения во все времена являются определяющими при попытках решения главной проблемы познания – истинности,
достоверности полученной информации. Суть измерений состоит в том, что объекту измерения (в нашем случае – это обученность студента) присваивается система неких символов, позволяющих понять, т.е. придать смысл свойствам и характеристикам объекта измерения, оценить их значение в практическом контексте, создать механизмы управления
объектом, предсказать его поведение и т.д.1
В процессе измерения на практике объект измерения необходимо заменить некоторой моделью. Структурной основой проводимых измерений является концепция, закладываемая в данную модель. Очевидно, что модель должна быть максимально адекватна
объекту измерения. При этом следует учитывать, что знание, как объект измерения, обладает свойством непрерывности, тогда как любое измерение предполагает дискретность
значений. Следовательно, необходимо создать такую модель, которая с одной стороны,
отвечает требованиям дискретности, а с другой стороны, была в достаточной степени
адекватна тем знаниям и умениям (в большей степени интеллектуальным), которые должен продемонстрировать обучающийся по окончании обучения.
Рассмотрим некоторые подходы к измерению обученности (знаний), разработанные и описанные в литературе.
Очевидно, что овладение знаниями прежде всего связано с памятью. Р. Аткинсон2
отмечал, что для долговременной памяти типично семантическое кодирование. Однако
экспериментальные исследования зарубежных ученых, посвященные изучению «структуры» знания, хранящегося в памяти человека, не дали однозначных результатов. Если
Д. Гентер3 предполагал, что знания хранятся в виде целостного образования, то
П. Торндайк4 придерживается точки зрения, что знания хранятся в виде «пучка» свойств.
Трудности, связанные с психологическим подходом к поставленной проблеме,
привели к попыткам измерения знаний на основании информационного подхода.
И.Б. Ительсон5 рассмотрел возможность измерения информационного объема восприятия
в процессе учебной деятельности в единицах информации «бит/с». В частности, экспериментально было получено, что при незнакомых сигналах обучающиеся воспринимают
информацию со скоростью 6 бит/с, при знакомых, но непривычных сигналах – со скоростью 18 бит/с, а при хорошо знакомых, привычных сигналах – до 65 бит/с. Однако до сих
пор попытки оценить объемы информации с учетом их содержательной стороны не увенСергеев А.Г., Крохин В.В. Метрология. М.: Логос, 2000.
Аткинсон Р. Человеческая память и процесс обучения. М.: Прогресс, 1980.
3
Genther D. Verb semantic structure in memory for sentences: Evidence for componential representation // Cognitive
Psychol. 1981. Vol 13. P. 56–83.
4
Thorndyke P.W. Cognitive structures in comprehension and memory of narrative discourse // Cognitive Psychol. 1997.
Vol. 9.
5
Ительсон И.Б. Математические и кибернетические методы в педагогике. М.: Общество «Знание», 1964.
1
2
2
чались успехом.
В.П. Беспалько1 предложил мерой измерения считать существенную операцию теста как единицы, количественно характеризующей качество усвоенной деятельности на
различных уровнях. Операция теста как единица измерения удовлетворяет основным требованиям к мере в содержательном отношении, однако автор отмечает, что «до сих пор
еще не найден однозначный доказательный способ выделения в структуре деятельности
составляющих ее операций».
В.К. Бондаренко2 рассмотрел возможность измерения информативности понятия,
выраженного предложением, путем подсчета количества вопросов, которые можно поставить к этому предложению. Таким образом, определяется семантическая значимость понятия. Однако нам представляется, что учебное содержание, знание, которым должен обладать обучающийся не может быть выражено только через усвоенные понятия.
С.А. Изюмова3 большое внимание уделяет смысловой организации материала и
приемам этой организации. В этих исследованиях важной представляется роль, которую
играет осознание связей между понятиями для эффективности запоминания материала.
Этот подход в большой степени ориентирован на разработку графов логической структуры, являющихся инструментом выделения учебных элементов и связей между ними. Но
попытка дать количественные оценки путем подсчета учебных элементов и связей показала определенную субъективность измерения, зависимость результатов от личности экспериментатора.
Можно было бы привести ссылки и на публикации других авторов, в чем нет необходимости, так как во всех работах прослеживается единая мысль: они отражают попытку
заменить непрерывное множество амплитуд отсчетов дискретным множеством, т.е. произвести квантование. Напомним, что под квантованием подразумевается деление на кванты, представление какой-либо величины в виде последовательного ряда ее отдельных
(дискретных) значений в соответствии с определенным, выявленным или смоделированным законом. Идея квантования в своей основе базируется на теореме В. Котельникова,
изучавшего возможности передачи непрерывных сигналов с наименьшими погрешностями. Однако предложенные модели не обладают достаточной степенью адекватности выделенному нами объекту измерения.
Анализ и обобщение опыта прошлых лет позволил сделать вывод о том, что в основе измерения знаний обучающихся безусловно должна лежать идея квантования, но
подход к выделению дискретных значений должен быть более полным и валидным. В Современной гуманитарной академии (СГА) под руководством профессора М.П. Карпенко
была разработана квантификационная (квантификация – количественное выражение качественных признаков) модель измерения объемов знаний и умений, в большей степени
удовлетворяющая требованиям достоверности измерения.
Данная методика опирается на представленную выше гипотезу (см. § 4.1), в соответствии с которой в долговременной памяти (подсистеме памяти, обеспечивающей продолжительное удержание знаний, а также сохранение умений и навыков и характеризуемой огромным объемом сохраняемой информации) понятия записываются в виде мыслеобразов, объединяющих конкретную (образную) и абстрактную стороны нового понятия
или явления. При этом отмечается, что мозг человека записывает информацию принципиально иначе, чем компьютер. Мозг не дробит информацию на элементарные единицы,
превращая ее в двоичный код. Мозг записывает мыслеобраз в целом, а не отдельные элементы. Так же и при воспроизведении – мозг не собирает нужную информацию из разрозБеспалько В.П. Основы теории педагогических систем. Воронеж: Изд-во Воронежского университета,
1977.
2
Бондаренко В.К. Технические средства обучения. Вып. 3–7. М.: Общество «Знание», 1976.
3
Изюмова С.А. Природа мнемонических способностей и дифференциация обучения. М., 1995.
1
3
ненных фрагментов – мыслеобраз извлекается сразу целиком. Иначе говоря, единицей записи в мозге можно считать мыслеобраз. Дополнительным подтверждением является открытие ряда известных нейрофизиологических механизмов, отражающих интегративный
принцип работы мозга.
В современных технологиях в основном используется магнитный способ записи
информации. Анализ выявленных свойств долговременной памяти человеческого мозга
(например, свойства сохранности записей, возможности их точного воспроизведения через многие десятилетия) позволяют предположить, что мыслеобразы записываются в мозгу химическим способом – в синапсах.
Если говорить о системе логических знаний, приобретаемых в процессе образования, то в мыслеобразе находят отражение прежде всего понятия, дающие представление о
наиболее существенных свойствах и характеристиках отдельных объектов, процессов и
явлений. Исходя из определения знания как целостной и систематизированной совокупности научных понятий о закономерностях природы, общества и мышления, накопленных
человечеством, можно считать, что понятие является элементом знания. Понятие может
быть интерпретировано и объяснено через систему его связей и отношений с другими,
уже известными понятиями (рис. 1).
Первичное
понятие 1
Первичное
понятие 2
Понятие 5
Понятие 3
Понятие 4
Понятие 6
Понятие 7
Рис. 1. Модель структуры знания
В мозгу ребенка сначала появляются первичные понятия. Их возникновение опирается на креативные способности, так как для формулировки понятия необходимо осуществление процесса суждения. На базе первичных понятий могут строиться логически
обусловленные сложные понятия. Здесь можно провести аналогию с геометрией, первичные понятия которой играют роль аксиом, а логически обусловленные или следующие более сложные понятия – теорем. Система понятий напоминает ориентированный граф.
Чем сложнее, значимей понятие, тем больше связей оно имеет с другими понятиями, входящими в структуру данного знания. Следовательно, понятию можно приписать
характеристику «сложность», под которой понимается количество его связей с другими
понятиями. «Сложность» понятия, выраженная через связи (условно дадим такой связи
название «линк», от англ. link – звено, связь) представляет собой дискретную величину,
позволяющую придать дискретные значения непрерывному характеру знаний.
Итак, линк – это единичная связь между понятиями, выступающая в качестве
условной единицы измерения сложности (или емкости) понятия.1 Любое новое понятие
Карпенко М.П. Проблема измерения знаний и образовательные технологии // Журнал практического психолога. 1997. № 4.
1
4
мы выражаем через те, которыми мы уже владеем – с помощью связей между ними. Более
сложное новое понятие будет иметь больше связей, и количество линков выразит эту
сложность.
Введение единицы знания «линк» позволяет выразить свойства внутренней организации человеческого мышления и памяти, фиксируя смысловую нагрузку новой информации. Очевидно, что количество линков в понятии, тексте, теме и целой учебной дисциплине может быть подсчитано. Для этого следует выписать все новые понятия и дать им
определения через уже известные понятия. Подсчет ведется достаточно точно, что достигается путем тщательного отбора экспертов – специалистов в конкретной предметной области. Экспертная оценка считается достаточно надежной только в том случае, если несколько экспертов получают результаты, которые можно считать идентичными в рамках
допустимых отклонений (ошибок измерения). Предполагается, что результаты экспертизы
могут зависеть как от личностных особенностей эксперта, так и от содержания предметной области. Например, в точных науках легче выявлять связи между отдельными понятиями, чем в гуманитарных. Для подтверждения этой гипотезы в Современной гуманитарной академии был проведен отдельный эксперимент. В ходе эксперимента также были
выявлены индивидуальные различия экспертов, оказывающие влияние на количественную
оценку учебного объема1. В процессе подготовки эксперимента были отобраны текстовые
материалы из школьных учебников. Контрольные группы опытных экспертов провели
предварительный подсчет понятий и линков в каждом тексте, используя разработанную в
СГА и ранее апробированную методику. Эти усредненные результаты были приняты за
эталон. Далее текстовые материалы и методика были предложены экспериментальным
группам экспертов (группа 1 и группа 2). Результаты проведенного исследования (табл. 1)
показали, что наименьшее значение средних относительных отклонений количества линков от эталона характерно для таких предметов как физика (раздел «механика») и геометрия (раздел «планиметрия») – соответственно 1,16 и 1,69%.
Анализ личностных характеристик экспертов и сопоставление этих характеристик
с результатами их деятельности позволил дать рекомендации по отбору экспертов для
дальнейшей работы. В частности от эксперта требуются наличие компетентности в данной предметной области, умения структурировать учебный материал, выявлять основные
связи между понятиями, способности к обобщению и синтезу, переключению с одной когнитивной схемы на другую.
Еще одна серия экспериментов, проведенных в Современной гуманитарной академии, была посвящена выявлению средней количественной оценки понятий в линках для
последующего планирования учебного процесса. Анализ и экспертная оценка специалистами предметного поля различных учебных дисциплин показали, что в среднем сущность одного понятия раскрывается и объясняется через 4,6 линков, а разница в количестве линков в одном понятии, подсчитанных различными экспертами, обычно не превышает 5%.2 Следовательно, для примерных расчетов в области практической дидактики
можно принять, что сложность одного понятия (или его объем) в среднем равна 4,6 линкам. Такое усредненное по сложности понятие для целей практической дидактики является единицей приведения, а объем знаний удобно измерять в приведенных понятиях.
Таблица 1
Отклонения количества линков от эталона как результат
различий оценок экспертов
Молчанова Г.В., Педанова Е.Л., Попов Ю.А., Чмыхова Е.В. Выявление индивидуальных различий экспертов при измерении знаний // Труды СГУ. Вып.4. М.: СГУ, 1997.
2
Богданов И.В. Учебная информация и единицы ее измерения // Труды СГУ. М.: СГУ, 2002.
1
5
Предмет
Количество
понятий в соответствии с
эталоном
Количество
линков в соответствии с
эталоном
Средние отклонения,
группа 1
Средние отклонения,
группа 2
Средние относительные отклонения гр.1,
%
Средние относительные отклонения гр.2,
%
Русский язык
Физика
Биология
Геометрия
28
50
95
60
94
153
257
236
1,52
1,78
3,76
2,85
5,63
1,78
10,19
4
5,42
3,55
3,95
4,75
5,86
1,16
3,96
1,69
Обучение предполагает овладение не только знаниями, но и умениями. Умение –
это действие, для выполнения которого необходим сознательный самоконтроль. Овладение умением подразумевает формирование способности выполнять некоторое действие по
определенным правилам.1 Умения являются результатом накопленного опыта в профессиональной деятельности, и, следовательно, их можно отобразить в виде алгоритма, т.е. совокупности действий, выполняемых в определенной последовательности для решения задач данного типа. В качестве примера обучения умениям на основе алгоритмического
подхода можно предложить так называемые диагностические алгоритмы, при помощи которых студенты-медики обучаются постановке диагноза и правильному врачебному мышлению.2
Дискретным значением умения можно считать каждый отдельный этап алгоритма,
который мы назовем «степ» – шаг. Количество степов, которые необходимо выполнить,
чтобы продемонстрировать овладение умением, характеризует сложность или «емкость»
умения.
В Современной гуманитарной академии было проведено исследование, позволившее дать сравнительную оценку умений из различных направлений обучения. Результаты
этого исследования отражены в табл. 2.
Таблица 2
Значение относительных коэффициентов сложности
умений в различных областях знаний
№ п/п
1
2
3
4
5
6
Область знаний
Экономика
Математика
Юриспруденция
Информатика
Психология
Педагогика
Коэффициент
сложности умений
1,0
0,77
0,71
0,68
0,52
0,4
В ходе экспертной оценки около 800 различных умений, было установлено, что в
среднем одно умение состоит из 4 степов, т.е. сложность одного умения для практической
дидактики в среднем равна 4 степам. Однако следует отметить, что для решения профессиональных задач подчас необходимо овладевать умениями, содержащими до 15–20 степов.
1
2
Глоссарий.ру
Оптимизация обучения в медицинском институте. Новосибирск: НГМИ, 1976.
6
Таким образом, в предлагаемом подходе первичными объективными единицами
измерения знаний и умений являются «линк» и «степ», позволяющие количественно оценить сложность (объем) знаний и умений.
Методологически важным для построения единой квантификационной модели измерения объемов знаний и умений является вопрос соотнесения между собой единиц измерения теоретических знаний и практических умений, т.е. линков и степов:
1) линки и степы могут выступать в качестве единиц измерения как обученности
(объема знаний и умений, которыми овладел обучающийся), так и учебного объема, т.е.
содержания обучения;
2) линки и степы имеют одинаковую природу становления в индивидуальном сознании, так как в основе их формирования лежат сходные механизмы на уровне нейрофизиологии и на уровне когнитивных процессов1.
Природа линков и степов одинакова, однако степы усваиваются труднее. Коэффициент сложности степа по сравнению с линком можно установить экспериментальным путем, сопоставляя время заучивания измеренных знаний и умений. В ходе эксперимента
было выявлено:
 время усвоения одного умения в среднем равно времени формирования в сознании обучаемых трех понятий;
 на усвоение одного степа затрачивается в среднем в 3,45 раза времени больше,
чем на усвоение одного линка.
Полученные экспериментальные данные позволяют соотнести рассматриваемые
единицы измерения теоретических и практических знаний (понятия, умения, линки и степы) между собой через определенные коэффициенты, которые в дальнейшем будут называться коэффициентами приведения, по основанию – время усвоения их обучаемыми. Коэффициент приведения единиц учебного объема – экспериментально установленная величина соотношения времени усвоения одной единицы учебного объема (i) к другой (j).
Усредненные экспериментальные значения коэффициентов приведения для понятия, умения, линка и степа, которые могут быть использованы в расчетах практической дидактики,
представлены в табл. 3.
Таблица 3
Коэффициенты приведения единиц учебного объема
(понятия, умения, линки и степы)
Единицы учебной информации (i)
Линк
Степ
Понятие
Умение
Коэффициенты приведения к различным единицам учебной информации (j)
к линкам
к степам
к понятиям
к умениям
1
3,45
4,6
13,8
0,29
1
1,33
4
0,22
0,75
1
3
0,07
0,25
0,33
1
Так, для того чтобы выразить объем учебной информации, измеренный в одних
единицах, через объем учебной информации в других (требуемых) единицах, необходимо
первоначальный объем умножить на коэффициент приведения к объему в других (требуемых) единицах
V j  Vi K ij ,
1
М.П.Карпенко монография Телеобучение, § 4.1, М., изд.СГУ, 2008г., 800 с.
(1)
7
где Vi – объем учебной информации в исходных единицах; Vj – объем учебной информации в требуемых единицах; Kij –коэффициент приведения учебной информации от исходных единиц к требуемым.
Как показала практика, самой удобной учебной единицей для измерения объема
знаний и умений является «приведенное» понятие» (пп) – оно едино для обоих видов
учебной работы, отражает мыслеобраз и крупнее, чем линк и степ. В дальнейших расчетах
и рассуждениях используется «пп».
Предложенный подход безусловно добавит работы авторам учебников и других
учебно-методических материалов в связи с необходимостью квантифицирования и измерения учебного объема, но это компенсируется возможностью решения целого ряда задач,
связанных с оптимизацией учебного процесса, с оценкой качества обучения, качества подготовки выпускника, а именно:
 определение оптимального объема знаний в зависимости от продолжительности
обучения;
 отбор учебной информации и «дозирование» знаний;
 разработка научно обоснованных учебных планов, распределение учебного содержания по циклам и блокам дисциплин;
 предоставление учебной информации с учетом психологических возможностей
обучающегося;
 установление различий в уровнях усвоения знаний и овладения умениями;
 определение экономической эффективности и продуктивности различных дидактических средств и обучающих технологий.
По материалам монографии “Телеобучение” (гл.4)