Проблемы создания тестов по экономической информатике для

Шадур Александр Львович, alshadur@mail.ru, ashadur@fa.ru
Финансовый университет при правительстве РФ, Москва
Проблемы создания тестов по экономической информатике для
бакалавров по профилю «Бухгалтерский учёт, анализ и аудит»
Статья подготовлена для круглого стола на тему
«Развитие тестовых технологий как фактор повышения качества образования» (Часть 1),
октябрь 2011 года.
Организатор — Центр тестирования Финансового университета.
1. Используемые термины.
Компетенции — знания, умения, навыки в профессиональной области.
Тест — компьютерная модель оценки компетенций.
2. Основная идея статьи: тест (по определению) не обеспечивает решения
главной задачи обучения — развития творческих способностей. Он определяет соответствие компетенций учащихся и уровня знаний автора тестов. Поэтому тесты эффективны только в двух режимах:
o режим самоподготовки и самоконтроля самим учащимся,
o режим контроля учителем как начальный этап оценки учащихся.
3. Проблемы создания (и использования) тестов разделим на две группы —
внутренние и внешние. Внутренние связаны непосредственно с созданием
тестов, внешние — с проблемами системы контроля процесса обучения и
проблемами других надсистем. Рассмотрим внутренние проблемы, начав
с цитаты [1]: Всё, что нужно было сказать, уже сказано. Но, поскольку
никто не слушал, всё необходимо сказать снова. Андре Жид. Этот текст
помещён в указанном источнике в раздел Камертон, статус которого ясен
из названия. Автор представлен как нобелевский лауреат. Однако, у него
есть более веские основания, чтобы к нему прислушаться. В тридцатые
годы он вместе с Фейхтвангером посетил СССР и высказался о культе
вождя как пути в тупик. Фейхтвангер встречался со Сталиным, пытаясь
выразить своё отношение к нашим перспективам более деликатно. Тем не
менее, его путевые заметки тоже были запрещены.
1
Так что же хотели сказать эти мудрецы? Мне кажется следующее [2]:
Он дал нам возможность служить Новому завету, не букве, а духу, ибо
буква убивает, а дух животворит. Это призыв не путать реальные задачи
и их модели, например задачи оценки и тестирования способностей.
4. И оценка, и тестирование способностей могут привести к грубым ошибкам. Яркий пример — Эйнштейн. Из школы его выжили (портил общую
картину), в университете не заметили (рядовой студент).
Возможными причинами подобных ошибок являются следующее.
o Необычное поведение.
Эйнштейн был странным человеком. Например, по словам Планка, он
не знал даже скорости звука в воздухе (провал на ЕГЭ). Поражённому
Планку он ответил: Есть же справочник. При общении Эйнштейн производил впечатление тугодума (медленно воспринимал информацию).
o Отсутствие ярко выраженных амбиций.
Эйнштейна интересовали скорее научные задачи, чем продвижение по
службе. Он не стремился понравиться учителю, начальнику и т.п.
Это довольно обычное явление. Например, Винер после защиты докторской диссертации 10 лет работал ассистентом на кафедре. И, вообще, многие вершины в науке, искусстве достигнуты на чистом энтузиазме. Так, Тим Бернерс-Ли не стал патентовать создание HTML. У тех
же, кто хотел заработать на своих идеях, часто, это не получается (За
мудрость не дают в дни наши ни гроша [3]).
o Ограниченность круга интересов.
Эйнштейн отвергал идеи, выходящие за пределы его интересов. Например, он не признавал вероятностные модели квантовой механики (Бог
не играет в кости [4]).
Но это тоже обычное явление: Многие вещи нам непонятны не потому,
что наши понятия слабы, но потому, что сии вещи не входят в круг
наших понятий [5]. В частности, у Пушкина были проблемы с геомет2
рией (тройка в аттестате). Ленин не мог одолеть логику (четвёрка в аттестате, видимо, поэтому эту науку перестали изучать школе).
Итак, нельзя оценивать способности формально — по скорости приёма и
объёму накопленных данных, уровню амбиций, успехам в областях, не
интересных для учащегося и т.п. Главная задача оценки учащегося —
определение и развитие творческих способностей.
5. Сходная проблема возникает и при оценке специалистов. Обратимся к истории создания ПК. Стив Джобс искал поддержки у профессионалов в создании ПК. Но вызвал у них насмешку (идея казалась фантастичной).
Джобс всё-таки создал ПК, но ему пришлось уйти из Apple, поскольку
пайщиков не устраивал размер дивидендов. Его уход привёл к ещё бо́льшему падению дивидендов. Пришлось Джобса вернуть.
Опять мы сталкиваемся с неправильной оценкой творческих способностей. Хотя очевидно, что нет прибыли без инвестиций. А инвестиции
снижают текущую рентабельность. Поэтому оценивать менеджера нужно
по конечной рентабельности за достаточно длительный период.
6. Возможно, ошибки возникают при оценке незаурядных личностей. Поэтому их надо оценивать с помощью специальных тестов интеллекта [6].
Однако, как показал Васильев В.В. [7], большинство из них ошибочно.
Причём для проверки тестов достаточно умения сравнивать содержание
понятий с помощью диаграмм Венна (изучаются в школе).
Таким образом, можно сделать вывод, что тесты определяют не компетенции учащихся, а их соответствие уровню знаний автора тестов. Удивительно, но факт — за более чем полвека никому не пришло в голову
протестировать тесты отца тестологии. Чтобы снизить количество подобных ошибок, требуется, на мой взгляд, следующее.
o Создавать тесты на основе учебников, заслуживших международное
признание. Например, тесты по базам данных надо создавать на основе
текста [8], используемого при изучении этой технологии во многих
университетах мира.
3
o Чаще публиковать и критиковать тесты, созданные друг другом.
o Создавать простые, чётко сформулированные тестовые задания.
7. Перед тем как уточнить понятие простого тестового задания, обратимся к
истории создания тестов. Известно, что первые тесты были разработаны
во Франции. Они служили для оценки уровня интеллекта детей с задержкой в развитии с целью ускорить их социальной адаптацию — научить
простым (общепринятым) правилам общественного поведения.
Затем американцы использовали подобный тест при создании своей армии во время войны за независимость. Армия формировалась в основном
из малограмотных фермеров. Для выделения из них кандидатов на должность младшего воинского чина, нужен был тест, соответствующий уровню этого контингента и предметной области.
Подобные простые тесты широко используют при оценке студентов. Например, в сборнике [6 , с. 12] есть тестовые задания такого типа.
Сфера экономических отношений, связанных с выпуском и обращением
ценных бумаг, — это:
а) рынок недвижимости, б) рынок ценных бумаг,
в) рынок драгоценных камней и драгоценных металлов.
Правильный ответ: б).
Это, пожалуй, слишком простой, примитивный тест, поскольку он проверяет в основном умение читать (ответ является частью вопроса).
8. Простые тесты не обязательно должны быть примитивными. Признак
простого теста — ясность, чёткость формулировок, невозможность разных толкований тестового задания. Например, следующее тестовое задание [6, с. 21], по нашему мнению, допускает разные толкования.
29 января руководителю предприятия пришла телеграмма от делового
партнёра, содержащая следующую информацию: «Встречайте представителя 30 января вагон 16».
Информации присущи следующие свойства:
А. Ясность.
Б. Полнота.
В. Актуальность.
Г. Ценность.
4
Выберите вариант ответа с перечислением свойств, которыми обладает указанная информация.
1) Б В Г
2) А В Г
3) А Б В
4) А Б Г
Верный ответ: 2) А В Г (информация не обладает полнотой — Б).
Автор не поясняет правильный ответ, отсылая учащегося к своему учебнику (полагая, видимо, что и так всё ясно). Однако, среди студентов бывают умники, утверждающие, что свойства информации взаимосвязаны.
Например, неполнота информации снижает её ценность, превращая даже
в дезинформацию. Ведь, как известно, самая лучшая пропаганда и ложь
— это правда, но специально препарированная (Геббельс). Список подобных затруднений с этим тестовым заданием можно продолжить.
9. Следующий тест можно считать, видимо, простым для финансиста.
Написать формулу для оценки приведённого значения аннуитета.
Параметры и знаки действий заданы следующими обозначениями:
PV и FV — приведённая и будущая стоимости,
CF — размер периодического платежа,
R — годовая процентная ставка,
N — срок операции в годах,
P — период платежей в году (квартал, месяц и т.п.),
Знаки действий:
плюс +, минус - (дефис), делить /, умножить *, возведение в степень ^.
Пробелы между знаками не ставить.
10. Чтобы облегчить учащемуся смысл тестового задания, надо подробно
обосновывать правильный ответ. Давать исчерпывающий комментарий к
тестовой ситуации в целом. А это позволит использовать тесты в режиме
самоподготовки и самоконтроля. Эта задача, на мой взгляд, не менее важна, чем задача контроля преподавателем.
Итак, очевидно, что оценка компетенций сложная задача. Кроме того, не
секрет, что студенты, используют шпаргалки при подготовке ответов. Поэтому тестов должно быть достаточно много — тысячи [11]. Тем не ме5
нее, ясно, что тестирование — это только начальный этап оценки компетенций. Качественно оценить фактический уровень компетенций можно
только непосредственно в контакте с учащимся.
11. На сайте факультета открытого образования [12] опубликованы подготовленные автором тесты по экономической информатике. Они предназначены для дистанционного обучения, поэтому включают комментарии,
используемые в режиме самоподготовки. Автор будет признателен всем,
кто выскажет критические замечания. Вознаграждение гарантируется.
Литература
1. Московские новости, №132, 4 окт. 2011, с.6, Камертон.
2. Новый завет, Второе послание коринфянам, № 6.
3. Омар Хайям. Рубаи. М.: ГИХЛ, 1961, № 96, № 100.
4. Антон Трушечкин, к.ф.-м.н., журнал Наследник, №34, Играет ли Бог в кости? — http://www.naslednick.ru/archive/rubric/rubric_388.html.
5. Интернет-издание сочинений Козьмы Пруткова. Плоды раздумья. Мысли
и афоризмы, № 66 — http://www.kozma.ru/works/aphorisms.
6. Г. Айзенк. Супертесты IQ. М.: ЭКСМО, 2006.
7. С. Кузина. Академик РАН Виктор Васильев утверждает. Газета Комсомольская правда, 09.12.2010.
8. К. Дж. Дейт. Введение в базы данных. 8-е изд. — М.: «Вильямс», 2006.
9. Вал.А. Боровкова, Вик.А. Боровкова. Рынок ценных бумаг: тесты и задачи. — СПб.: ПИТЕР, 2007.
10. Информатика и ИКТ. Подготовка к ЕГЭ. / Под ред. проф. Макаровой Н.В.
— СпБ.: ПИТЕР, 2008.
11. В.Н. Салин. Использование тестовых технологий. /Анализ и перспективы
развития тестовых технологий. Материалы круглого стола. М.: ФУ, 2010.
12. Факультет открытого образования — http://www.dofa.ru/.
6