Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования

Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«Национальный исследовательский университет
«Высшая школа экономики»
Факультет БИЗНЕС-ИНФОРМАТИКИ
Отделение ПРИКЛАДНОЙ МАТЕМАТИКИ И ИНФОРМАТИКИ
Программа дисциплины
Современные методы анализа данных
для направления 010400.68 «Прикладная математика и информатика»
подготовки магистра
Авторы программы:
Дорофеюк А.А., д. т. н., профессор (adorofeuk@hse.ru),
Дорофеюк Ю.А., к. т. н., старший преподаватель (ydorofeuk@mail.ru)
Одобрена на заседании базовой кафедры Яндекс «___»____________ 20 г
Зав. кафедрой И.В. Аржанцев
Рекомендована профессиональной коллегией УМС «Прикладная математика»
«___»____________ 20 г
Председатель А.А. Макаров
Утверждена УС факультета бизнес-информатики «___»_____________20 г.
Ученый секретарь ________________________
Москва, 2013
1. Аннотация
Основа методологии структурно-классификационного анализа данных была заложена в
1960-70 гг. в Институте проблем управления им. В.А.Трапезникова РАН группой сотрудников,
руководимой проф. М.А.Айзерманом. Сейчас это стремительно развивающееся направление,
идеологически близкое к распознаванию образов, называют «интеллектуальный анализ данных»,
«структурно-классификационный анализ», «разведочный анализ», на Западе оно известно, в основном, под называнием «DATA MINING».
Основная идея этого направления состоит в следующем. Пусть имеется некоторый массив
данных, описывающий состояние исследуемой группы из n объектов. Обычно под этим подразумевается, что имеется k параметров (числовых, качественных или номинальных), значения которых и определяют этот массив как матрицу данных. В динамических случаях значения параметров изменяются со временем, поэтому массив становится трёхмерным (куб данных). Необходимо
выявить структуру этого массива для построения сжатого, содержательно хорошо интерпретируемого описания исследуемых объектов с целью: идентификации основных характеристик их
функционирования, выявления и прогнозирования интегральных показателей поведения объектов во времени, поиска закономерностей их взаимодействия и т.д. При этом выявление структуры производится по всем трём «направлениям» куба данных – структура объектов в различных
подпространствах параметров, структура взаимосвязи параметров по данным имеющегося массива, структура динамических характеристик объектов (например, структура траекторий параметров или интегральных показателей исследуемых объектов).
В рамках курса рассматривается раздел «Методы экспертизы и обработки экспертной
информации», который дополняет тематику основного лекционного материала.
Экспертные оценки в настоящее время являются наиболее распространенным способом
получения и анализа информации, используемой при принятии управленческих решений. К ним
привлечено внимание широкого круга специалистов – как практиков, так и теоретиков. Значительное количество задач, в той или иной степени использующих экспертную информацию, возникает при решении проблем управления, бизнес планировании, прогнозировании и т. д. Успешное применение метода экспертных оценок во многом зависит от совершенства математических
методов, с помощью которых осуществляется анализ и обработка экспертной информации.
Одна из основных особенностей нашего времени – попытка изучить процесс принятия
решений и разработать технологии, способствующие повышению эффективности принимаемых
решений. Процесс принятия решений при кажущейся простоте – очень непрост. В нем достаточно много тонкостей и подводных рифов. Основное назначение экспертных технологий – повышение профессионализма, а, следовательно, эффективности принимаемых управленческих решений. В рамках курса будут обсуждаться проблемы принятия решений с точки зрения использования экспертных технологий.
2. Область применения и нормативные ссылки
Настоящая программа устанавливает минимальные требования к знаниям и умениям студента и определяет содержание и виды учебных занятий и отчётности.
Программа предназначена для преподавателей, ведущих данную дисциплину, и студентов
первого года обучения по направлению 010400.68 «Прикладная математика и информатика»,
обучающихся по магистерской программе «Математическое моделирование».
Программа разработана в соответствии с:

Образовательным стандартом ВПО ГОБУ НИУ ВШЭ;
2


Образовательной программой «Математическое моделирование» подготовки магистра
направления 010400.68 «Прикладная математика и информатика»;
Рабочим учебным планом подготовки магистра по направлению 010400.68, утвержденным в 2013 г.
3. Цели освоения дисциплины
Основная задача курса по данной дисциплине – изучение основных принципов и возможностей применения при решении прикладных задач: методов структуризации исследуемого множества объектов, методов группировки параметров, структурной аппроксимации сложных зависимостей, ступенчатых методов распознаваний образов, методов экспертной коррекции результатов формальных процедур структуризации в слабоформализованных системах, методов получения экспертных знаний, методов обработки экспертных оценок.
4. Компетенции, формируемые в результате освоения дисциплины
В результате изучения дисциплины студенты должны:
 Знать основные принципы и методы структурного-классификационного и экспертного анализа
сложноорганизованных данных, характеризующих функционирование слабоформализованных
систем;
 Знать возможности и ограничения различных методов структурного-классификационного и
экспертного анализа данных для различных типов прикладных задач;
 Уметь формулировать как содержательную, так и формальную задачи, соответствующие реальным особенностям и ограничениям, связанных с функционированием исследуемых систем;
 Уметь применять полученные знания для анализа и решения конкретных прикладных задач в
рамках рассматриваемого научного направления.
В результате изучения дисциплины студент осваивает и развивает следующие компетенции:
Компетенция
Код по
ФГОС/
НИУ
Оценивать и перерабаты- СК-М1
вать освоенные научные методы и способы деятельности
Способность к самостоя- СК-М3
тельному освоению новых
методов исследований, изменению научного и производственного профиля своей деятельности
Способность анализировать, СК-М6
верифицировать, оценивать
полноту информации в ходе
профессиональной деятельности, при необходимости
восполнять и синтезировать
недостающую информацию
Дескрипторы – основные
Формы и методы обучепризнаки освоения (покания, способствующие
затели достижения реформированию и развизультата)
тию компетенции
Демонстрирует
Лекции, практические занятия, выполнение текущих и домашних заданий
Демонстрирует
Практические занятия, выполнение текущих и домашних заданий
Демонстрирует
Лекции, практические занятия, выполнение текущих и домашних заданий
3
Дескрипторы – основные
Формы и методы обучепризнаки освоения (покания, способствующие
Компетенция
затели достижения реформированию и развизультата)
тию компетенции
Способность анализировать ИК-М2.1
Способен
Лекции, выполнение текуи воспроизводить смысл
щих и домашних заданий
пми
междисциплинарных текстов с использованием языка и аппарата прикладной
математики
Способность строить и ре- ИК-М7.2
Демонстрирует
Выполнение текущих и дошать математические модемашних заданий, курсовой
пми
ли в соответствии с направработы
лением подготовки и специализацией
Способность применять в ИК-М7.5
Способен
Выполнение текущих и доисследовательской и примашних заданий, курсовой
пми
кладной деятельности соработы
временные языки программирования и языки манипулирования данными, операционные системы, пакеты
программ и т.д.
Способность
публично ИК-М2.5
Способен
Выполнение курсовой рапредставлять
результаты
боты
пми
профессиональной деятельности (в том числе с использованием информационных технологий)
Код по
ФГОС/
НИУ
5. Место дисциплины в структуре образовательной программы
Настоящая учебная дисциплина является обязательной дисциплиной в учебной программе
«Математическое моделирование» подготовки магистра направления 010400.68 «Прикладная
математика и информатика».
Для освоения дисциплины предполагаются базовые знания по таким разделам математики
и информатики, как «Дискретная математика», «Теория вероятностей и математическая статистика», «Информатика и программирование», «Алгоритмы и структуры данных» - соответствующие дисциплины входят в программу обучения бакалавра по направлению 010400.62 «Прикладная математика и информатика».
Основные положения дисциплины «Современные методы анализа данных» должны быть
использованы в дальнейшем при изучении следующих дисциплин магистерской программы:
 Методы машинного обучения и разработки данных,



Предсказательное моделирование,
Основы теории макросистем и ее приложения,
Научный семинар "Интеллектуальные системы",
4

Научный семинар " Технологии моделирования сложных систем".
6. Тематический план дисциплины
Всего часов Аудиторные часы Самостопо дисциСеми- ятельная
Лекции
плине
работа
нары
№
Название темы
1
Введение: современные методы анализа
данных.
12
2
2
8
2 Структуризация многомерных объектов
24
4
4
16
3 Структуризация параметров
20
4
2
14
4
Структуризация динамических объектов (многомерных временных рядов)
22
4
2
16
5
Структурные методы в задачах идентификации
22
4
4
14
6 Методы структурного прогнозирования
20
2
2
16
34
4
6
24
32
4
6
22
30
4
4
22
216
32
32
152
7
Методы экспертизы и извлечения экспертных знаний
8 Методы анализа экспертных оценок
Методы экспертизы и анализа эксперт9 ных оценок в задачах поддержки при-
нятия решений
Итого
7. Формы контроля знаний студентов
Курс «Современные методы анализа данных» читается в 1 и 2 модуле.
Тип контроля
Текущий контроль
Текущий контроль
Форма контроля
Контрольная работа
Домашнее задание
Промежуточный
контроль
Итоговый контроль
Зачет
Экзамен
Параметры
Письменная работа 80 минут
Выдается для выполнения в течение
2 недель
Устный экзамен по билетам
Критерии оценки знаний
На текущем и итоговом контроле студент должен продемонстрировать владение основными понятиями из пройденных тем дисциплины.
Текущий контроль включает письменную контрольную, состоящую из нескольких вопросов и задач по пройденному материалу, а также домашнее задание на применение алгоритмов
структуризации (в некоторых заданиях требуется программная реализация моделей и проведение
компьютерного моделирования).
Итоговый контроль проводится в форме устного экзамена по билетам.
5
Порядок формирования оценок по дисциплине
Оценка за текущий контроль учитывает оценку Ок/р за письменную контрольную работу
и оценку Од/з самостоятельной работы студентов при выполнении домашних заданий по текущим темам дисциплины; она рассчитывается по десятибалльной шкале следующим образом:
Отекущий = 0,4·Ок/р + 0,6·Од/з
и округляется до целого числа арифметическим способом.
Итоговая оценка по дисциплине выставляется по десятибалльной шкале (с округлением
до целого арифметическим способом), согласно следующей формуле:
Оитоговая = 0,5 Оэкзамен + 0,5·Отекущий
где Оэкзамен – оценка за работу непосредственно на экзамене.
8. Содержание программы по темам
Тема 1. Введение: современные методы анализа данных.
Введение в курс. История развития структурно-классификационного анализа данных. Основная
идея методов структурно-классификационного анализа сложноорганизованных данных.
Основная литература:
1. А.А.Дорофеюк, И.Б.Мучник Работа М.А.Айзермана в области распознавания образов и анализа данных. / «МАРК АРОНОВИЧ АЙЗЕРМАН 1913 – 1992». -М.:, Физматлит, 2002. -с. 115 – 159.
2. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
Дополнительная литература:
1. Дорофеюк А.А. Алгоритмы автоматической классификации. // Автоматика и телемеханика. –
1971. – № 12.
2. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных.  М.:
Наука, 1983.
3. И.Д.Мандель Кластерный анализ. – М.: Финансы и статистика, 1988. – 176 с.
4. Миркин Б.Г. Методы кластер-анализа для поддержки принятия решений: обзор. / НИУ «ВШЭ».
– М. : Изд. дом НИУ «Высшая школа экономики», 2011. – 88 с.
Тема 2. Структуризация многомерных объектов
Содержательная постановка задачи автоматической классификации (кластер-анализа). Формальная постановка задачи классификации. Вариационный подход. Размытая постановка задачи.
Классификация с фоновым классом. Конечная и бесконечная выборочные последовательности.
Основная литература:
1. А.А.Дорофеюк, И.Б.Мучник Работа М.А.Айзермана в области распознавания образов и анализа данных. / «МАРК АРОНОВИЧ АЙЗЕРМАН 1913 – 1992». -М.:, Физматлит, 2002. -с. 115 – 159.
2. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
3. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных.  М.:
Наука, 1983.
6
4. Дорофеюк А.А. Алгоритмы автоматической классификации. // Автоматика и телемеханика. –
1971. – № 12.
5. Миркин Б.Г. Методы кластер-анализа для поддержки принятия решений: обзор. / НИУ «ВШЭ».
– М. : Изд. дом НИУ «Высшая школа экономики», 2011. – 88 с.
Дополнительная литература
1. И.Д.Мандель Кластерный анализ. – М.: Финансы и статистика, 1988. – 176 с.
2. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. «Наука», 1970.
3. Айвазян С.А., Бухштабер В.М., Енюков И.С. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. – 344 с.
4. Дорофеюк А.А. Алгоритмы обучения машины распознаванию образов без учителя, основанные
на методе потенциальных функций. Автоматика и телемеханика, № 10, 1966.
5. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН,
1999. — 270 с.
6. Шлезингер М.И. О самопроизвольном различении образов. В сб. «Читающие автоматы». «Наукова думка», Киев, 1965.
7. Vapnik V. N. Statistical Learning Theory, John Wiley & Sons, New York, 1998.
8. Браверман Э.М. Метод потенциальных функций в задаче обучения машины распознаванию
образов без учителя. Автоматика и телемеханика, № 10, 1966.
9. Цыпкин Я.3., Кельманс Г.К. Рекуррентные алгоритмы самообучения. Техническая кибернетика, № 5, 1967.
10. Бауман Е.В., Дорофеюк А.А. Вариационный подход к задаче автоматической классификации
для одного класса аддитивных функционалов. Автоматика и телемеханика. 1978. № 8.
11. Бауман Е.В., Дорофеюк А.А. Рекуррентные алгоритмы автоматической классификации. Автоматика и телемеханика. № 3, 1982.
12. Бауман Е.В. Методы размытой классификации (вариационный подход). Автоматика и телемеханика.1988. № 12.
13. L.A.Zadeh Fuzzy sets / Information and Control. №8, 1965. – p. 338-353.
14. Бауман Е.В., Дорофеюк А.А. Классификационный анализ данных. / Избранные труды Международной конференции по проблемам управления. Том 1. / М.: СИНТЕГ, 1999. – С. 62–77.
15. Ю.А.Дорофеюк Структурно-классификационые методы анализа и прогнозирования в крупномасштабных системах управления. / Проблемы управления. 2008. № 4. – С. 78-83.
16. Бауман Е.В., Дорофеюк А.А., Дорофеюк Ю.А. Методы динамического структурного анализа
многомерных объектов. / 4-ая международная конференция по проблемам управления (МКПУIV): Сборник трудов. / − М.: ИПУ РАН, 2009. – С. 338-343.
17. Bezdek J.C. Pattern recognition with fuzzy objective function algorithms. Plenum press publishers,
N.Y.-London., 1981 –260 p.
Тема 3. Структуризация параметров
Содержательная и формальная постановки задачи структуризации параметров. Обзор алгоритмов экстремальной группировки параметров, специфика их программной реализации. Задача
структуризации номинальных признаков. Задача структуризации параметров долевого типа. Выбор информативных параметров.
Основная литература
1. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
2. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных.  М.:
Наука, 1983.
Дополнительная литература
1. Браверман, Э.М. Методы экстремальной группировки параметров и задача выявления существенных факторов. Автоматика и телемеханика, № 1, 1970.
7
2. Браверман Э.М., Киселева Н.Е., Мучник И.Б., Новиков С.Г. Лингвистический подход к задаче
обработки больших массивов информации. Автоматика и телемеханика, № 11, 1974.
Тема 4. Структуризация динамических объектов (многомерных временных рядов)
Методы и алгоритмы структурного анализа временных рядов, базирующиеся на методологии
классификационного анализа данных. Случай одномерных временных рядов, наиболее часто
встречающийся при решении практических задач. Алгоритмы глобальной оптимизации соответствующих критериев качества структуризации.
Основная литература
1. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
2. Дорофеюк А.А., Дорофеюк Ю.А. Экспертно-классификационные методы анализа сложно организованных данных в задачах управления слабо формализованными системами. Пленарный доклад. / Управление развитием крупномасштабных систем (MLSD’2011): Программа и пленарные
доклады 5-й международной конференции. / -М.: ИПУ РАН, 2011. –с. 72-81.
Дополнительная литература
1. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных.  М.:
Наука, 1983.
2. Чернявский А.Л., Алескерова И.И., Киселёва Н.Е. Алгоритмы автоматической классификации
многомерных динамических данных. / Управление развитием крупномасштабных систем
(MLSD’2010): Материалы Четвёртой международной конференции. Том II. / -М.: ИПУ РАН,
2010. –с. 314-317.
3. Дорофеюк Ю.А., Кулькова Г.В. Глобально-оптимальные алгоритмы кластерного анализа временных рядов. / Управление развитием крупномасштабных систем (MLSD’2010): Материалы
Четвёртой международной конференции. Том II. / -М.: ИПУ РАН, 2010. –с. 254-257.
Тема 5. Структурные методы в задачах идентификации
Формальная постановка задачи кусочной аппроксимации сложных зависимостей, типы используемых критериев качества аппроксимации, одноэтапные и двухэтапные алгоритмы кусочной
аппроксимации. Рекуррентные алгоритмы кусочной аппроксимации. Адаптивные схемы идентификации. Иерархическая кусочная аппроксимация.
Основная литература
1. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
2. Dorofeyuk A., Kasavin A. Hierarchical piecewise approximation method in identification of complex
plants. / Identification and System Parameter Estimation. Part 3., North Holand PC, Amsterdam, 1978.
3. Райбман Н.С., Дорофеюк А.А., Касавин А.Д. Идентификация технологических объектов методами кусочной аппроксимации. / Препринт. -М.: Институт проблем управления, 1977. – 89 с.
Дополнительная литература
1. Дорофеюк А.А., Касавин А.Д., Торговицкий И.Ш. Применение методов автоматической классификации для построения статической модели объекта. Автоматика и телемеханика, № 2, 1970.
2. Дорофеюк А.А., Торговицкий И.Ш. Применение методов автоматической классификации данных в задаче контроля качества изделий. Стандарты и качество, № 4, 1967.
3. Бауман Е.В.,Дорофеюк А.А. Классификационный анализ данных. В сб.: “Избранные труды
Международной конференции по проблемам управления. Том 1”. М.: СИНТЕГ, 1999.
4. Бауман Е.В. Сведение задачи кусочно-линейной аппроксимации к задаче автоматической
классификации. В сб.: “Моделирование и оптимизация сложных систем управления”. М.: Наука,
1981.
8
5. Алиев С.А., Дорофеюк А.А., Мовсумов В.Г. Методы комбинированной кусочной аппроксимации и их приложения. В кн.: “Анализ данных и экспертные оценки в организационных системах”. М.: Институт проблем управления, 1985.
6. Dorofeyuk A.,Zhitkih I. Piesewise approximation method in predicting the reliability of electron devises. In: Preprints of papers 3-d simposium on reliability in electronics. Hungary, Budapest, Relectronics, 1973.
7. Дорофеюк А.А., Ибрагимли Ш.Д., Мамедов А.А., Мовсумов В.Г. Алгоритмы построения кусочной модели для адаптивного управления технологическими процессами. Приборы и системы
управления, № 8, 1979.
Тема 6. Методы структурного прогнозирования
Содержательная и формальная постановки задачи структурного прогнозирования. Алгоритмы
структурного прогнозирования, специфика их реализации и прикладного использования. Адаптивные методы структурного прогнозирования.
Основная литература
1. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
2. Ю.А.Дорофеюк Структурно-классификационые методы анализа и прогнозирования в крупномасштабных системах управления. / Проблемы управления. 2008. № 4. – С. 78-83.
Дополнительная литература
1. Дорофеюк А.А., Дорофеюк Ю.А. Методы и алгоритмы прогнозирования в задачах управления
крупномасштабными системами. Пленарный доклад. / Управление развитием крупномасштабных систем (MLSD’2013): Материалы Седьмой международной конференции. Том I. -М.: ИПУ
РАН, 2013. –с. 40-53.
2. Дорофеюк А.А., Дорофеюк Ю.А., Покровская И.В., Чернявский А.Л. Интеллектуальные модели
и методы экспертизы, экспертного анализа и прогнозирования в слабо формализованных системах управления. Пленарный доклад. / Интеллектуализация обработки информации: 9-я международная конференция. Черногория, г.Будва, 2012 г.: Сборник докладов. - М.: Торус Пресс, 2012. –
с. 102-107.
3. Дорофеюк Ю.А. Метод структурного прогнозирования на базе адаптивного алгоритма кластер-анализа. / Математические методы распознавания образов. 15-ая международная конференция: Сборник докладов. – М.: МАКС ПРЕСС, 2011, с. 184-188.
Тема 7. Методы экспертизы и извлечения экспертных знаний
Основные проблемы экспертного оценивания: формирование экспертных комиссий, организация и проведение экспертиз, корректное получение экспертной информации, определение
результата работы экспертных комиссий. Типичные ошибки, встречающиеся в реальной практике проведения экспертиз. Методы получения и обработки экспертной информации. Обзор наиболее известных методов организации и проведения экспертиз. Обзор наиболее распространенных
методов оценки качества эксперта.
Основная литература
1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. – М.: Наука, 1990.
2. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития) // Проблемы
управления. 2009. № 3.1. С. 19 – 28.
3. Дорофеюк А.А. Методы мультигрупповой многовариантной экспертизы в задачах анализа и
совершенствования организационных систем // Труды Института проблем управления РАН.
2000. № 10. С. 12 – 18.
4. Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.
5. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. / А.И.Орлов. –
М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. Ч. 2 : Экспертные оценки. – 2011. – 486 с.
9
6. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. – М.: Наука, 1984.
7. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. – М.: Изд-во
МАИ-ПРИНТ, 2007.
Дополнительная литература
1. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. — СПб.: СПбГТУ,
1997. — 510 с.
2. Губанов Д.А., Коргин Н.А., Новиков Д.А., Райков А.Н. Сетевая экспертиза. 2-е изд. / Под ред.
чл.-к. РАН Д.А. Новикова, проф. А.Н. Райкова. – М.: Эгвес, 2011. – 166 с.
3. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. – 256 с.
Тема 8. Методы анализа экспертных оценок
Методы получения качественных и количественных экспертных оценок. Методы анализа
результатов экспертиз. Основные причины, приводящие к неточности результатов экспертиз.
Основная литература
1. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.:
Статистика, 1980.
2. Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996.
3. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. / А.И.Орлов. –
М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. Ч. 2 : Экспертные оценки. – 2011. – 486 с.
4. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. – М.: Изд-во
МАИ-ПРИНТ, 2007.
5. Шмерлинг Д.С. и др. Экспертные оценки. Методы и применения // Уч. записки по статистике.
1977. Том 29. Статистические методы экспертных оценок. 290 – 382.
Дополнительная литература
1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. – М.: Наука, 1973.
2. Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996.
3. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1981. 80 с.
Тема 9. Методы экспертизы и анализа экспертных оценок в задачах поддержки принятия
решений
Применение экспертных технологий при принятии решений в различных областях практической
деятельности.
Основная литература
1. Литвак Б.Г. Экспертные технологии в управлении. – М.: Дело, 2004.
2. Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996.
3. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.:
ИКЦ «МарТ»; Ростов н/Д: Издательский центр «МарТ», 2005. - 496 с.
4. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. – М.: Изд-во
МАИ-ПРИНТ, 2007.
Дополнительная литература
1. Орлов А.И. Теория принятия решений. – М.: Экзамен, 2005.
2. Фишберн П. Теория полезности для принятия решений. - М.: Наука, 1978. – 352 с.
10
10. Оценочные средства для текущего и итогового контроля
Примеры вопросов на контрольной работе
Письменная контрольная работа проводится по тематике «Методы экспертизы и обработки экспертной информации». Контрольная работа состоит из вопросов по теории, а также из нескольких задач.
Примеры домашних заданий
Домашнее задание состоит в реализации одного из рассмотренных в курсе алгоритмов автоматической классификации и формировании массивов данных, на которых будет проверяться работоспособность и эффективность соответствующих алгоритмов.
Примеры вопросов на экзамене
Тема 1.
История возникновения структурного подхода к анализу данных.
История развития методов структурно-классификационного анализа данных.
Гипотеза компактности Браверманна и её роль в развитии классификационного анализа.
Связь методов классификации с учителем (распознавание образов) и классификации без учителя
(кластерный анализ).
Ступенчатый и ступенчато-иерархический алгоритмы распознавания образов.
Тема 2.
Содержательная постановка задачи автоматической классификации (кластер-анализа).
Формальная постановка задачи классификации как оптимизационной.
Вариационный подход к задачам классификации.
Размытая постановка задачи классификации.
Классификация с фоновым классом.
Примеры алгоритмов конечной выборки.
Примеры алгоритмов структуризации для бесконечной выборочной последовательности.
Тема 3.
Содержательная постановка задачи структуризации параметров.
Формальная постановка задачи структуризации параметров.
Примеры алгоритмов экстремальной группировки параметров, специфика их программной реализации.
Задача структуризации номинальных признаков.
Задача структуризации параметров долевого типа.
Формальные методы выбора информативных параметров, процедуры экспертной коррекции.
Тема 4.
Методы и алгоритмы структурного анализа временных рядов.
Случай одномерного временного ряда, алгоритмы глобальной оптимизации критериев качества
структуризации в одномерном случае.
Методы структуризации одномерных временных рядов в задаче выборочной оценки социальноэкономических показателей в случае малой выборки.
Алгоритмы динамического структурного анализа многомерных временных рядов (траекторий).
Тема 5.
Формальная постановка задачи структурной идентификации функционального преобразователя –
кусочной аппроксимации сложных зависимостей.
Типы используемых критериев качества кусочной аппроксимации.
Одноэтапные алгоритмы кусочной аппроксимации.
11
Двухэтапные алгоритмы кусочной аппроксимации.
Рекуррентные алгоритмы кусочной аппроксимации.
Адаптивные схемы идентификации.
Иерархическая кусочная аппроксимация.
Тема 6.
Содержательная постановка задачи структурного прогнозирования.
Формальная постановка задачи структурного прогнозирования.
Алгоритмы структурного прогнозирования, специфика их реализации и прикладного использования.
Адаптивные методы структурного прогнозирования.
Тема 7.
Типичные ошибки при проведении экспертизы и анализе экспертных оценок.
Метод Дельфи и его модификации.
Парадокс Кондорсе. Теорема Эрроу.
Метод прогнозного графа.
Метод решающих матриц.
Методы оценки качества экспертов.
Тема 8.
Проблема согласованности ответов экспертов.
Типы шкал в экспертных измерениях.
Типы экспертных оценок.
Методы получения конкретных экспертных оценок.
Тема 9.
Основные принципы работы СППР.
Экспертные технологии при разработке и эксплуатации СППР.
Темы курсовых работ по курсу:
Выпускные работы (ВКР)
1. Современное состояние исследований в области структуризации исходного набора параметров, выбора «информативных» параметров и снижения размерности в задачах интеллектуального
анализа данных. Сравнительный анализ потенциальной эффективности различных алгоритмов и
процедур, предназначенных для решения таких задач.
2. Современное состояние исследований в области структуризации исходного набора многомерных объектов (классификационный анализ), как в детерминированной, так и в размытой постановке. Содержательные и формальные постановки задач классификационного анализа, выбор
критерия качества структуризации. Специфика разработки и теоретического исследования итерационных алгоритмов структуризации для бесконечной выборки объектов. Сравнительный анализ потенциальной эффективности различных алгоритмов и процедур, предназначенных для решения таких задач.
3. Современное состояние исследований в области структурной аппроксимации сложных зависимостей. Сравнительный анализ потенциальной эффективности эвристических и формальных
моделей и алгоритмов кусочно-линейной аппроксимации.
4. Современное состояние исследований в области структурного анализа временных рядов в задачах прогнозирования. Сравнительный анализ современных методов прогнозирования, специфика и преимущества структурных методов прогнозирования.
Дополнительно:
12
1. Современное состояние исследований в области коллективной экспертизы, обработки её результатов при решении прикладных задач. Сравнительный анализ потенциальной эффективности
используемых методов коллективной экспертизы (метод Делфи, метод «мозгового штурма», коллективной многовариантной экспертизы и т.д.).
2. Современное состояние исследований в области обработки экспертных оценок. Сравнительный анализ потенциальной эффективности различных алгоритмов и процедур, предназначенных
для решения такой задачи.
Курсовые работы (КР)
1. Сравнительный анализ использования различных типов меры близости (расстояния) между
объектами в задачах структурно-классификационного анализа (кластерный анализ, распознавание образов и пр.).
2. Сравнительный анализ использования методов факторного анализа и экстремальной группировки в задачах структуризации параметров и сокращения размерности пространства исходных
признаков.
3. Использование теоретических предпосылок и результатов использования процедур скользящего контроля (экзамена) в прикладных задачах структуризации (кластерный анализ, распознавание
образов) для выбора наиболее эффективной схемы оценки достоверности результатов структуризации.
4. Анализ особенностей реализации метода потенциальных функций при разработке алгоритмов
структурно-классификационного анализа. Вариационный подход к теоретическому исследованию алгоритмов классификационного анализа, базирующихся на методе потенциальных функций.
Дополнительно
Подробный анализ метода экспертизы X (история развития, отличительные особенности, конкретные задачи, которые решались с помощью этого метода, оценка эффективности и т.д.). Конкретный метод выбирается по желанию студента, например, методы:
1. Делфи,
2. Коллективной многовариантной экспертизы,
3. Мозговой атаки,
4. Решающих матриц Поспелова,
5. Прогнозного графа,
и т.д.
11. Учебно-методическое и информационное обеспечение дисциплины
Основная литература
1. А.А.Дорофеюк, И.Б.Мучник Работа М.А.Айзермана в области распознавания образов и анализа данных. / «МАРК АРОНОВИЧ АЙЗЕРМАН 1913 – 1992». -М.:, Физматлит, 2002. -с. 115 – 159.
2. Дорофеюк А.А. Методология экспертно-классификационного анализа в задачах управления и
обработки сложноорганизованных данных (история и перспективы развития). Проблемы управления 2009. № 3.1. –С. 19-28.
3. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных.  М.:
Наука, 1983.
4.Дорофеюк А.А. Алгоритмы автоматической классификации. // Автоматика и телемеханика. –
1971. – № 12.
5. Миркин Б.Г. Методы кластер-анализа для поддержки принятия решений: обзор. / НИУ «ВШЭ».
– М. : Изд. дом НИУ «Высшая школа экономики», 2011. – 88 с.
6. Дорофеюк А.А., Дорофеюк Ю.А. Экспертно-классификационные методы анализа сложно организованных данных в задачах управления слабо формализованными системами. Пленарный до13
клад. / Управление развитием крупномасштабных систем (MLSD’2011): Программа и пленарные
доклады 5-й международной конференции. / -М.: ИПУ РАН, 2011. –с. 72-81.
7. Райбман Н.С., Дорофеюк А.А., Касавин А.Д. Идентификация технологических объектов методами кусочной аппроксимации. / Препринт. -М.: Институт проблем управления, 1977. – 89 с.
8. Ю.А.Дорофеюк Структурно-классификационые методы анализа и прогнозирования в крупномасштабных системах управления. / Проблемы управления. 2008. № 4. – С. 78-83.
9. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. – М.: Наука, 1990.
10. Дорофеюк А.А. Методы мультигрупповой многовариантной экспертизы в задачах анализа и
совершенствования организационных систем // Труды Института проблем управления РАН.
2000. № 10. С. 12 – 18.
11. Литвак Б.Г. Экспертная информация. Методы получения и анализа. / – М.: Радио и связь,
1982.
12. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. / – М.: Наука, 1984.
13. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. / – М.: Издво МАИ-ПРИНТ, 2007.
14. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980.
15. Шмерлинг Д.С. и др. Экспертные оценки. Методы и применения // Уч. записки по статистике.
Том 29. «Статистические методы экспертных оценок». 1977. – с. 290 – 382.
16. Литвак Б.Г. Экспертные технологии в управлении. / – М.: Дело, 2004.
Дополнительная литература
1. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории
обучения машин. «Наука», 1970.
2. Айвазян С.А., Бухштабер В.М., Енюков И.С. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. – 344 с.
3. Дорофеюк А.А. Алгоритмы обучения машины распознаванию образов без учителя, основанные на методе потенциальных функций. Автоматика и телемеханика, № 10, 1966.
4. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск:
ИМ СО РАН, 1999. — 270 с.
5. Шлезингер М.И. О самопроизвольном различении образов. В сб. «Читающие автоматы». «Наукова думка», Киев, 1965.
6. Vapnik V. N. Statistical Learning Theory, John Wiley & Sons, New York, 1998.
7. И.Д.Мандель Кластерный анализ. – М.: Финансы и статистика, 1988. – 176 с.
8. Бауман Е.В., Дорофеюк А.А. Вариационный подход к задаче автоматической классификации
для одного класса аддитивных функционалов. Автоматика и телемеханика. 1978. № 8.
9. Бауман Е.В., Дорофеюк А.А. Рекуррентные алгоритмы автоматической классификации. Автоматика и телемеханика. № 3, 1982.
10. Бауман Е.В. Методы размытой классификации (вариационный подход). Автоматика и телемеханика.1988. № 12.
11. L.A.Zadeh Fuzzy sets / Information and Control. №8, 1965. – p. 338-353.
12. Бауман Е.В., Дорофеюк А.А. Классификационный анализ данных. / Избранные труды Международной конференции по проблемам управления. Том 1. / М.: СИНТЕГ, 1999. – С. 62–77.
13. Бауман Е.В., Дорофеюк А.А., Дорофеюк Ю.А. Методы динамического структурного анализа
многомерных объектов. / 4-ая международная конференция по проблемам управления (МКПУIV): Сборник трудов. / − М.: ИПУ РАН, 2009. – С. 338-343.
14. Bezdek J.C. Pattern recognition with fuzzy objective function algorithms. Plenum press publishers,
N.Y.-London., 1981 –260 p.
15. Браверман Э.М., Киселева Н.Е., Мучник И.Б., Новиков С.Г. Лингвистический подход к задаче
обработки больших массивов информации. Автоматика и телемеханика, № 11, 1974.
14
16. Дорофеюк Ю.А., Кулькова Г.В. Глобально-оптимальные алгоритмы кластерного анализа временных рядов. / Управление развитием крупномасштабных систем (MLSD’2010): Материалы
Четвёртой международной конференции. Том II. / -М.: ИПУ РАН, 2010. –с. 254-257.
17. Dorofeyuk A., Kasavin A. Hierarchical piecewise approximation method in identification of complex plants. / Identification and System Parameter Estimation. Part 3., North Holand PC, Amsterdam,
1978.
18. Бауман Е.В. Сведение задачи кусочно-линейной аппроксимации к задаче автоматической
классификации. В сб.: “Моделирование и оптимизация сложных систем управления”. М.: Наука,
1981.
19. Алиев С.А., Дорофеюк А.А., Мовсумов В.Г. Методы комбинированной кусочной аппроксимации и их приложения. В кн.: “Анализ данных и экспертные оценки в организационных системах”. М.: Институт проблем управления, 1985.
20. Дорофеюк А.А., Дорофеюк Ю.А. Методы и алгоритмы прогнозирования в задачах управления
крупномасштабными системами. Пленарный доклад. / Управление развитием крупномасштабных систем (MLSD’2013): Материалы Седьмой международной конференции. Том I. -М.: ИПУ
РАН, 2013. –с. 40-53.
21. Дорофеюк Ю.А. Метод структурного прогнозирования на базе адаптивного алгоритма кластер-анализа. / Математические методы распознавания образов. 15-ая международная конференция: Сборник докладов. – М.: МАКС ПРЕСС, 2011, с. 184-188.
22. Губанов Д.А., Коргин Н.А., Новиков Д.А., Райков А.Н. Сетевая экспертиза. 2-е изд. / Под
ред. чл.-к. РАН Д.А. Новикова, проф. А.Н. Райкова. – М.: Эгвес, 2011. – 166 с.
23. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. – 256 с.
24. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1981. - 80
с.
25. Орлов А.И. Теория принятия решений. – М.: Экзамен, 2005.
26. Фишберн П. Теория полезности для принятия решений. - М.: Наука, 1978. – 352 с.
12. Материально-техническое обеспечение дисциплины
Для лекций и семинарских занятий по темам дисциплины используется проектор.
Авторы программы: ______________________________/ Дорофеюк А.А. /
_____________________________/ Дорофеюк Ю.А./
15