Опыт организации рецензирования материалов международной конференции “ГрафиКон” Антон Конушин, к.ф.-м.н. ВМК МГУ имени М.В. Ломоносова Компьютерные науки • Больший упор на конференции, по сравнению с другими областями науки • Короткий период получения новых результатов • Простая экспериментальная проверка • Публикации в журналах • Расширенные версии лучших статей • Обзоры • Не прошедшие на топовые конференции работы Общие правила на конференциях • Печатные (электронные) труды • Расширенные тезисы (4 страницы в 2 колонки), полнотекстовые статьи (8 страниц в 2 колонки, 8-14 страниц в одну колонку) • Международный программный комитет • Двойное слепое рецензирование (Double Blind) • 2-3 рецензии на работу • Большой отсев (отсеивается 30-70% поданных работ) • Распределение по устным (~15-20% от принятых) и стендовым докладам • Издание трудов с включением их в систему цитирования (Springer, IEEE, ACM) Примеры ведущих конференций • ACM Siggraph • 25000 участников • IEEE Computer Vision & Pattern Recognition • IEEE International Conference on Computer Vision • 1500 участников • European Conference on Computer Vision • 1500 участников • 1100 поданных, 325 принятных докладов • Springer (Lecture Notes in Computer Science Series) ГрафиКон - история • Первая конференция организована в 1991 году при тесной поддержке, в т.ч. Финансовой, ACM Siggraph • Более 1600 участников • Быстрое сокращение количества участников в 90е-00е • 1992 – 680 участников • 1995 - 280 участников • 2009 – 200 участников • Единственная ежегодная конференция в области, с международным программный комитетом и доступными в интернете публикациями Графикон – основные принципы • Реализация всех основных требований к конференции в компьютерных науках • Расширенные тезисы и полнотекстовые статьи • Электронная система подачи работ • Международный программный комитет • Двойное слепое рецензирование Электронная система • Функции электронной системы управления конференцией • Формирование программного комитета – Рассылка приглашений (с подтверждением/отклонением) • Подача работ – Регистрация участников, загрузка работы, дополнительная информация • Организация рецензирования – – – – Распределение работ на рецензирование Электронная анкета для рецензента Ранжирование и удаленный отбор работ Уведомление участников, публикация отзывов • Сбор финальных версий статей Примеры • START V2 ConferenceManager • http://www.softconf.com • Microsoft Conference Management Toolkit • http://cmt.research.microsoft.com/cmt/ Программный комитет • Задачи: • Небольшая нагрузка (бесплатное участие) – 1-6 работ на рецензирование одному рецензенту • Широкое представительство • Равномерное покрытие областей • 2-3 рецензии на одну работу • ГрафиКон-2011 • 60 рецензентов • 40 организаций • До 120 работ (360 рецензий) Double Blind Review • Двустороннее слепое рецензирование • Информация о персоналиях лишь у руководителей комитета • Рецензент не знает авторов статьи • Авторы не знают рецензентов • Требования: • Исключение всех упоминаний об авторах из поданной работы • Информация об авторах добавляется только при подаче финальной версии для принятых работ Анкета рецензента • Принципы: • Ряд параметров для оценки работы • По каждому параметру даётся градация возможных ответов – Приводятся критерии для выбора ответа • Резюме работы – – – – – Accept Probably Accept Borderline Probably Reject Reject Анкета рецензента • • • • • • • • • Краткое описание работы Уверенность рецензента Соответствие тематике конференции Научная новизна Полнота обзора литературы Понятность описания Полнота экспериментального подтверждения Резюме для авторов Резюме для программного комитета Ранжирование работ • После завершения рецензирования проводится ранжирование работ • Руководство программного комитета анализирует рецензии и принимает финальное решение • Каждой оценке задаётся баллы и суммируются • Верхние и нижние доли сразу принимаются/отвергаются • Дискуссия по поводу промежуточных работ Проблемы и сложности • Двуязычность • Зарубежные рецензенты могут рассматривать только работы на английском языке, отечественные – и на русском тоже • Тяжело адекватно оценить и сравнить уровни работ • Понижает интерес зарубежных участников • Расширенные тезисы и полнотекстовые статьи • Дополнительная сумятица • Работы от молодых ученых (студенты, аспиранты) • Выход – отдельная секция с отдельным отбором Пример: ГрафиКон-2009 • 135 поданных работ • 54 статьи отобраны для устной презентации (40% присланных) • 19 статей отобраны для презентации в рамках постерной сессии. • 12 статей отобраны для устной презентации школы молодых ученых • 9 статей отобраны для презентации в рамках постерной сессии школы молодых ученых • 30% отвергнуто Основные временные затраты • Инвестиционные: • Формирование программного комитета (корпуса рецензентов) • Освоение системы управление конференцией • Подготовка анкеты рецензента • Постоянные: • • • • Настройка электронной системы (1 день) Распределение работ на рецензирование (1 день) Отбор работ по результатам рецензирования (1 день) Составление программы (1 день) Будущее ГрафиКона • Расширение программного комитета • Полнотекстовые англоязычные работы • Издание трудов в LNCS Springer