Рейтинги университетов. Что это? Зачем они? Какие и сколько? Ирина Разумова Консорциум НЭИКОН razumova@neicon.ru Вятка, ВятГУ, октябрь 2009 Вятка, оетябрь 2009 Международные и национальные рейтинги университетов как механизм оценки научной деятельности: альтернатива или дополнение к индексам цитирования? Ирина Разумова Консорциум НЭИКОН razumova@neicon.ru Science Online в Крыму, июнь 2009 Вятка, оетябрь 2009 СИСТЕМА БИБЛИОМЕТРИЧЕСКИХ ИНДИКАТОРОВ ВУЗОВ Как внедрить и не навредить Владимир Владимирович Писляков к.ф.-м.н. зам. директора по управлению электронными ресурсами Библиотека ГУ-ВШЭ http://library.hse.ru pislyakov@hse.ru SCIENCE ONLINE: электронные информационные ресурсы для науки и образования Мармарис, 2009 Вятка, оетябрь 2009 А У ВАС СПРАШИВАЛИ СРЕДНИЙ ИНДЕКС ЦИТИРОВАНИЯ ? Как правильно задать этот вопрос и проанализировать ответы вузов Владимир Владимирович Писляков к.ф.-м.н. зам. директора по управлению электронными ресурсами Библиотека ГУ-ВШЭ http://library.hse.ru pislyakov@hse.ru День SCIENCE ONLINE на Крымской конференции Вятка, оетябрь 2009 Судак, 2009 Почему вдруг? Письмо о ФОТ и индикаторе, 17 октября 2009 г. В связи с постановлением Правительства Российской Федерации от 5 августа 2008 г. № 583 и требованиями Федерального агентства по образованию по порядку и выполнения работ по распределению централизованной части фонда оплаты труда (далее - ФОТ), все университеты должны представлять информацию по следующему индикатору http://www.kpmo.ru/kpmo/info/nsotdocs.html Вятка, оетябрь 2009 Зачем? Чтобы делить деньги. Бегущая строка на сайте... Внимание!!! Всем федеральным учреждениям необходимо заполнить данные, необходимые для распределения Рособразованием централизованной части ФОТ до 1 декабря 2008 г Вятка, оетябрь 2009 Что нас спросили? (письмо № 2527/12-16 от 17.11.2008) • «Средний индекс цитирования у преподавателей вуза» (п. 8) • «Количество работающих в вузе профессоров, находящихся на основной работе в другом вузе, имеющих индекс цитирования, больший, чем в п. 8» (п. 10) Вятка, оетябрь 2009 Что мы переспросили? • Основываясь на какие документы и пр. можно приводить данные по п. 8 «Средний индекс цитирования у преподавателей вуза» (и 10, соответственно). Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) • Что такое цитирования у преподавателей? Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) • Исчисляется ли средний индекс цитируемости преподавателей вуза самим вузом или же необходимо за основу взять соответствующую информационную базу, в которой указаны наиболее цитируемые авторы. Какая эта база? Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) • Средний индекс цитирования у преподавателей вуза: Как его Указывать данные, только если есть сведения рассчитать? Вятка, 2009 прооетябрь международный ИЦ (шанхайский, Таймс) А дальше определение забыто. Кроме того появляется упоминание о рейтингах… «При расчёте индексов цитирования необходимо брать данные о международных индексах цитирования (Шанхайский, Таймс). При их наличии.» Вятка, оетябрь 2009 Полнейшая абракадабра. Поэтому начнем еще раз… Что же такое индикаторы, индексы цитирования, и рейтинги ? Под индексом цитирования понимается база данных… Вятка, оетябрь 2009 Какие бывают базы.... Продовольственная база – там лежит продовольствие Военная база – там военные Индексы цитирования: там лежат статьи и цитаты на них. Российская база– РИНЦ, международные: Web of Science, Scopus, Google Scholar Вятка, оетябрь 2009 Какую информацию можно получить из этих баз, то есть, индексов цитирования ? Данные по публикационной активности Данные по цитированию публикаций Вятка, оетябрь 2009 На основании этих данных расчитываются индикаторы Индикаторы – это цифры. Они бывают разные и используются, например, в: Системе распределения ЦТ ФОТ Национальных системах аттестации университетов и НИИ а также для Определения рейтингов Вятка, оетябрь 2009 …so much for that. Что необходимо указать в методологии для получения внятного библиометрического индикатора? • Базу данных, по которой ведется подсчет • Тип(ы) публикаций, которые учитываются • Временной промежуток-1: когда выходят оцениваемые публикации • Временной промежуток-2: на каком интервале времени учитывается цитирование оцениваемых публикаций • Календарное время (месяц) предоставления индикатора для отчета вуза Вятка, оетябрь 2009 Отступление простое о временных промежутках Только годы и только календарные! (так устроены БД цитирования) Вопрос М.В. Кузнецовой: «Данные по научной деятельности предоставляются в Рособразование по календарному году. Сведения по объемам НИР за указанный период можно, конечно, вычленить, но ни одному официальному документу они соответствовать не будут. Как быть?» — «Все данные должны быть предоставлены за отчетный период» Вятка, оетябрь 2009 Отступление напрасное о терминологии Как называть показатель цитирования? • индекс цитирования? результат неверной кальки с английского: «citation index» — это база данных, а не показатель; + почему суммарный, валовой показатель стал «индексом»? • в зависимости от того, что оцениваем: — цитируемость (суммарная), число цитирований, число ссылок; — средняя цитируемость статьи, число ссылок на статью; — импакт-фактор (для журналов). Вятка, оетябрь 2009 Наше предложение 1. основной индикатор • База данных: Web of Science (документы: SCIE+SSCI, цитирования из всей базы) • Тип(ы) публикаций: все, с дополнительным выделением Article+Review+Proceedings Paper • Сколько публикаций вышло за последние 5 лет (2004–2008) • Сколько цитирований они получили за те же самые 5 лет (2004–2008) • Считать не ранее сентября следующего за учитываемым интервалом года Вятка, оетябрь 2009 Наше предложение 2. «оперативный» индикатор • База данных: Web of Science (SCIE+SSCI) • Тип(ы) публикаций: все, с дополнительным выделением Article+Review+Proceedings Paper • Сколько публикаций вышло за последний год (2008) • Средний («средневзвешенный») импактфактор журналов, в которых выходили эти публикации (IF-2008) • Считать не ранее июля следующего года Вятка, оетябрь 2009 Самое сложное в анализе — кроссдисциплинарное сопоставление • Сравнение с цитируемостью на статью для вузов той же дисциплинарной направленности • Сравнение с цитируемостью, например, всех российских ученых (желательно работающих в той же отрасли) • Для оперативного индикатора — сравнение со средним (или медианным) импакт-фактором журналов той же дисциплины Вятка, оетябрь 2009 Письмо 2008 г. о распределении ЦЧ ФОТ Данные о количестве публикаций в Российских изданиях учитывают только публикации в ваковских изданиях. Индикатор - количество цитирований сотрудников вуза в двух международно признанных индексах цитирования Science Citation Index Expanded и Social Sciences Citation Index, входящие в состав базы данных Web of Science (WoS). Вятка, оетябрь 2009 Письмо от 17 октября 2008 года и показатели цитируемости ВУЗов. Как их надо считать? … Вятка, оетябрь 2009 Вопросы • Какие параметры (индикаторы) будем определять ? • По какому источнику будем считать? • Какие публикации будем рассматривать ? • За какое время будем считать? Вятка, оетябрь 2009 Ответы • Будем подсчитывать число статей, опубликованных в ВУЗЕ и число цитат, полученных на эти статьи. • Индикаторы будем определять по данным базы Web of Science (SCIE, SSCI). • Будем учитывать все публикации в журналах WoS и полученные цитирования за 5 истекших лет. Вятка, оетябрь 2009 Комментарии число статей, опубликованных в ВУЗЕ за 5 истекших лет и число цитат, полученных на эти статьи. Внимание! Нельзя определять полное число статей за все годы и отсортировать их по годам. В этом случае вы получите данные о числе статей, появившихся в базе в таком-то году, а не число опубликованных в этом году статей. Нельзя получить данные о цитировании всех статей организации и отсортировать цитаты по годам. Вы получите данные о цитировании в таком-то году ВСЕХ статей организации. А надо данные о цитировании статей, вышедших за 5 последних истекших лет. Вятка, оетябрь 2009 Комментарии Индикаторы будем определять по данным базы Web of Science (SCIE, SSCI). Почему Web of Science ? Потому, что так считают во всем мире. Потому, что так просит Рособраз. Внимание! Нельзя использовать данные из Скопуса, если требуются данные по Web of Science. Это разные базы с разными списками журналов. Причем для многих издательств в Скопусе журналов расписывается больше, но для некоторых МЕНЬШЕ (AGU, MIT…) Поэтому иногда индикаторы, расчитанные по Скопусу будут ниже (ЮФУ, ФТИ им Иоффе…) Вятка, оетябрь 2009 Организация МГУ Scopus, все годы 2664 WoS, 20002009 2345 Ранг, Scopus 1 Ранг, WoS 1 ФТИ им Иоффе 1107 1760 2 2 СПБГУ 770 944 3 3 Институт общей физики РАН 482 618 4 3 Институт физики полупроводников СО РАН 599 554 3 3 Институт кристаллографии им. Шубникова РАН 397 468 4 4 Институт проблем химической физики РАН 558 463 3 4 Институт катализа им. Борескова СО РАН 499 449 4 4 Институт физики твердого тела РАН 448 405 4 4 Институт неорганической химии СО РАН 259 348 5 4 Институт химической физики РАН 409 344 4 4 ГОИ им. С.И. Вавилова 323 319 4 4 РНЦ "Курчатовский институт" 293 280 5 5 Институт физики металлов УрО РАН 346 277 4 5 ОИЯИ, Дубна 260 231 5 5 Институт физической химии им. Карпова (ГНЦ) 244 204 5 5 Физический институт им. П.Н. Лебедева РАН Вятка, оетябрь 2009 209 454 4 5 Комментарии Индикаторы будем определять за 5 истекших календарных лет. Почему 5 ? Потому, что за год считать бессмысленно, количество цитат будет практически равно 0. Потому, что так считают в общепризнанной во всем мире базе ESI. Почему календарных, а не учебных? Потому, что в WoS можно считать только по календарным годам. Почему истекших? Потому, что некоторые статьи текущего года появятся в базе в следующем году. Особенно это касается статей из российских журналов. Вятка, оетябрь 2009 Комментарии TS=((CU=Russia OR CU=(Russian Federation) OR CU=USSR)) and (ad= (St PETERSBURG STATE UNIV) and (ad=Petersburg OR ad =(198504 OR 199034))) AND PY=2004-2008 Databases=SCI-EXPANDED, SSCI Timespan=All Years. 5137 Вятка, оетябрь 2009 Комментарии More options Analyse Results Create Citation Report Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et al. Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages: 406-414 Published: SEP 2008 . 5137 Вятка, оетябрь 2009 Комментарии More options Analyse Results Create Citation Report Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et al. Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages: 406-414 Published: SEP 2008 . 5137 Вятка, оетябрь 2009 Спасибо за внимание Ирина Разумова консорциум НЭИКОН Санкт-Петербург razumova@neicon.ru www.neicon.ru Вятка, оетябрь 2009