ИНТЕГРАЦИЯ РАЗНОРОДНЫХ ИНФОРМАЦИОННЫХ РЕСУРСОВ В УНИВЕРСИТЕТСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЕ РОССИЯ

ИНТЕГРАЦИЯ РАЗНОРОДНЫХ ИНФОРМАЦИОННЫХ РЕСУРСОВ В
УНИВЕРСИТЕТСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЕ РОССИЯ
М.С. Агеев, Б.В. Добров, С.В. Журавлев, Н.В. Лукашевич, Н.В. Макаров-Землянский, А.В. Сидоров
Научно-исследовательский вычислительный центр МГУ им. М.В. Ломоносова; АНО Центр информационных исследований,
г.Москва
Введение
Университетская информационная система РОССИЯ (далее – УИС РОССИЯ, http://www.cir.ru) [1] создана
как прототип ресурсной базы для проведения исследований по социальным наукам, для обеспечения университетской науки качественной первичной информацией по широкому кругу вопросов современной жизни Российской
Федерации.
УИС РОССИЯ объединяет коллекции, поступающие от более чем 50 организаций-источников: официальные документы (ГосДума ФС РФ, Совет Федерации ФС РФ, НТЦ "Система" ФАПСИ РФ), статистические данные
(Госкомстат РФ, Межгосударственный статистический комитет СНГ), материалы федеральных и местных СМИ
("Эксперт", "Независимая газета" и др.), а также научные журналы, вестники университетов, аналитические доклады, материалы научных конференций и семинаров. В настоящее время УИС РОССИЯ содержит более 400 тысяч
полнотекстовых документов (55 тысяч правовых актов, 105 тысяч документов по стенограмм пленарных заседаний
Госдумы ФС РФ, 180 тысяч статей СМИ, 20 тысяч статистических таблиц и т.п.) и более 200 тысяч библиографических описаний рабочих материалов по экономике из архива RePEc/СоциоНет.
Задачи интеграции разнородных ресурсов, решаемые в УИС РОССИЯ:
1) обеспечение единообразного формата хранения документов разных источников, а также единообразных способов доступа ко всей коллекции документов;
2) использование специфических поисковых атрибутов для каждой коллекции;
3) тематическая систематизация /классификация документов по тезаурусу, рубрикаторам;
4) аннотирование полнотекстовых документов;
5) создание предметно-ориентированных баз данных, интегрированных в общую систему.
Важнейшее требования – максимально возможная автоматизация включения нового источника в интегрированную базу, сопровождение всех источников при минимальных затратах.
Структуры данных
Поисковая информация документа в УИС РОССИЯ условно разделяется на:
атрибуты (заголовок, дата, номер);
перечислимые поля – атрибутные классификаторы (авторы, разделы);
индекс по леммам (нормализованным словоформам) для контекстного поиска;
тематический индекс (по терминам тезауруса, рубрикаторам).
Для сопровождения поисковых индексов по атрибутам и атрибутным классификаторам в УИС РОССИЯ поддерживаются, так называемые, «классы документов» – абстрактные объекты, которые для каждой коллекции полнотекстовых документов согласовано описывают: а) как надо обрабатывать и куда загружать документы; б) какие
таблицы Oracle и индексы по каким полям таблиц должны быть созданы; в) какие поисковые поля должны присутствовать в карточке запроса; г) каким образом отображать документы; д) какие пользователи имеют права просмотра документов класса и квоты просмотра.
Все данные о классах содержатся в специальных таблицах Oracle. Для управления содержимым этих таблиц на
Borland Delphi разработано автоматизированное рабочее место администратора данных УИС РОССИЯ.
1)
2)
3)
4)
Подготовка данных
Исходные данные поступают в УИС РОССИЯ, в основном, в электронной форме. При этом наблюдается
большое разнообразие форматов: WinWord документы из Госкомстата РФ, RTF документы из газеты "Слово", совокупности связанных HTML файлов из "Эксперта", структурированные и слабо структурированные ASCII файлы
из "Независимой газеты" и других источников.
Создана библиотека программ-конверторов, которые преобразуют информацию документов разнообразных форматов в единый формат хранения. Дополнительно ставится цель представления документов в максимально
удобном пользователю виде.
3
Например, конвертор текстов нормативно-правовых актов, приводит документы к виду, принятому в официальном издании "Собрание законодательства Российской Федерации". Для документов СМИ используется цветовое стилевое оформление заголовков, авторов, выходных данных и т.п.
При этом решается достаточно много мелких, неприятных, но необходимых, задач "очистки документов":
ликвидация переноса слов и фиксация таблиц, ликвидация растяжки слов, проверка алфавита и словосочетаний,
проверка структуры, форматирование текста, ликвидация лишних пустых строк и строк разметки и т.п.
Одновременно автоматически определяются формальные атрибуты документов, свои для каждого из видов
ресурсов: вид, номер, организация для нормативных актов; фамилия выступающего, номер заседания для стенограмм Госдумы, номер, автор, вид приложения для «Независимой газеты» и т.д.
Контекстный и тематические индексы получаются в УИС РОССИЯ в процессе Автоматизированной лингвистической обработки текстов (АЛОТ), которую проходят все полнотекстовые документы. АЛОТ включает в себя:
морфологический и тематический анализ документов.
В процессе морфологического анализа для каждого слова определяет его нормализованная форма (лемма).
Используется морфологический словарь на 130 тысяч входов. Для неизвестных словарю слов порождаются гипотезы, содержащие правильную нормализованную форму. Особенностью УИС РОССИЯ является автоматический тематический анализ документов на основе информационно-поискового тезауруса по общественно-политической
тематике, разработанного АНО Центр информационных исследований. Тематический анализ [2] включает в себя
следующие виды обработки: определение в тексте документа терминов (терминологический анализ) и оценка их
значимости для содержания документа, автоматическое рубрицирование одновременно по нескольким рубрикаторам, автоматическое аннотирование документа.
Обеспечение Интернет-доступа к полнотекстовым документам
WEB-интерфейс пользователя УИС РОССИЯ обеспечивается программой автоматической генерации
HTML-страниц с использованием технологии Java Servlets. В качестве серверного программного обеспечения используется свободно распространяемое программное обеспечение Apache 1.3.20, Jakarta Tomcat servlet container
3.2.1, Java Developers Kit 1.3. Web-сервер работает под управлением Red Hat Linux 6.1.
Полнотекстовые документы могут храниться в базе данных или в файловой системе, в том числе в защищенных от внешнего доступа директориях. В качестве СУБД используется Oracle 8.1.7 (800 таблиц и индексов, более 200 миллионов записей). Взаимодействие Java-программы с базой данных Oracle реализовано при помощи
JDBC.
В УИС РОССИЯ реализована распределенная обработка запросов пользователей. Часть функций обработки запроса (морфологический разбор запроса, подсветка документа) исполняется на отдельной Windows машине.
Для кроссплатформенного взаимодействия используется механизм Java RMI.
Общими поисковыми атрибутами для всех коллекций являются дата создания документа, строка запроса с
использованием морфологического разбора и возможностью задания логического выражения любой сложности, а
также возможность поиска по общественно-политическому тезаурусу (64 тысячи текстовых входов, сгруппированных в 27 тысяч понятий) и двум рубрикаторам (80 и 180 рубрик). Поиск можно проводить по любому множеству
коллекций, при поиске по одному ресурсу дополнительно доступны специфичные для коллекции атрибуты, описанные как поисковые для соответствующего класса документов.
Заключение
Комплекс технологических решений, развитый в рамках УИС РОССИЯ включает следующие этапы: 1)
очистка данных – приведение в единый формат (*.НТМ), допускающий непосредственное отображение стандартными браузерами, выделение формальных поисковых атрибутов; 2) лингвистическая обработка – создание поисковых индексов для контекстного и тематического поиска; 3) организация поиска по всей коллекции документов, а
также поиск с использованием специфических атрибутов поиска для каждой отдельной коллекции; 4) средства контроля за соблюдением прав владельцев источников за некоммерческим использованием информации, средства мониторинга нагрузки системы.
Обеспечивается предоставление единообразного сервиса доступа к большой интегрированной базе данных,
состоящей из разнородных коллекций полнотекстовых документов, гибкая настройка на новые виды ресурсов.
Ближайшей задачей является реализация "управляемого разнообразия" интерфейса доступа к документам
различных коллекций, когда основное содержимое страницы документа порождается единой для всей базы процедурой, а дополнительное оформление специфических коллекций и подколлекций (ссылки, дополнительные сервисы) описываются с использованием механизма Java Server Pages. Эти нововведения призваны распределить нагрузку сопровождения специфических коллекций непосредственно на ответственных за конкретный ресурс, облегчить
администрирование региональных зеркал УИС РОССИЯ.
4
ЛИТЕРАТУРА:
1.
2.
Юдина Т.Н., Журавлев С.В., Российский межуниверситетский ресурсный и аналитический центр по гуманитарным исследованиям // Вестник РФФИ. – 1999. – N3. (см. также http://intra.rfbr.ru/pub/vestnik/V3_99/2_8.htm)
Добров Б.В., Лукашевич Н.В., Тезаурус и автоматическое концептуальное индексирование в университетской
информационной системе РОССИЯ // Третья Всероссийская конференция по Электронным Библиотекам
"Электронные библиотеки: перспективные методы и технологии, электронные коллекции" – Петрозаводск. –
2001. – С.78-82.
5