10.1. Информационно-поисковые тезаурусы в условиях сверхбольших электронных коллекций и автоматической обработки текстов. Тезаурус для автоматического концептуального индексирования как особый вид тезауруса Отношения в информационно-поисковых ресурсах: альтернативы Традиционный информационнопоисковый тезаурус: выше-ниже, ассоциация Ассоциации – невозможно использовать в автоматической обработке Лингвистические исследования: наборы семантических ролей Наборы разные для разных областей часто сложно поставить точное отношение, как использовать различные отношения Современные подходы к описанию отношений при разработке онтологий отношения – произвольный предикат, свойства задаются аксиомами P(x1,…xn) Для того, чтобы такая система отношений работала, нужно стабильно находить отношения в разнообразных текстах Но это проблема! Аргументы могут оказаться далеко друг от друга в тексте, между ними может быть другое отношение или совсем не быть отношений. Наш подход к описанию отношений • Отношения должна иметь максимально четкие правила установления • Отношения должны позволять осуществлять вывод по тезаурусу в автоматическом режиме • Ресурс должен начать работать в разумные сроки для неограниченных текстов в сложных предметных областях Надежные отношения • Цель: необходимо использовать отношения, не имея возможности подробно проанализировать контекст упоминания понятия в тексте. – При расширении запроса – это невозможно для текста – Возможности систем автоматической обработки текста для анализа релевантности контекста ограниченны • Необходимо найти и описать для понятия те отношения, которые выполняются для понятия практически всегда: – для всех или большинства примеров понятия – в течение всего (или почти всего) времени существования примера Нужно описывать надежные отношения Родовидовое отношение ВЫШЕНИЖЕ • • • • Проверочное правило: Х – это вид У Береза – это вид деревьев Дерево – это вид растений Транзитивное отношение: береза – это растение => можно использовать для выводов • Свойства наследования: свойства вышестоящего наследуются на нижестоящее • Надежное отношение: – Отношение выполняется для всех примеров понятия – Отношение выполняется все время существования примера Между понятиями могут быть отношения, частично нарушающие свойства родовидового отношения Проверочное правило выполняется, но свойства отношения изменились. Проверочная фраза необходимое, но не достаточное условие Отношения, похожие на родовидовое отношение • Не все свойства вышестоящего наследуются или значения свойств заменяются: мать – приемная мать • Мебель – пианино • Аванс - задаток • Нужно отметить, что с отношением есть проблемы: пометка А – ВЫШЕ_А аспект, точка зрения Семантическое смещение • Река – водный объект – водные ресурсы – вода – вещество??? • Каждая пара соседей может быть подставлена в проверочную фразу • Река, водный объект имеют форму, границы, а вода, вещество – не имеют формы. • Потеря семантического типа • Родовидовое отношение не устанавливается Отношения онтологической зависимости. Формальная онтология. N.Guarino • может ли сущность (С1) существовать сама по себе, или подразумевает существование чего-либо еще (С2): • подразумевает ли существование сущности существование чего-либо какой-либо конкретной сущности (строгая зависимость - rigid dependence), например, кипение (С1) - жидкость (С2); • предполагается ли существование примеров некоторого класса (generic dependence – зависимость по классу) некоторых сущностей, гараж (С1) – автомобиль (С2); • предполагает ли существование С1 в некоторый момент времени t , существования C2 в некоторый Отношения онтологической зависимости и семантические имена ГАРАЖ зависит_от АВТОМОБИЛЬ РЕКА зависит_от ПРЕСНАЯ ВОДА ЭЛЕКТРОСТАНЦИЯ ГИДРОзависит_от РЕКА (источник?) ЛЕС зависит_от ДЕРЕВО (часть?) ЛЕСНИЧЕСТВО зависит_от ЛЕС (место?) КИПЕНИЕ зависит_от ЖИДКОСТЬ (назначение?) (часть?) (пациенс?) Семантические названия отношениям концептуальной зависимости придумать непросто, и они были бы достаточно разнообразны Лес: части • БУРЕЛОМ (ВЕТРОВАЛ; БУРЕЛОМНЫЙ) • ГРУППА ЛЕСА • ЗАРОСЛЬ (ЗАРОСЛЕВЫЙ) • ЛЕСНАЯ КУЛЬТУРА (ЛЕСНАЯ ПОРОДА; ЛЕСОХОЗЯЙСТВЕННАЯ КУЛЬТУРА) • ЛЕСНАЯ ПОЧВА (ЛЕСНАЯ ПОДСТИЛКА) • ЛЕСНЫЕ ЗЕМЛИ (ЛЕСНЫЕ УГОДЬЯ; ЛЕСНАЯ ТЕРРИТОРИЯ; ЛЕСОРАСТИТЕЛЬНЫЙ РАЙОН; ЛЕСОРАСТИТЕЛЬНАЯ ЗОНА; ЛЕСОПОКРЫТЫЕ ПЛОЩАДИ; ЛЕСОПОКРЫТЫЕ ЗЕМЛИ; ЗЕМЛИ ЛЕСНОГО ФОНДА; ЗЕМЛИ, ПОКРЫТЫЕ ЛЕСОМ; ПОКРЫТЫЕ ЛЕСОМ ПЛОЩАДИ) • ОПУШКА (ОПУШЕЧНЫЙ) • ПОДЛЕСОК (ПОДЛЕСОЧНЫЙ) • ПОДРОСТ (МОЛОДНЯК) • ПРОДУКТИВНОСТЬ ЛЕСА (БОНИТЕТ ЛЕСА) • СУХОСТОЙ (СУХОСТОЙНЫЙ) Лес: зависимые понятия • ЛЕСНОЙ ПОЖАР (ЛЕСОПОЖАРНЫЙ; ПОЖАР В ЛЕСУ) • ЛЕСНАЯ НАУКА (НАУКА О ЛЕСЕ) • ЛЕСОВЛАДЕНИЕ • ЛЕСОПОЛЬЗОВАНИЕ (ЛЕСНОЕ ПОЛЬЗОВАНИЕ; ПОЛЬЗОВАНИЕ УЧАСТКАМИ ЛЕСНОГО ФОНДА) Отношения онтологической зависимости и реальные проекты • Отношения строгой и родовой онтологической зависимости • – Общественно- политический тезаурус, 1994- по н.в – 28 тысяч понятий – Тезаурус русского языка РуТез – 1997-по н.в. – 45 тысяч понятий – 177 тысяч отношений – АвиаОнтология – 2002-2003 – 1.5 тысячи понятий – Тезаурус по компьютерной безопасности –20012004 - 3 тысячи понятий Онтология по естественным наукам (2004-…) Оценка эффективности поиска по тезаурусу по сравнению с контекстным поиском по векторной модели • Запросы: рубрики из каждого из 20 подразделов Классификатора правовых актов. Пример рубрики «Использование атомной энергии». • Массив документов: Нормативные акты 19902001 • Поиск релевантных документов для запроса: Сокращение интервала – просмотр 30-40 документов • Методика оценки: TREC вычисление средней точности в трех точках полноты: 0.2, 0.5, 0.8. Сравнение поисковых механизмов Ïîèñê ïî òåçàóðóñó Ïîèñê ïî ñëîâàì, TF*IDF 1 1 0.9 ÑÐÅÄÍÅÅ 0.8 ÑÐÅÄÍÅÅ 0.8 Ïîæàðíàÿ áåçîïàñíîñòü Ñíàáæåíèå âîéñê âîîðóæåíèÿìè Ñíàáæåíèå âîéñê âîîðóæåíèÿìè Àðõèâíûé ôîíä 0.6 Àðõèâíûé ôîíä 0.5 Îõðàíà òðóäà Òðóäîâàÿ ìèãðàöèÿ Òî÷íîñòü Òî÷íîñòü 0.6 Ïîæàðíàÿ áåçîïàñíîñòü 0.7 Îõðàíà òðóäà Íàçíà÷åíèå ïåíñèè 0.4 Áåçîïàñíîñòü ãîñóäàðñòâà ×àñòíàÿ ìåäèöèíñêàÿ ïðàêòèêà Òðóäîâàÿ ìèãðàöèÿ Íàçíà÷åíèå ïåíñèè 0.4 Áåçîïàñíîñòü ãîñóäàðñòâà ×àñòíàÿ ìåäèöèíñêàÿ ïðàêòèêà 0.3 Ïîãðàíè÷íûé ðåæèì 0.2 Ïîãðàíè÷íûé ðåæèì 0.2 Âîäîñíàáæåíèå Ïëàòíûå îáðàçîâàòåëüíûå óñëóãè Èñïîëüçîâàíèå àòîìíîíîé ýíåðãèè 0 Âîäîñíàáæåíèå Ïëàòíûå îáðàçîâàòåëüíûå óñëóãè 0.1 Èñïîëüçîâàíèå àòîìíîíîé ýíåðãèè 0 0 0.2 0.4 0.6 0.8 Ïîëíîòà 1 1.2 1.4 0 0.2 0.4 0.6 0.8 Ïîëíîòà 1 1.2 1.4 АЛОТ Автоматизированная Лингвистическая Обработка Текста Автоматическая обработка текстов на основе Тезауруса Концептуальное индексирование Ранжированный информационный поиск: Тестирование (методика TREC): значительное увеличение полноты при сохранении точности поиска. Интегральная оценка: средняя точность поиска по терминам в 1.2 раза выше. Автоматическая рубрикация текстов - более 10 различных рубрикаторов - количество рубрик от 35 до 3000 - рубрика как сложный запрос Автоматическое аннотирование (summarization) текстов (первое место в номинации «Индикативная аннотация наилучшей длины» конференции по автоматическому аннотированию SUMMAC (1998)) Тематическая аннотация Обработка документов в УИС РОССИЯ источники конверторы Автоматизированная Лингвистическая Обработка Текстов *.HTM *.HDR *.PLM *.OUT *.POD WEB Администр. ORACLE www.cir.ru (Apache; OAS) АЛОТ: основные этапы • Конвертация файлов: формальные характеристики и неиндексируемые фрагменты • Графематический и морфологический анализ • Терминологический анализ: сопоставление с тезаурусом. Терминологический индекс • Разрешение многозначности терминов • Тематический анализ: формирование тематических узлов • Построение тематического представления: основные и локальные тематические узлы. Определение весов терминов • Определение рубрик по заданным рубрикаторам • Построение аннотации Формирование тезаурусной проекции текста • Для понятий текста (в том числе неподвержденных от многозначных текстовых входов) – Из тезауруса выгружаются все непосредственные отношения – устанавливаются те отношения, которые могут быть сведены к одному отношению по свойствам отношений • Получаем «проекцию» тезауруса на текст – сеть понятий сложной формы или совокупность нескольких сетей Разрешение многозначности терминов • Термин => Варианты понятий – Есть ли у понятия отношения с другими понятиями текста в тезаурусной проекции – Есть ли у понятия отношения с другими понятиями тезаурусной проекции в абзаце – Связаны ли варианты понятий между собой – выбирается более высокое по иерархии (заем) – Невыбранное понятие отражается сдвигом • Термин => Понятие с подтверждением (образование) Покрытие терминологией Тезауруса лексики НА РФ (Постановление Правительства РФ от 26 июня 1995 г. N 604) О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной власти субъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство для этой категории граждан; Определение важности термина • Сопоставление с тезаурусом приводит к распознаванию большого количества терминов в тексте • Необходимо определить значимость термина в тематической структуре текста => поставить вес термина • Можно использовать частотность термина в тексте и в коллекции • Но: термины текста – это не набор независимых элементов, между ними имеются отношения – отражены в тезаурусе Тематические линии терминов Тезауруса (Постановление Правительства РФ от 26 июня 1995 г. N 604) О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной власти субъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство Связь локальной и глобальной связности текста • Если мы сформулируем основную тему текста и посмотрим, как в тексте расположены слова, близкие по смыслу элементам основной темы, то мы увидим, что эти совокупности близких по смыслу слова как бы пронизывают весь текст, скрепляют его • Мы, имея тезаурус, можем «увидеть» эти цепочки близких по смыслу слов • Как добраться к основной теме и подтемам документа Тематическая структура текста (van Dijk) • Главная тема текста может быть сформулирована как пропозиция P(C1, …, Cn) • Главная тема уточняется в тексте с помощью подтем P1(C11, …, C1n1), P2(C21, …, C2n2), …, Pm(Cm1, …, Cmnm) • Каждое предложение текста соответствует какой либо подтеме текста • Что такое Cij в подтемах? В каждой подтеме должна быть хотя бы одна ссылка на тему или подтему более высокого уровня Тематические узлы • Для каждого понятия главной темы текст содержит близкие по смыслу понятия, необходимые для ссылки на это понятие в подтемах. • Такая структура выглядит как узел – тематический узел. • «Ниточки» близких по смыслу слов и словосочетаний имеют внутреннюю структуру – узел, когда все элементы цепочки наиболее близки одному центральному понятию. Как найти центры тематических узлов и построить узлы • Предполагаем: центральные понятия тематических узлов должны выделяться среди близких по смыслу понятий – частотность, заголовок. • Тематический узел должен включать близкие по смыслу понятия к центру тематического узла. Как определить близкие по смыслу понятия по тезаурусу? • Естественное определение: понятия, близкие по смыслу к понятию С – это такие понятия, для которых либо установлена прямая связь с понятием С (путь длины 1), либо путь до понятия С может быть сведен к одному отношению путем применения правил по свойствам отношений Сеть тематических узлов (Постановление Правительства РФ от 26 июня 1995 г. N 604) СОБСТВЕННОСТЬ (1) СООРУЖЕНИЕ (1) А ЗДАНИЕ (1) ДЕНЬГИ (22) СТРОИТЕЛЬСТВО (12) ЖИЛОЕ ЗДАНИЕ (1) ПЛАТИТЬ (1) ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО (4) А ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ (2) ПОКУПКА (6) МНОГОКВАРТИРНЫЙ ДОМ (1) ЖИЛОЕ ПОМЕЩЕНИЕ (25) НАНЯТЬ (13) А КВАРТИРА (2) В КОМНАТА (ПОМЕЩЕНИЕ) (1) НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ (13) ЖИЛАЯ ПЛОЩАДЬ (1) В ЖИЛИЩНАЯ НОРМА (2) Как найти главные тематические узлы • Главные тематические узлы – узлы, центры которых находятся в формулировке основной темы текста • Подтемы конкретизируют основную тему, должны раскрывать отношения между элементами главной темы => понятия главных тематических узлов должны встречаться рядом друг с другом чаще, чем с другими понятиями • Необходимо отразить единство основной темы – больше чем совокупность пар понятий Структура тематического представления Mc1 Основные тематические узлы MT1 Mc3 MT3 MT2 Mc2 Mck MTk TNj TNj+1 Локальные тематические узлы TNj+2 Тематическое представление текста • Главные тематические узлы • Локальные тематические узлы (имеют текстовые связи по крайней мере с двумя главными тематическими узлами) • Упоминавшиеся понятия • Важность понятия в тематическом представлении – – – – – Центр главного тематического узла Элемент главного тематического узла Центр тематического узла Элемент тематического узла Упоминавшееся понятие www.cir.ru/is4/ Пример релевантного документа по запросу «трудовая миграция» расширением запроса по иерархии тезауруса Структурная тематическая аннотация Документы, для которых трудно автоматически построить связную аннотацию: – Законы, международные договора – Интервью – Документы на других языках Тематическая структурная аннотация: – Основные тематические узлы – Указана их относительная частотность – Указана их относительная совместная встречаемость Тематическая аннотация (Постановление Правительства РФ от 26 июня 1995 г. N 604) ----+----------------------------------------------------------------------+ | ВОЕННАЯ СЛУЖБА; ВОЕННОСЛУЖАЩИЙ; ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ | ****| | | | | +------------------------------------------------------------------+ | | ЖИЛОЕ ПОМЕЩЕНИЕ; НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ; ОБЕСПЕЧЕННОСТЬ ЖИЛЬЕМ; | ****| X | КВАРТИРА; ЖИЛИЩНАЯ НОРМА; КОМНАТА (ПОМЕЩЕНИЕ); ЗДАНИЕ; | | | ЖИЛОЕ ЗДАНИЕ; ЖИЛАЯ ПЛОЩАДЬ | | | +--------------------------------------------------------------+ | | | ФИНАНСОВАЯ ПОМОЩЬ; | ****| z | z | | | | | +----------------------------------------------------------+ | | | | ГРАЖДАНИН | ****| X | z | . | | | | | | +------------------------------------------------------+ | | | | | УВОЛЬНЕНИЕ; | ****| X | z | . | X | | | | | | | +--------------------------------------------------+ | | | | | | СТРОИТЕЛЬСТВО; ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО; | ****| . | X | z | . | . | ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ; | | | | | | | +----------------------------------------------+ | | | | | | | ФЕДЕРАЛЬНЫЙ ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; | ****| X | . | z | . | . | . | ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; ПРАВИТЕЛЬСТВО; | | | | | | | | ПРАВИТЕЛЬСТВО РОССИИ; МИНИСТЕРСТВО ОБОРОНЫ; | | | | | | | | +------------------------------------------+ | | | | | | | | ПОКУПКА; ДЕНЬГИ; ПЛАТИТЬ; | ****| z | X | z | . | . | z | z | | Пример текстового документа Структурная тематическая аннотация для документов сложных жанров Автоматическое построение связной аннотации Системы автоматической рубрикации, реализованные на основе Тезауруса Классификатор Центральной Избирательной комиссии (450 рубрик, 4 уровня) Классификатор правовых актов РФ (Указ Президента РФ N511 от 15 марта 2000 г., 1169 рубрик) Классификатор экономической информации JEL (700 рубрик на английском языке) Классификатор социологических опросов ВЦИОМ (350 рубрик) Классификаторы по экономике и социологии ГРНТИ и др. Технология автоматического рубрицирования • Опора на знания, описанные в Общественно-политическом Тезаурусе • Представление рубрики в виде логической формулы для небольшого числа ОПОРНЫХ концептов, затем автоматическое расширение с использованием иерархической структуры Тезауруса • Независимый от конкретного рубрикатора (изменения состава рубрикатора) автоматический тематический анализ текста – выявление в тексте совокупностей близких терминов, выявление терминов, характеризующих основную тему и подтемы документов Схема описания рубрики Рубрика Альтернатива1 У11 И У12 И ИЛИ + ИЛИ У13 Альтернатива2 У21 И Условие22 ИЛИ + + Представление смысла рубрики опорными понятиями ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ПОСТАНОВЛЕНИЕ (от 26 декабря 2001 г. N 905) О подписании Соглашения между Правительством Российской Федерации и Правительством Туркменистана о сотрудничестве в области исследования и использования космического пространства в мирных целях … 090090000 Космическая деятельность T130817 T4200 T106444 T6783 T955 T956 T131907 T1023 T1022 T137619 T9340 T5962 T2497 ПУСК РАКЕТЫ КОСМОДРОМ БАЙКОНУР РАКЕТА-НОСИТЕЛЬ КОСМОНАВТИКА КОСМИЧЕСКАЯ ТЕХНИКА ЗАПУСК КОСМИЧЕСКИХ АППАРАТОВ КОСМИЧЕСКИЙ АППАРАТ СПУТНИКОВАЯ СВЯЗЬ КОСМИЧЕСКИЕ ИССЛЕДОВАНИЯ КОСМИЧЕСКАЯ МЕДИЦИНА АСТРОФИЗИКА ИСКУССТВЕННЫЙ СПУТНИК ЗЕМЛИ 12 8 8 6 6 4 3 2 1 1 1 1 1 64 64 63 63 62 62 61 61 61 60 60 60 60 15 Фрагмент рубрик, приписанных документу (Постановление Правительства РФ от 26 июня 1995 г. N 604) 150100020 T791 T792 T6999 090040000 T55 T482 T6217 020010040 T2576 T5109 150040000 T792 070070020 Содержание и порядок прохождения военной службы 95 ВОЕННАЯ СЛУЖБА ВОЕННОСЛУЖАЩИЙ ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ 29 17 2 95 76 62 Строительство СТРОИТЕЛЬСТВО ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ 81 12 4 2 81 64 62 Федеральные органы исполнительной власти ФЕД. ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ МИНИСТЕРСТВО ОБОРОНЫ 7 3 77 63 Кадры Вооруженных Сил Российской Федерации ВОЕННОСЛУЖАЩИЙ 17 15 76 76 Компенсационные и иные социальные выплаты T124039 КОМПЕНСАЦИЯ 77 75 75 Вопросы к лекции 1. Базовые семантические отношения. 2. Перечислите этапы автоматической обработки текстов на основе Тезауруса. 3. Опорные моменты технологии автоматического рубрицирования