Вопросно-ответные системы (ВОС). Определение

Friendly software should listen and speak …
Вопросно-ответные
системы
Анатолий Никитин гр.3539
Павел Райков гр.3539
1
План





Введение
QA-система Start
Статистические техники для анализа
естественного языка
Восстановление смысловых связей
Ссылки
2
Введение
3
Вопросно-ответные системы
Определение

Вопросно-ответная система:


информационная система
 Поисковая
 Справочная
 Интеллектуальная
использует естественно-языковой интерфейс
4
Источники информации

Сеть Интернет


Проблема доступа к внешним ресурсам
Локальное хранилище

Необходимость хранения локальной копии
информации
5
История и области
применения QA-систем


1960-е гг. – первые QA-системы
 Использовались как естественно-языковые оболочки для
экспертных систем
Современные QA-системы:
 Узкоспециализированные (closed-domain)

Области применения:








Медицина
Автомобили
Справочная информация
Японцы
…
Требования к точности ответов
Составление онтологий для предметных областей
Общие (open-domain)


Универсальность
Наиболее известная система – Start (1993 г.)
6
Архитектура QA-системы
Вопрос
Анализатор вопросов
Методы обработки
естественных языков (NLP)
Поиск документов
Фильтрация
Генератор ответов
Ответ
7
Проблемы











Типы вопросов
Обработка вопросов
Контекстные вопросы
Источники знаний для QA-систем
Выделение ответов
Формулировка ответа
Ответы на вопросы в реальном времени
Многоязыковые запросы
Интерактивность
Механизм рассуждений (вывода)
Профили пользователей QA-систем
8
Вопросно-ответная
система Start
9
QA-система Start.





http://start.csail.mit.edu
Создана в MIT Artificial Intelligence Laboratory в
1993 году под руководством Boris Katz
Универсальная
Использует английский язык
Источники знаний:



локальное хранилище (База Знаний)
сеть Интернет
Основания системы Start:


Применение особых методов NLP, разработанных
специально для системы Start
Идея создания аннотаций на естественных языках к
блокам информации
10
Start. Виды вопросов

Вопросы об определениях:


Вопросы о фактах:


What country is bigger, Russia or USA?
Списковые запросы:


Who invented the telegraph?
Вопросы об отношениях:


What is a fractal?
Show me some poems by Alexander Pushkin
…
11
Start. Примеры вопросов
География
1.
•
•
•
•
•
•
Give me the states that border Colorado.
What's the largest city in Florida?
Show me a map of Denmark
List some large cities in Argentina
Which is deeper, the Baltic Sea or the North Sea?
Show the capital of the 2nd largest country in Asia
Искусство
2.
•
•
•
When was Beethoven born?
Who composed the opera Semiramide?
What movies has Dustin Hoffman been in?
12
Start. Примеры вопросов
Наука и справочная информация
3.
•
•
•
•
•
•
What is Jupiter's atmosphere made of?
Why is the sky blue?
Convert 100 dollars into Euros
How is the weather in Boston today?
How far is Neptune from the sun?
Show me a metro map of Moscow.
История и культура
4.
•
•
•
•
What countries speak Spanish?
Who was the fifth president of the United States?
What languages are spoken in the most populous
country in Africa?
How many people live on Earth?
13
Start. База знаний
doc1
doc2
doc3
Parser
База Знаний
Generator
text
doc4
14
Start. База знаний

Состоит из 3-х частей:



Тернарные выражения (T-выражения)
Синтаксические/семантические правила
вывода (S-правила)
Каталог слов (Лексикон)
15
Start. Тернарные выражения




T-выражения – это выражения вида
<объект отношение субъект>
В качестве объекта/субъекта одного T-выражения могут
выступать другие T-выражения
Прилагательные, притяжательные местоимения,
предлоги и другие части предложения используются для
создания дополнительных T-выражений
Остальные атрибуты предложения (артикли, времена
глаголов, наречия, вспомогательные глаголы, знаки
препинания и т.д.) хранятся в специальной структуре
History, связанной с T-выражением.
16
Start. Пример T-выражения
“Bill surprised Hillary with his answer”
Parser
<<Bill surprise Hillary> with answer>
<answer related-to Bill>
17
Start. Обработка запросов с
помощью T-выражений
“Whom did Bill surprise with his answer?”
Анализатор вопросов
“Bill surprised whom with his answer?”
Parser
<<Bill surprise whom> with answer>
<answer related-to Bill>
База Знаний
Whom = Hillary
<<Bill surprise Hillary> with answer>
<answer related-to Bill>
Генератор
“Bill surprised Hillary with his answer”
18
Start. Обработка запросов с
помощью T-выражений
“Did Bill surprise with his answer?”
Анализатор вопросов
“Bill surprised Hillary with his answer?”
Parser
<<Bill surprise Hillary> with answer>
<answer related-to Bill>
База Знаний
Yes!
Генератор
“Yes, Bill surprised Hillary with his answer”
19
Т-выражения vs. ключевые
слова



The bird ate the young snake
The snake ate the young bird
The meaning of life
A meaningful life
The bank of the river
The bank near the river
20
Т-выражения vs. ключевые
слова

Ключевые слова:



Утрачивается информация о смысловых связях между
словами
Тексты сравниваются не со семантическим признакам,
а по статистическим характеристикам ключевых слов
T-выражения:



Отражают порядок слов в предложении и смысловые
связи между ними
Выразительной силы T-выражений достаточно для
составления аннотаций на естественных языках
Эффективны при индексировании
21
What do frogs eat?

Поиск, основанный на T-выражениях
выдал 6 ответов, из которых 3
правильных:




Adult frogs eat mainly insects and other small
animals, including earthworms, minnows, and
spiders
One group of South American frogs feeds mainly
on other frogs
Frogs eat many other animals, including spiders,
flies, and worms
…
22
What do frogs eat?

Поиск, основанный на ключевых словах,
выдал 33 результата, в которых также
встречались ответы на вопрос “What eats
frog?” и просто совпадения слов “eat” и
“frog”:



Bowfins eat mainly other fish, frogs, and crayfish
Cranes eat a variety of foods, including frogs,
fishes, birds, and various small mammals.
…
23
Start. S-правила
Проблема:
“Bill’s answer surprised Hillary”
=
“Bill surprised Hillary with his answer”
Parser
Parser
<answer surprise Hillary>
<answer related-to Bill>
=
<<Bill surprise Hillary> with answer>
<answer related-to Bill>
Решение:
S-правило Surprise
<<n1 surprise n2> with n3>
<n3 related-to n1>
<n3 surprise n2>
<n3 related-to n1>
Where ni € Nouns
24
Start. S-правила





S-правила описывают лингвистические вариации:
Лексические

Синонимы
Морфологические

Однокоренные слова
Синтаксические

Инверсии

Активный/пассивный залог

Притяжательные прилагательные
Также используются для описания логических
импликаций
25
Start. S-правила. Примеры
S-правило Sell-Buy
<<n1 sell n2> to n3>
<<n3 buy n2> from n1>
Where ni € Nouns
S-правило Kill-Die
<n1 kill n2>
<n2 die self>
Where ni € Nouns
26
Start. S-правила

Некоторые S-правила могут
использоваться в 2-х направлениях:

в прямом


при пополнении базы знаний новыми Tвыражениями
в обратном

при обработке запроса пользователя
27
Start. Лексикон


Некоторые S-правила применимы к
группам слов
В Лексиконе содержатся перечень слов
языка, причем для каждого слова указан
список групп, к которым оно относится
S-правило ERV
<<n1 v n2> with n3>
<n3 related-to n1>
<n3 v n2>
<n3 related-to n1>
Where ni € Nouns and v € emotional-reaction-verbs
28
WordNet



Семантический лексикон английского языка
Состоит из синсетов (смыслов)
Синсет:




несколько синонимичных слов
описание значения
Одно слово – несколько синсетов (значений)
150 000 слов, 115 000 синсетов, 207 000 пар
«слово – синсет»
29
WordNet. Семантические
отношения между синсетами

Существительные





Гиперонимы: Y – гипероним X, если X –
разновидность Y
Гипонимы: Y – гипоним X, если Y –
разновидность X
Равные по рангу: X и Y равны по рангу, если у
них общий гипероним
Голонимы: Y – голоним X, если X – часть Y
Меронимы: Y – мероним X, если Y – часть X
30
WordNet. Семантические
отношения между синсетами

Глаголы




Двигаться – гипероним Бегать
Шептать – гипоним Говорить
Спать – следование Храпеть
Ходить – равный по рангу Бегать
31
Start. WordNet

WordNet используется в системе Start при
поиске совпадения с T-выражениями



Пусть в базе есть T-выражение <bird can fly>
Canary – гипоним Bird
На вопрос: “Can canary fly?” Start ответит “Yes”
32
Start. Omnibase




«Универсальная база»
Используется для выполнения запросов о фактах
Модель «объект-свойство-значение»
Пример: “Federico Fellini is a director of La Strada”




Объект: La Strada
Свойство: director
Значение: Federico Fellini
Каждому объекту сопоставлен источник данных
(data source):

Star Wars
imdb-movie
33
Start. Omnibase. Примеры
Вопрос
Объект
Свойство
Значение
Who wrote the
music for Star
Wars?
Star Wars
Composer
John Williams
Who invented
dynamite?
Dynamite
Inventor
Alfred Nobel
How big is Costa
Rica?
Costa Rica
Area
51,100 sq. km
How many people
live in Kiribati?
Kiribati
Population
94,149
What languages are Guernsey
spoken in
Guernsey?
Languages
English,
French
Show me paintings
by Monet
Works
[images]
Monet
34
Start. Omnibase. Пример запроса
“Who directed gone with the wind?”
Start
Анализ вопроса
“Who directed X?”, X = “Gone with the wind”
Omnibase Генерация запроса “Gone with the wind” Каталог объектов
imdb-movie
(get “imdb-movie” “Gone with the Wind” “Director”)
Выполнение запроса
«обертка»
imdb-movie
“Victor Fleming”
Генерация ответа
“Victor Fleming directed Gone with the wind”
35
Start. Omnibase

Преимущества:



Единый формат запросов к базе
Естественность использования модели
«объект-свойство-значение»
Недостатки:

Необходимость написания «обертки» для
каждого источника данных
36
Start. Список внешних
источников данных













Wikipedia
The World Factbook 2006
Google
Yahoo
The Internet Movie Database
Internet Public Library
The Poetry Archives
Biography.com
Merriam-Webster Dictionary
WorldBook
Infoplease.com
Metropla.net
Weather.com
37
Семантическая паутина



Новая концепция развития сети Интернет
Проблема машинного анализа информации,
размещенной в Сети
Вся информация в Сети должна размещаться на
двух языках:



Человеческом
Компьютерном
Для создания компьютерного описания ресурса
используется формат RDF (Resource Description
Framework), основанный на:


Формат XML
Триплеты «Объект – Отношение – Субъект»
38
Start. Natural Language
Annotations





Предлагается к каждому информационному блоку
составлять аннотацию на естественном языке
Компромисс между машинно-читаемым и естественным
описанием информации
В базе знаний хранятся только аннотации с прикрепленными
ссылками на источники
Эффективная организация доступа к информации
произвольного типа:
 Тексты
 Изображения
 Мультимедиа
 Базы данных
 Процедуры
Аннотации могут быть параметризованы
39
Start. Natural Language
Annotations

Внедрение аннотаций:



Добавление аннотаций в RDF описания
документов
Использование параметризованных аннотаций
(схем доступа к информации)
Использование схем поиска ответов
40
Start. Добавление аннотаций



How many people live in Kiribati?
What is the population of the Bahamas?
Tell me Guam’s population.
41
Start. Добавление аннотаций
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
<rdfs:Class ID="Country">
<rdfs:comment>A Country in the CIA
Factbook</rdfs:comment>
</rdfs:Class>
<rdf:Property ID="population">
<rdfs:domain rdf:resource="#Country"/>
<rdfs:range rdf:resource="xsd:string"/>
<nl:ann text="Many people live in ?s"/>
<nl:ann text="population of ?s"/>
<nl:gen text="The population of ?s is ?o"/>
</rdf:Property>
42
Start. Параметризованные
аннотации




What is the country in Africa with the largest
area?
Tell me what Asian country has the highest
population density.
What country in Europe has the lowest infant
mortality rate?
What is the most populated South American
country?
43
Start. Параметризованные
аннотации
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
<nl:InformationAccessSchema>
<nl:ann>what country in $region has the largest
$attribute</nl:ann>
<nl:pattern>?x a :Country</nl:pattern>
<nl:pattern>?x map($attribute) ?val</nl:pattern>
<nl:pattern>?x :location $region</nl:pattern>
<nl:action>display(boundto(?x, max(?val)))</nl:action>
<nl:mapping>
<nl:hash variable="$attribute">
<nl:map value="population">:population</nl:map>
<nl:map value="area">:area</nl:map>
...
</nl:hash>
</nl:mapping>
</nl:InformationAccessSchema>
44
Start. Параметризованные
аннотации



Is Canada’s coastline longer than Russia’s
coastline?
Which country has the larger population,
Germany or Japan?
Is Nigeria’s population bigger than that of
South Africa?
45
Start. Параметризованные
аннотации
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
<nl:InformationAccessSchema>
<nl:ann>$country-1’s $att is larger than $country-2’s
$att</nl:ann>
<nl:pattern>?x a :Country</nl:pattern>
<nl:pattern>?x map($att) ?val-1</nl:pattern>
<nl:pattern>?y a :Country</nl:pattern>
<nl:pattern>?y map($att) ?val-2</nl:pattern>
<nl:action>display(gt(?val-1, ?val-2)))</nl:action>
<nl:mapping>
<nl:hash variable="$att">
<nl:map value="population">:population</nl:map>
<nl:map value="area">:area</nl:map>
...
</nl:hash>
</nl:mapping>
</nl:InformationAccessSchema>
46
Start. Схема поиска ответа




What is the distance from Japan to South
Korea?
How far is the United States from Russia?
What’s the distance between Germany and
England?
План ответа на такой вопрос:



Найти столицу одной страны
Найти столицу другой страны
Вычислить расстояние между ними
47
Start. Схема поиска ответа
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
<nl:InformationPlanningSchema>
<nl:ann>distance between $country1 and $country2</ann>
<nl:plan>
<rdf:Seq>
<rdf:li>what is the capital of $country1 := ?capital1</rdf:li>
<rdf:li>what is the capital of $country1 := ?capital2</rdf:li>
<rdf:li>what is the distance between ?capital1 and
?capital2
:= ?distance</rdf:li>
</rdf:Seq>
</nl:plan>
<nl:action>display(?distance)</nl:action>
</nl:InformationPlanningSchema>
48
Start. Natural Language
Annotations

Преимущества:





Описание информации на универсальном,
естественном языке
Одна параметризованная аннотация может
обрабатывать сотни вопросов
Автоматизация процесса составления
аннотаций
Запросы к Omnibase также описываются с
помощью аннотаций
Недостатки:

сложность внедрения
49
Start. Схема работы
вопрос
анализатор
вопросов
шаблон ответа
База знаний
WordNet
ответ
аннотация1
Parser
T-выражение
…
аннотация2
Запрос к Omnibase
ссылка
doc2
doc1
passage1
doc3
Omnibase
docN
WWW
Фильтр
passageM
passage2
генератор ответов
ответ
50
Start. Текущие разработки





Обработка составных запросов и их
автоматическая декомпозиция
Наращивание баз с целью повышения
избыточности информации
Автоматизация анализа семантических
связей в документах
Внедрение аннотаций
Особые стратегии поиска ответов для
различных предметных областей
51
Статистические
техники для анализа
естественного языка
52
Пример

The dog ate.
s
np
vp
det
noun
verb
the
dog
ate
53
Проблема
s
s
np
noun
vp
verb
sold
Salespeople
np
det
noun
noun
np
vp
noun verb
np
sold
the dog biscuits
Salespeople

np
det
noun
the
dog
noun
biscuits
Salespeople sold the dog biscuits.
54
Определение части речи
Sentence
The
det
can
will
rust
modal verb
modal verb
noun
noun
noun
verb
verb
verb
55
Принцип nвыбора части речи

arg max  p(ti wi )
t1..tn
t 1
n

arg max  p( wi ti ) p(ti ti 1 )
t1..tn
t 1
• t – таг (det, noun, …)
• w – слово в тексте (can, will…)
• p(t | w) – вероятность того, что таг t соответствует слову w
• p(w | t) – вероятность того, что слово w соответствует тагу t
• p(t1 | t2) – вероятность того, что t1 идёт после t2
56
Эффективность



Тупой – 90%
Современные – 97%
Человек – 98%
57
Скрытые модели Маркова
adj
0.218
0.0016
large 0.004
0.45
small 0.005
det
a 0.245
the 0.586
noun
0.475
house 0.001
stock 0.001
58
Другой подход
(transformational tagging)


Применяем тупой алгоритм.
Есть набор правил:




Поменять у слова таг X на таг Y, если таг
предыдущего слова – Z.
Применяем эти правила сколько-то раз.
Работают быстрее
Тренировка HMM vs. Тренировка TT
(Отсутствие начальной базы)
59
Treebank


Строим на основе предложения деревья,
пользуясь существующими грамматическими
правилами.
Пример:
(s (np (det The) (noun stranger))
(vp (verb ate)
(np (det the) (noun doughnut)
(pp (prep with) (np (det a) (noun fork)))))
60
Собственный Statistical
Parser

Проверка





Есть готовые примеры из Pen treebank
Сравниваем с ними
Нахождение правил для применения
Назначение вероятностей правилам
Нахождение наиболее вероятного
61
PCFG (Probabilistic contextfree grammars)







sp → np vp
vp → verb np
vp → verb np np
np → det noun
np → noun
np → det noun noun
np → np np
(1.0)
(0.8)
(0.2)
(0.5)
(0.3)
(0.15)
(0.05)
62
Считаем вероятность
построенного дерева
p(s, )   p(r (c))
c
s – начальное предложение
  – полученное нами дерево
 с – пробегает внутренние вершины дерева
 r(c) – вероятность применения r для с

63
Построение собственной
PCFG. Простой вариант.



Берём готовый Pen treebank
Считываем из него все деревья
Читаем по каждому дереву


Добавляем каждое новое правило
P(правило) = количество его вхождений,
делённое на общее количество
64
Two state-of-the-art statistical
parsers. Markov grammars



Решают проблему существования очень
редких правил
Идея – вместо хранения правил, считаем
вероятности того, что, например np = prep
+…
p(r f )   p(ti f , ti 1 )
tir

p(t1 | f, t2) – вероятность появления тага t2
после тага t1 внутри формы f.
65
Lexicalized parsing
p( s, )   p(h(c) m(c), t (c))  p(r (c) h(c))
c



Каждой вершине дерева припишем слово (head),
характеризующее её.
p(r | h) – вероятность того, что будет применено
правило r для узла с заданным h.
p(h | m, t) – вероятность того, что такой h
является ребёнком вершины с head = m и имеет
таг t.
66
Lexicalized parsing

Пример
(S (NP The (ADJP most troublesome) report)
(VP may
(VP be
(NP (NP the August merchandise trade deficit)
(ADJP due (ADVP out) (NP tomorrow)))))
p(h | m, t) = p(be | may, vp)

p(r | h) = p(posvp → aux np | be)

67
Lexicalized parsing


“the August merchandise trade deficit”
rule = np → det propernoun noun noun noun
Conditioning events
p(“August”)
p(rule)
Nothing
2.7*10^(-4)
3.8*10^(-5)
Part of speech
2.8*10^(-3)
9.4*10^(-5)
h(c) = “deficit”
1.9*10^(-1)
6.3*10^(-3)
68
Восстановление
смысловых связей
(Causal Reconstruction)
69
Пример

Одна из нескольких парных дугообразных
плоских костей, идущих от позвоночника к
грудной кости и составляющих грудную
клетку.
70
Пример

Ребро. Одна из нескольких парных
дугообразных плоских костей, идущих от
позвоночника к грудной кости и
составляющих грудную клетку.

Существует ли для каждого ребра пара?
Из чего состоит грудная клетка?
Кратно ли количество рёбер 2?


71
Задача CR (Causal
Reconstruction)

Имея такое описание предмета из
энциклопедии, программа должна уметь
отвечать на содержательные вопросы.
72
Пространство переходов
(Transition space)

Рассматриваем процессы, как цепочки
переходов


The perception of causality
Качественные изменения


Пример
Удобно генерировать из словесных
докладов
73
Смысловое моделирование
(Causal modeling)

Нефильтрованный ввод
74
Задачи человека, делающего
входные данные для CR




Количество
Качество
Связность
Стиль
75
Проверка созданной модели
76
Проверка созданной модели

Количество


Качество



Согласованность
Выполнимость
Связность


Добавляются ли новые объекты?
Создание смыслового отношения на множестве
объектов
Стиль

Можно ли “ужать” созданную модель?
77
Упрощения. 3 типа предложений



Событийные
Задающие статические связи между
объектами
Связывающие
78
Дополнительный ввод





Добавление новых статических связей и
утверждений
Определение событий
Предшествующие события
Правила вывода
Правила подтверждения
79
2 уровня понимания
созданной модели


События
Объекты
80
3 типа допустимых вопросов.
Уровень объекта

Вопросы связанные с изменением
атрибутов объекта с течением времени

Что происходит с позицией курсора во время
завершения работы Windows?
81
3 типа допустимых вопросов.
Уровень события

Отношение событий между собой


Как изменение длины волны света влияет на
изменение ширины интерфереционной полосы
в опыте Фраунгофера?
Возможные отношения между событиями,
описанными в вопросе, и уже созданной
моделью

Как изменение влажности может повлиять на
настроение?
82
Пространство переходов




Представление мира человеком с
помощью событий и объектов
Восприятие времени как
последовательность breakpoint’ов
Качественное восприятие
Соединение изменений
83
Состояния против изменений
(States vs. Changes)


Пример
Changes используются в речи
84
Пример





The contact between the steam and the
metal plate appears.
The concentration of the solution increases.
The appearance of the film changes.
The pin becomes a part of the structure.
The water remains inside the tank.
85
Пример





The contact between the steam and the
metal plate appears.
The concentration of the solution increases.
The appearance of the film changes.
The pin becomes a part of the structure.
The water remains inside the tank.
86
Классификация изменений
Общая


APPEAR
DISAPPEAR


NOT-APPEAR
NOT-DISAPPEAR
87
Специализация для
NOT-DISAPPEAR
Качественные атрибуты
CHANGE
NOT-CHANGE
Количественные атрибуты
INCREASE
DECREASE
NOT-INCREASE
NOT-DECREASE
88
Предикатная нотация




Название изменения
Атрибут
Объекты-участники
Точки времени
89
Пример





APPEAR(contact, <the-steam, the-metal-plate>, t1, t2)
INCREASE(concentration, the-solution, t3, t4)
CHANGE(appearance, the-film, t5, t6)
APPEAR(a-part-of, <the-pin, the-structure>, t7, t8)
NOT-DISAPPEAR(inside, <the-water, the-tank>,
t9, t10)
90
Грамматики. Первая форма




<input sentence> ::=
<attribute-expression> <verb-group>
<attribute-expression> ::=
the <attribute> <preposition> <noun-phrase>
{ { <preposition> | and } <noun-phrase> }*
<verb-group> ::= CHANGE | APPEAR и т.д.
The concentration of the solution increases.
91
Грамматики. Вторая форма




<input sentence> ::=
<object> <verb-group> <predicate-modifier>
<predicate-modifier> ::=
<attribute> [ [<preposition>] <noun-phrase>
{ { <preposition> | and} <noun-phrase> }* ]
<verb-group> ::= becomes | becomes not |
remains | remains not
The water becomes a vapor.
92
Ссылки
1.
2.
3.
4.
5.
6.
7.
CLEF. http://clef-qa.itc.it/
WordNet. http://wordnet.princeton.edu/
Pen treebank.
http://www.cis.upenn.edu/~treebank/
Start. http://start.csail.mit.edu/
TREC. http://trec.nist.gov/
Eugene Charniak [1997], “Statistical
Techniques for Natural Language Parsing”
Gary C. Borchardt [1993], “Causal
Reconstruction”
93
Ссылки
8.
9.
10.
11.
12.
Boris Katz, Beth Levin [1988] “Exploiting Lexical
Regularities in Designing Natural Language
Systems”
Boris Katz and Jimmy Lin. Annotating the
Semantic Web Using Natural Language.
September, 2002.
Boris Katz, Sue Felshin, Deniz Yuret, Ali Ibrahim,
Jimmy Lin, Gregory Marton, Alton Jerome
McFarland and Baris Temelkuran. Omnibase:
Uniform Access to Heterogeneous Data for
Question Answering. June, 2002.
SEMLP. http://semlp.com/
RCO. http://www.rco.ru/
94