На правах рукописи ШЕМЕНКОВ Павел Сергеевич РАЗРАБОТКА И ИССЛЕДОВАНИЕ

На правах рукописи
ШЕМЕНКОВ Павел Сергеевич
РАЗРАБОТКА И ИССЛЕДОВАНИЕ
МОДЕЛИ НЕЙРОСЕТЕВОГО МЕТОДА
АНАЛИЗА ТЕКСТОВЫХ ДОКУМЕНТОВ
05.13.18 - Математическое моделирование,
численные методы и комплексы программ
Автореферат
диссертации на соискание ученой степени
кандидата технических наук
Санкт-Петербург
2009
Работа выполнена в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича.
Кандидат технических наук, профессор
Научный руководитель:
Макаров Леонид Михайлович
Директор, главный конструктор ФГНУ
«НИКТИ БТС»
Официальные оппоненты:
д.т.н., профессор
Шаповалов Валентин Викторович
Генеральный директор ЗАО ДЕСМА
к.т.н., доцент
Алипов Александр Николаевич
НИИ промышленной и морской медицины
Федерального
управления
медикобиологических и экстремальных проблем
Ведущая организация:
при Минздраве России
Защита состоится «12» ноября 2009 года в ________ часов на заседании диссертационного совета Д 219.004.03 при Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича по адресу: 191186 Санкт-Петербург, наб.
реки Мойки, 61.
С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича.
Отзыв на автореферат в двух экземплярах, заверенных печатью учреждения, просим направлять по вышеуказанному адресу на имя ученого секретаря диссертационного
совета.
Автореферат разослан «8» октября 2009 г.
Ученый секретарь диссертационного совета
кандидат технических наук, профессор
Л.М. Макаров
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Наиболее распространенной формой представления знаний являются естественно-языковые тексты. Текстовая форма знаний естественна для
человека, такие знания легко воспринимаются, порождаются, тиражируются и модифицируются. Новые возможности позиционирования текстов, связанные с масштабным использованием компьютерной техники, а также доступность методов записи и хранения
информации, привели к бурному росту количества информационных ресурсов. Необходимость изучения и осмысления все возрастающего объема неструктурированной текстовой информации на естественном языке актуализирует проблему анализа.
Теоретическое обоснование методов анализа рассмотрено в работах В.А. Ядова,
Т.М. Дридзе, А.Р. Лурия, М. Шлика, Р. Карнапа, О. Нейрата. Вышеупомянутые работы, в
основном, посвящены рассмотрению смежных проблем анализа текстовых документов.
Основным из направлений данной диссертационной работы рассматривается проблема
кластеризации и систематизации текстовых документов информационного ресурса.
Задача анализа текстовых документов ориентирована на извлечение знаний и является в настоящее время актуальной проблемой, затрагивающей различные сферы человеческой деятельности, поскольку ее решение позволит полностью автоматизировать
процесс обработки, классификации и систематизации информационного ресурса. Процесс аналитической обработки текстов требует создания принципиально новых моделей,
методик и систем, которые следует отнести к разряду систем искусственного интеллекта - систем обработки знаний. Задача автоматического анализа естественных текстов, в определенной степени формируется при участии эксперта. Надо отметить, что
для экспертной оценки нет необходимости в построении модели естественного текста,
реализующей глубинный семантический анализ текста. Одной из актуальных задач, решаемых экспертами, является определение отношений между объектами, которыми являются области знаний. Наиболее адекватно отношения между объектами представляются семантическими сетями. Традиционная интерпретация семантической сети позволяет получать только представление о структуре отношений между объектами, которой
недостаточно для проведения полноценного аналитического исследования. Поэтому в
работе предлагается расширение семантической сети для представления информации о
классификации отношений между объектами и о принадлежности объектов к классам
предметной области. В основе модели знаний находится семантическая сеть, узлы которой сопоставляются с областями знаний, а связи соответствуют отношениям между ними.
3
Цели и задачи исследования. Целью диссертационной работы является разработка и исследование модели нейросетевого метода автоматического анализа текстовых
документов на естественном языке для формирования семантической базы знаний и повышения эффективности работы эксперта по знаниям. Для достижения поставленной
цели последовательно решены следующие задачи исследования:
1) Рассмотрены известные модели и методы анализа документов;
2) Разработан алгоритм формирования информационных образов электронных текстовых документов, включающий механизм сокращения признаков, основанный на предложенном подходе к оценке тематической значимости признаков документов;
3) Разработан метод нейросетевого анализа коллекции текстовых документов, основанный на самоорганизующихся картах Кохонена;
4) Разработан метод самокоррекции системы путем автоматического вычисления внутренних показателей распределения;
5) Разработана структура информационно-аналитической системы (ИАС) автоматического анализа полнотекстовых документов, реализующей предложенные методы;
6) Реализован алгоритм представления результата анализа в виде семантической сети;
7) Осуществлено исследование разработанного алгоритма и проведена проверка предложенного метода анализа коллекций документов.
Объект и предмет исследования. Объектом исследования являются документы
на естественном языке, как форма представления предметной области. Предметом исследования являются процессы автоматизированного выявления и формализации знаний, представленных в форме онтологии.
Методы исследования. В диссертационной работе использованы модели и методы искусственного интеллекта, лингвистики, математической статистики, кластерного
анализа, теории множеств, метод экспертных оценок, теории информации, теории баз
данных и программирования.
Обработка текстов, нейросетевое моделирование процессов, а также оценка качества извлечения знаний производились автором с помощью самостоятельно разработанной ИАС. При разработке ИАС применялись методы объектно-ориентированного программирования с использованием среды разработки Borland Delphi 7 Enterprise.
Научная новизна. Проведенные исследования позволили создать модель
нейросетевого метода к содержательному анализу неструктурированных текстов на
естественном языке для произвольных массивов документов без ограничений на тематику и объем при отсутствии априорной информации формализации их содержания.
Предложен подхода к решению задачи анализа текстовых документов, который
состоит в использовании единой методологии, основанной на концептуальной модели
4
эксперта, для реализации всего цикла извлечения знаний, с возможностью интерактивного участия эксперта в процессе.
Предложен подход к оценке тематической близости документов с использованием метода сокращения пространства признаков, составляющих информационные
образы, что позволило повысить качество и скорость выполнения анализа коллекции
текстов.
Предложен метод кластерного анализа, включающий механизмы самокоррекции и саморегуляции в процессе построения онтологии предметной области.
Разработана структура ИАС «NeuroText», представляющая собой целостною интерактивную систему, состоящую из взаимосвязанных компонентов, позволяющих осуществлять построение онтологии коллекции документов.
Достоверность научных положений и выводов диссертационной работы подтверждена практической реализацией разработанных моделей и методов, а так же результатами проведенных экспериментов.
Практическая ценность работы. Предложенный подход к автоматическому
анализу документов позволяет решить проблему содержательного анализа информации,
как по всей коллекции документов, так и по ее подмножествам, отражающий семантические связи между областями знаний и позволяющий автоматически получать вербальные описаниями областей знаний. Практическим результатом применения метода извлечения структурных знаний из текстов на основе нейросетевой модели является разработка ИАС «NeuroText». ИАС включает три основных компонента: информационная часть,
компонент импортирования данных (интегратор), модуль работы с искусственной
нейронной сетью (ИНС). Информационная часть обеспечивает накопление, хранение и
предоставление информации, и реализует интерфейс пользователя. Компонент импортирования данных обеспечивает импортирование накопившихся данных из базы данных в
модуль работы с нейронной сетью. Компонентом реализуется подготовка данных для
сети. Модуль работы с ИНС обеспечивает автоматическое построение нейронной сети
на основе множества входных параметров решаемой задачи с соответствующими выходными состояниями, способной классифицировать поступающую информацию. В основу работы компонента положен алгоритм самоорганизации. Результатом работы компонента является граф – образ интеллектуальной модели решаемой задачи.
Граф – образ, дополненный семантическим набором отношений элементов, позиционирует модель знаний, что позволяет перейти на более высокий уровень представления информации (естественный для мышления человека), и одновременно с этим ввести
качественные и количественные категории. В модели осуществляется извлечение ассоциаций подграфа семантической сети и формируется матрица отношений, отражающая
5
связь между элементами графа. Такой подход позволяет эксперту осуществлять сопоставление фрагмента семантической сети с естественными текстами, в которых встречается подобные отношения.
Сфера применения разработанной модели анализа текстовых документов обширна: информационно-поисковые системы, системы автоматической классификации, библиотечно-справочные системы, поисковые роботы, системы обработки информации.
Апробации результатов и публикации. Основные положения и результаты работы были доложены автором и обсуждались в период с 2006 по 2009 годы на научнотехнических конференциях профессорско-преподавательского состава, научных сотрудников и аспирантов ГУТ им. проф. М. А. Бонч-Бруевича: №59 2007г., №61 2009г., 2-ом
международном конгрессе «Нейробиотелеком-2006», 3-ем международном научном
конгрессе «Нейробиотелеком-2008».
Реализация результатов работы.
результаты
диссертационной
работы
Основные теоретические и практические
использованы
в
госбюджетной
научно-
исследовательской работе «Нейросемантический интерактивный анализатор информационного ресурса» /Санкт Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 2009г., рег. № 080-09-054/5/
Основные положения, выдвигаемые на защиту:
-
Модель нейросетевого метода автоматического анализа коллекции полнотексто-
вых документов, отражающая деятельность эксперта по знаниям;
-
Алгоритм выделения информативных признаков коллекции документов и форми-
рования информационных образов документов;
-
Компьютерная модель и алгоритм анализа коллекции полнотекстовых докумен-
тов;
-
Алгоритм оптимизации ассоциаций подграфа семантической сети;
-
Результаты экспериментальных исследований, полученные посредством ИАС, ха-
рактеризующих адекватность экспертного и компьютерного анализа коллекций документов.
Личный вклад автора. Основные научные положения, теоретические выводы и
рекомендации, анализ результатов поставленных экспериментов, содержащихся в диссертационной работе, получены автором самостоятельно.
Публикации. По теме диссертации опубликовано 6 научных работ, в том числе 1
в издании, рекомендованных ВАК науки России.
Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, списка литературы, включающего 120 наименований, и приложения. Работа
содержит 144 страницы текста, 51 рисунок и 9 таблиц.
6
СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность исследуемой проблемы, определяется
цель работы, выбираются направления исследований, обеспечивающих достижение поставленной цели.
В первой главе рассматривается роль текста как основного источника информации и средства коммуникации. Проведен обзор предметной области исследования, выделены проблемы анализа текстов на основе нейросетевых методов, отмечена актуальность
разрабатываемой проблемы для решения широкого круга практических задач.
Получение информации из текста осуществляется различными методами, которые
получили название метода анализа документов. Признавая необходимость получения
качественных и количественных показателей, характеризующих как семантические элементы отдельного документа, так и коллекции документов, выделяются два подхода:
неформализованный - проведение анализа документов экспертом (исследователем) и
формализованный - с помощью компьютерных систем.
В рамках первого подхода в качестве основы принимается гипотеза о том, то эксперт, самостоятельно способен провести анализ коллекции документов и определить семантические линии каждого документа в коллекции, с целью установления их близости.
Этот метод основан на интуиции исследователя и поэтому подвержен опасности субъективных смещений в восприятии и интерпретации материалов. Кроме того, различные
эксперты могут одну и ту же информацию, содержащуюся в тексте, по-разному интерпретировать и придавать ей различную степень семантической значимости. На этой основе делается вывод о необходимости проведения объективного анализа текстовых документов.
В рамках второго подхода выделена группа методов, реализация которых требует
использования специальных формализованных вычислительных процедур, в том числе и
таких которые моделируют аналитический процесс отыскания экспертной оценки. Надо
признать, что формализованный метод анализ текстовых документов ориентирован на
извлечение различной информации, что в значительной степени отвечает современным
требованиям работы с информационными ресурсами. Использование формализованного
анализа документов позволяет создать наборы статистических характеристик текстов, в
основе которых отражены существенные семантические линии, представленные в анализируемых коллекциях документов. Полагая, что элементарный объект изучаемого текстового документа, позиционируется словом или словосочетанием, указана возможность
создания формализованных правил анализа, реализация которых требует наличия модели позиционирования текстовых документов.
7
Во второй главе рассмотрены основные модели позиционирования текстовых
документов, произведена формализация задачи анализа текстовых документов и представлены методы решения, из которых выбран нейросетевой метод.
Эксперт
(инструмент познания мозг)
Нейронная сеть
Объекты окружающего
мира
(текстовые документы)
Исследует
Нейросетевая
модель
Математическая
модель
нейронной сети
Познающий субъект
Сущность
Имеет
Атрибуты сущности
Свойство
1
Свойство
2
…...
Свойство
N
Цель
Онтология
Рис. 1. Модель нейросетевого метода анализа текстовых документов.
Показано, что анализ текстовых документов воспроизводит задачу кластеризации
и построения компактного образа коллекции документов. Основная цель такого анализа
выделить в исходных данных однородные группы, которые позиционируют семантически близкие элементы. В диссертационной работе процедура кластерного анализа реализуется поэтапно: на множестве объектов D={d1,d2,…dn}, выделяется совокупность
подмножеств (кластеров) C={ci} i=1..Nc, состоящих из Nc классов объектов в соответствии с некоторым критерием схожести элементов (на основе некоторых априорных
правил). Сходство элементов множества D обуславливается наличием набора признаков
- F={f1,f2,…fm}, характеризующих элементы множества D. Процедура кластеризации f
объектов dj
D реализуется посредством модификации исходных объектов, после чего
делается вывод о соответствии dj одной из структур fi , что означает отнесение dj к классу
ci. Применительно к текстам на естественном языке, элементами множества D являются
электронные текстовые документы. Общая модель представлена алгебраической системой следующего вида:
R  D, C , F , Rc , f 
где D – множество текстов, подлежащих анализу, C - множество классов-рубрик, F –
множество описаний, Rc – отношение на CxF, f – операция классификации вида T
Отношение Rc имеет свойство:
ci  C! Fi  F : (ci , Fi )  Rc
8
C.
В этом случае избранному классу соответствует единственное описание.
Установлено, что метод представления документа в виде образа в многомерном
пространстве позволяет формализовать лингвистические знания, так что значения признаков лингвистических объектов – текстов – выражаются количественно. Это помогает
наглядно представить структуру текстов с многообразием их лексических, синтаксических и семантических связей.
Используя введенные определения, полагаем, что каждому терму ti в документе dj
сопоставляется неотрицательный весовой коэффициент wij. Сопоставление производится
таким образом, что каждый документ dj позиционируется в виде k-мерного вектора
 def
d j  ( w1 j , w2 j ,..., wkj ), где k - общее количество различных термов во всех документах.
В качестве веса терма значения wij в документе dj используется нормализованная частота употребления терма в данном документе, учитывающая актуальность терма по всей
коллекции документов:
D
 log  
N ij
 di 
nij
wij 
 nij
 D 

 

log
j  N
 d t 
 i 
 ij
2
,
где n – частота встречаемости терма i в тексте j, N – общее количество слов в тексте j,
dti – число документов, в которых употребляется терм ti, D – общее число документов
в массиве.
В результате, каждый документ коллекции описывается набором параметров, характеризующих уникальность каждого документа в коллекции:
d i  {t i1 ,..., t ij }
где,
wij, t ij  d i
t ij  
 0, t ij  d i
tij – координата вектора i-ого документа в j-ом измерении пространства признаков,
tij = 0, если j-ый признак не встречается в i-ом документе.
Согласно векторному представлению, близость документа di к dj оценивается как
значение коэффициента корреляции между векторами их описаний:
Dist (d i , d j ) 
Np
 (d
k 1
ki
 d kj ) 2
В качестве метода автоматического анализа текстовой коллекции рассматривается
нейросетевой классификатор на основе самоорганизующихся карт Кохонена. Самоорганизующиеся карты Кохонена представляют собой автоматизированные методы анализа
9
данных и выявления закономерностей в больших объемах информации. Особенность
метода заключается в том, что при исследовании не требует никаких априорных предположений о распределении данных.
Предложенный алгоритм анализа формируется следующим образом:
1) Начальная инициализация плоскости Wj(0) осуществляется произвольным распределением весовых векторов на гиперсфере единичного радиуса.
2) Загрузка входного вектора текста dj и вычисление меры подобия S(dj,Wi) для каждого i
– ого нейрона сети. Нейрон, для которого критерий Евклидова расстояния Si минимален,
S i  arg min d j  Wi , i  1,..., N
считается текущим центром и для него определяется размер области соседства, который
характеризуется коэффициентом hj(t)
3) Коррекция весовых коэффициентов для всех нейронов, попадающих в область hj(t),
производится по выражению:
W j (n  1)  W j (n)   (n)  h(n)  (d i  W j (n))
где  (n) - шаг обучения, уменьшающийся с течением времени, hij (n) - функция окрест-
ности в победившем нейроне j.
4) Проверка условия остановки:
- ограничение количества циклов константой;
- входные вектора не переходят между кластерными элементами – отсутствие изменений
в составах групп (кластеров) на протяжении нескольких итераций:
Ci  {d ik }  const , i  1, N c
где k – количество объектов в кластере.
- изменения весовых коэффициентов нейронной сети становятся незначительными - для
заданного множества объектов x j достижение минимума функции:
min( e 2 )   j 1 i1j di( j )  c j
K
N
2
В противном случае возврат к п.2 и вычисления продолжаются, до тех пор, пока
не выполнены условия остановки.
Для рассматриваемой задачи анализа характерно, что один алгоритм может привести к различным вариантам разбиения данных в зависимости от настройки параметров
модели.
Для оценки кластеризации множества документов предложена процедура,
основанная на вычислении мер оптимального функционала разбиения данных, которая
реализуется поэтапно:
1) Сравнение внешних мер - сопоставление с «экспертным» заключение;
10
2) Сравнение внутренних мер - анализ внутренних свойств, присущих конкретному
набору данных с использованием Индекса Данна (FDI):

min  ci ,c j
FDI 

i j
max (ci )
1 l  N c
где  (ci , c j ) - мера расстояния между кластерами, (сi ) - мера диаметра кластера.
Оптимальным принимается разбиение, при котором значение FDI максимально.
Следует отметить, что предложенная процедура создания оценки качества, хорошо согласуется с мнением эксперта.
В третьей главе описан разработанный нейросетевой подход к автоматическому
анализу документов, который применяется при отсутствии предопределенного знания об
исследуемых объектах, и формирует группы (кластеры) документов на основе автоматического анализа тематической близости между ними.
Выделены основные процедуры нейросетевого метода анализа текстового материала, которые представлены на рис.2.
Коллекция
документов
Параметры алгоритма
интеррактивного
формирования образов
Параметры нейросетевого
алгоритма кластеризации
документов
Параметры алгоритма
формирования
семантического графа
Формирование
информационных
образов
документов
(модуль
индексации)
Нейросетевой
анализатор
(модуль
кластеризации)
Построение
онтологии
коллекции
документов
(модуль
онтологии)
Информационные
образы
документов
Кластеры
документов
и отношения
между ними
Онтология
предметной
области S
Рис. 2. Процедурная схема алгоритма анализа текстовых документов ИАС
Последовательность решения задачи автоматического анализа текстовых документов, состоит из следующих основных этапов:
- Формирование информационных образов документов – модуль индексации;
- Формирование множества тематических групп документов, содержащего семантические связи между его элементами – модуль кластеризации;
- Построение онтологии предметной области - модуль онтологии.
Входными данными в задаче анализа являются информационные образы документов, которые представляют собой многомерные векторы в пространстве признаков
документов и характеризуют смысловое содержание исходных документов. В соответствии с выбранной моделью представления документов, в качестве смысловых признаков используются одиночные слова из текстов, прошедшие морфологический анализ и
оценку их значимости, основанную на частоте встречаемости слов в текстах. Процедура
11
приписывания набора терминов каждому документу определена операцией индексирования и выполняется автоматически (рис. 3).
Коллекция
документов
D
Извлечение
признаков
(термов) из
документов
Словарь
термов
документов
Отображение
документов в
пространстве
признаков
(взвешивание
признаков)
Образы
документов
Выделение
тематических
признаков
документов
Информационные
образы
документов d
j
Рис. 3. Процедурная схема формирование образов документов dj D
В процессе анализа коллекции документов сходство вычисляется как геометрическая близость векторов этих документов в пространстве признаков. Процедуры анализа
коллекции документов, проводящие к количественной систематизации исходных данных, реализуется программой выделения структуры данных на основе по парного сравнения элементов исходного массива. Принцип работы программы – нейросетевого анализатора проиллюстрирован на рис. 4.
Параметры сети
Информационные
образы
документов
d
Инициализация
нейронной сети
j
Критерии остановки
Инициализированная сеть,
информационные
образы документов
Итерационное
обучение
Обученная
сеть
Оценка
оптимального
распределения
Матрица
расстояний
между
кластерами M с
Рис. 4. Принцип организации работы нейросетевого анализатора.
Выходными данными нейросетевого анализатора является набор тематических
групп документов. Выбор алгоритма работы анализатора обусловлен требованиями близости экспертной и компьютерной оценки коллекции текстовых документов. Следуя
этим представлениям, произведем сопряжение граф – образа с семантической сетью, используя процедуру, иллюстрация которой представлена на рис. 5. В таком случае граф –
образ отождествляется с онтологией.
Порог выделения
родственных связей
между кластерами
Кластеры документов
и таблица близости
между ними М
с
Выявление
родственных
связей между
кластерами
документов
Выделение значимых
термов
Кластеры документов
и родственные связи
между ними
Формирование
вербальных
описаний
кластеров
Онтология
предметной
области
S
Рис. 5. Процедура преобразования набора кластеров в онтологию.
В этой процедуре тематическим группам автоматически формируется набор идентификаторов, сформированных из тезаурусу ключевых слов кластера. Количественная
оценка качества извлечения знаний, формируемая на основе модели, строится на основе
12
анализа внешних и внутренних мер качества. Внешние меры основаны на сравнении автоматического разбиения данных с полученным от экспертов «эталонным» разбиением
этих же данных. Внутренние меры основаны на оценке свойств отдаленности и компактности полученного разбиения данных.
Объединяя описанные процедуры, формируем структуру информационноаналитической системы «NeuroText».
Отображение
результатов
анализа
Интерактивный
выбор параметров
Ввод коллекции
документов
Компонент
кластеризации
Кохонена
Компонент
формирования
вербального
описания
кластеров
Компонент
формирования
коллекции текстов
Компонент
вычисления
внутренних мер
качества
разбиения
Компонент
формирования
графического
отображения
семантического
графа
Пользовательский интерфейс системы
Компонент
выделения основ
слов (Stemming)
М. Портера
Компонент
индексации
текстового
документа
Компонент
выделения
значимых
признаков
Компонент
формирования
тезауруса
Компонент управления данными
База данных
Коллекция полнотекстовых документов и
информация о результатах анализа
Рис. 6. Структура ИАС «NeuroText»
На основании введенных представлений формируется модель нейросетевого метода
анализа, которая предусматривает:
-
выделение информационных признаков документов коллекции;
-
интерактивный режим работы эксперта по знаниям при анализе документов;
-
автоматическое определение количества тематических групп – кластеров на основе
внутреннего критерия оптимизации;
-
определение индивидуальных и групповых количественных характеристик докумен-
тов, образующих коллекцию;
-
выделение семантических детерминант – термов, характеризующих тематическую
подборку в кластере;
-
построение онтологии текстовой коллекции;
13
В четвертой главе рассмотрены результаты экспериментов, выполненных с целью проверки эффективности работы модели, методов и алгоритмов, представленных в
работе.
Используя интерактивное окно настройки системы ИАС «NeuroText», которое
представлено на рис. 7, осуществлены экспериментальные исследования:
-
Выбора эмпирических значений входных параметров алгоритма формирования обра-
зов полнотекстовых документов;
-
Формирования оценки тематической близости документов;
-
Автоматического определения предметных областей знаний на основе анализа внут-
ренних свойств коллекции документов;
-
Автоматического формирования графа – образа с семантическими идентификаторами
коллекции документов;
-
Сравнительной оценки экспертной кластеризации коллекции документов с результа-
том работы нейросетевого алгоритма.
Рис. 7. Интерфейс программного модуля
По результатам исследования сделано заключение:
-
документы, позиционируемые в Евклидовом пространстве, обладающие меньшим
значением Dist (d i , d j ) , являются тематически близкими, и наоборот, при больших значениях Dist (d i , d j ) сходство документов уменьшается.
-
модель нейросетевого метода эффективно реализует разделение коллекции докумен-
тов на тематические группы.
-
адекватное выделение тематической - семантической линии документа, при приме-
нении модели нейросетевого метода возможно, если отношение уникальных термов в
документе к общему количеству термов не превышает порога I=0,80.
14
-
тематически близкие документы формируют кластеры высокой компактности, что
2
характеризуется минимальными значениями внутрикластерного расстояния min( e ) .
-
предпочтительными коэффициентами являются: T(df), Dopt(t) используемые для вы-
деления информативных термов, при условии {T(df);Dopt(t)}={2;0,04Dmax(t)}, где
Dmax(t)D(T)
-
оптимальное решение разбиения коллекции документов достигается при максималь-
ном значении FDI.
-
Полученные результаты оказались близкими с мнениями эксперта в ряде случаев не
имеющих количественной оценки, что проиллюстрировано на рис. 8.
писател
19
роман
русск
33
поэт
костинск
17
воспоминан
карэн
23
любов
ткачук
19
женщин
философ
30
религ
дет
24
ольг
вайл
19
петр
банк
17
росс
ЕС
государств
Путин
26
19
эстрад
20
предприят
кодекс
19
игр
росс
протокол
НАТ
музык
фильм
17
европейск
15
26
17
театр
51
конвенц
ЕС
кин
судн
ЕС
союз
машин
вод
14
18 европейск
27
21
самолет
Буш
самц
20
автомобил
рек
11
язык
парт
динозавр
робот
вирус
16
24
программирован14
ген
животн
файл
машин
google
19
14
17
сайт
головн
организм
кошк
пользоват
19
16
интернет
мозг
квант
windows
12
23
одежд
Масульманск
физик
microsoft
16
16
ткан
религиозн
Рис. 8. Онтология предметных областей.
Заключение по результатам проведенных исследований и разработок
1. Установлена актуальность проведения исследований коллекций документов.
2. Проведено исследование существующих моделей анализа текстовых документов.
Показана необходимость создания модели и методов, повышающих эффективность
работы эксперта по знаниям с текстовыми документами. Для исследований и разработки выбрана нейросетевая модель анализа.
3. Разработана и исследована модель нейросетевого метода анализа коллекции текстовых документов, применимая для совокупности текстов произвольной тематики и
объема в условиях отсутствия априорной информации об их содержании.
4. Разработан метод формирования – модельного позиционирования информационных
образов документов, основанный на вычислении оценки тематической значимости при15
знаков документов, включающий механизм сокращения признаков информационных
образов документов, позволяющий повысить качество и скорость выполнения автоматического анализа документов.
5. Установлено, что отношение близости документов в коллекции, обладающей значительным количеством информационных признаков, определяется с высокой точностью
и, наоборот, в коллекции обладающей малым количеством информационных признаков,
отношение близости устанавливается с высоким значением погрешности, но при этом
происходит сокращении времени вычислительных процедур.
6. Разработан нейросетевой алгоритм с процедурой самокоррекции, позволяющий автоматически разбивать тексты на естественном языке на тематические группы с возможностью управления уровнем детализации позиционирования кластеров.
7. Разработана ИАС «NeuroText», реализующая предложенный метод автоматического анализа документов, а также средства визуального отображения полученных
результатов для навигации по коллекции документов. Используя в ИАС «NeuroText»
нейросетевую модель анализа, сформирована семантическая сеть, отражающая родственные связи между ассоциативными подграфами.
8. Экспериментально подтверждена эффективность предложенных методов и алгоритмов.
ПУБЛИКАЦИИ
1. Шеменков П.С. Нейросетевой метод извлечения знаний на основе совместной встречаемости ключевых термов // T-Comm Телекоммуникации и транспорт статья, выпуск
№2, 2009г. – С. 42-43 / (входит в перечень ВАК).
2. Шеменков П.С., Макаров Л.М. Формирование сетевой интеллектуальной базы знаний // 2-ой международный научный конгресс «Нейробиотелеком-2006» / СПбГУТ –
СПб, 2006. – С. 377-380
3. Шеменков П.С., Макаров Л.М. Алгоритм обучения экспертной системы знаний на
основе векторного представления полнотекстовых документов // 3-ий международный
научный конгресс «Нейробиотелеком-2008» /СПбГУТ. – СПб, 2008.– С.111-115
4. Шеменков П.С., Макаров Л.М. Интеллектуальные базы знаний // 59-я НТК / ГОУВПО СПбГУТ. – СПб, 2007. – С. 59-61.
5. Шеменков П.С., Макаров Л.М. Векторная модель представления полнотекстовых документов //61-я НТК / ГОУВПО СПбГУТ. – СПб, 2009. – С. 45-47
6. Верхова Г.В., Ястребов А.С., Шеменков П.С. Модель автоматического реферирования текстовых документов // XII международная конференция "SCIENCE ONLINE:
электронные
информационные
ресурсы
для
науки
http://elibrary.ru/projects/conference/seminar_09_1_program.asp.
16
и
образования",
2009.
Подписано к печати 01.07.09г.
Объем 1 печ. л. Тираж 80 экз.
Тип. СПбГУТ. 191186 СПб, наб. р. Мойки, 61
17