Нейронная сеть как основа для реализации

Яковлев Э.Ю.
НЕЙРОННАЯ СЕТЬ КАК ОСНОВА ДЛЯ РЕАЛИЗАЦИИ МЕХАНИЗМА
ИЗВЛЕЧЕНИЯ ВЕРОЯТНОСТНО НАИБОЛЕЕ БЛИЗКИХ СОЧЕТАНИЙ
Описываются методики однозначной интерпретации команд на естественном языке в
вычислительных и информационных системах.
Methods for automatic interpreting of foreign languages commands with special neurons net used. Automatic
statistics used for choosing of meanings.
Коренной проблемой перевода текста является выбор перевода для многозначных
слов. Простое использование частоты употребления слова не решает проблему.
Этой проблемой уже долгое время озадачены довольно крупные представители
отечественных и зарубежных школ, занимающихся изучением и продвижением
нейросетевых технологий. В частности, исходным материалом для исследований авторов
явились работы по динамике нейронных систем А. Х. Гегига, которые получили дальнейшее
развитие в трудах С. Осовского и А.Н Горбаня. Из иностранных авторов, затронувших
данную проблему, были использованы работы М. Рэдмиллера и Х. Брауна. Помимо этого, в
теорию машинного перевода с использованием нейросетевых технологий внесли вклад ряд
авторов, занимающихся разработкой алгоритмов обучения нейросетей с использованием
программного пакета MATLAB (например, А. К. Гультяев, В. Г. Потемкин и другие).
Долгое время различными научными школами ведутся исследования в области
программной реализации механизма, который бы позволил нам избавиться от
необходимости выбирать правильное значение из списка. Проблема перевода текста
программными средствами осложняется тем, что многие слова языка, к сожалению, не
имеют универсального значения, более-менее способного быть употребленным повсеместно.
Целью работы является изучение возможности и необходимости обучаемости
системы перевода распознаванию образов и даже языку, с возможностью пополнения
словаря и добавления новых свойств.
Только специальные термины ассоциируются более или менее четко с темой текста.
По-настоящему же подавляющее большинство значений слов не относятся к узкой теме.
Поэтому при решении данной проблемы превалирующей оказывается вероятность
сочетаемости слова с другими словами соседями в предложении и тексте. Причем
уникальность каждого нового случайного текста подлежащего формализации состоит в том,
что невозможно создать базу данных всех сочетаний всех многозначных слов с их соседями,
а если такую базу и создали бы то невозможно извлечь из нее полезную в практическом
смысле информацию, ибо каждая новая ситуация неповторима. То есть, необходим механизм
извлечения вероятностно наиболее близких сочетаний. Нечеткое множество имеющихся
сочетаний формально не определить исходя из обычной компьютерной логики.
При этом база данных должна быть создана автоматически, в том числе для
первоначального накопления примеров, что можно осуществить путем перевода
одновременно с двух естественных языков качественно переведенного совершенно
идентичного объемного текста. Например, текст Библии переводится очень точно и
существует в идентичном варианте на множестве языков, при том он достаточно объемен.
Известно, что для задач обработки статистики и вероятностей в нечетких множествах
для принятия решений чрезвычайно эффективны нейронные сети.
Говоря об активационной функции разработанной нейронной сети, следует принять
во внимание в первую очередь то, что сами нейроны – это несколько видоизмененные
нейроны Гроссберга и Кохонена, но объединенные в совершенно новую сеть прямого
распространения предназначенную для специфических целей распознавания команд на
естественных языках в АСУ. Следовательно, активационная функция слоев этих нейронов
примет вид, согласно выходного вектора:
 N

yi  f   wij x j (t )  wij 
 j 1

для первых двух слоев,
 N

f (u )  MAX   wij x j (t ) 
 j 1

для слоя Кохонена, выходной вектор считается
 N

yi  f   wij x j (t )  wij 
 j 1

а активационная функция пороговая
f (u )  1
для
 N

y  MAX   wij x j (t ) 
 j 1

или
f (u )  0
для остальных значений выходного вектора.
Графиком функции будет жесткая ступенька.
ВЫВОДЫ
В ходе работы была доказана необходимость обучаемости системы перевода
распознаванию образов с использованием нейросетевых технологий.
При решении задачи использован механизм извлечения вероятностно наиболее
близких сочетаний. Теоретические расчеты показали, что наибольшую эффективность
несколько видоизмененные нейроны Гроссберга и Кохонена. С учетом их особенностей
рассчитана активационная функция.
По результатам работы была создана работоспособная программная реализация
выбора варианта слова из списка с использованием обработки статистики сочетаемости со
слова соседями с возможностью пополнения словаря и добавления новых свойств в
результате обучения нейросети.
ЛИТЕРАТУРА
1. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. – 2-е изд.,
стереотип. – М.: Горячая линия-Телеком, 2002. – 382 с.: ил.
2. Горбань А. Н. Обучение нейронных сетей. - М.: СП Параграф, 1991.
3. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6 / Под. ред. к. т. н. В.Г. Потемкина. – М.:
ДИАЛОГ-МИФИ, 2002. – 496 с. – (Пакеты прикладных программ; Кн. 4).
4. Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: The RPROP algorithm//
Proceedings of the IEEE International Conference on Neural Networks. 1993.
5. Гультяев А. К. Визуальное моделирование в среде MATLAB: Учеб. курс. СПб: Питер, 2000. 432 с.
6. Рудаков П. И., Сафонов И. В. Обработка сигналов и изображений. MATLAB 5.x /Под общ. ред. В.Г.
Потемкина. М.: Диалог-МИФИ, 1999.287 с. (Пакеты прикладных программ; Кн. 2).
7. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. – М.:
Финансы и статистика, 2002. – 344 с.: ил.
8. Гелиг А.Х. Динамика импульсных систем и нейронных сетей. Л., Изд-во Ленигр. Ун-та. 1982. 192 с.
Ил. – 16, библиогр. – 95 назв.