Algorithms - MachineLearning.ru

АЛГОРИТМЫ АЛГЕБРАИЧЕСКОЙ И ЛОГИЧЕСКОЙ КОРРЕКЦИИ,
И ИХ ПРИМЕНЕНИЯ.1
Журавлев Ю.И.2 (zhuravlev@ccas.ru), Абламейко С.В.3 (ablameyko@bsu.by),
Бирюков А.С.2 (asbiryukov@yandex.ru), Докукин А.А.2 (dalex@ccas.ru), Краснопрошин
В.В.3 (krasnoproshin@bsu.by), Образцов В.В.3 (Obraztsov@cosmostv.by), Романов М.Ю.2
(mromanov@gmail.com), Рязанов В.В.2 (rvv@ccas.ru)
Рассматриваются практические алгоритмы распознавания по прецедентам, основанные на
логической или алгебраической коррекции различных эвристических алгоритмов или моделей
распознавания. Задача распознавания решается в два этапа. Сначала для распознавания
произвольного объекта применяются независимо алгоритмы некоторого коллектива, далее
применяется соответствующий корректор для вычисления окончательного коллективного
решения. Приводятся общие понятия алгебраического подхода, описания практических
алгоритмов логической и алгебраической коррекции, результаты их практического сравнения
Введение
В истории развития теории распознавания по прецедентам выделяют три основных
этапа:
-
появление
предназначенных
эвристических
для
решения
методов
широкого
и
алгоритмов
спектра
задач,
как
так
универсальных,
и
специальных,
ориентированных на обработку информации заданного типа (например, алгоритмы
«ближайший сосед», «тестовый алгоритм», «алгоритм Кора», дискриминант Фишера);
- создание параметрических моделей и поиск наилучших алгоритмов в пределах
фиксированных моделей (например, модели вычисления оценок, нейросетевые модели);
- создание подходов для решения задач распознавания множествами алгоритмов и
расширениями существующих моделей.
Создание третьего этапа связано прежде всего с алгебраической теорией
распознавания, основы которой разработаны Ю.И.Журавлевым в конце 70-х годов /1,2/.
Было введено определение алгоритма распознавания как алгоритма, переводящего
Работа выполнена при поддержке проекта НАН Республики Беларусь, грантов Российского фонда
фундаментальных исследований №№ 08-01-90016, 08-01-00636-а, 09-01-00409-а, гранта Президента РФ
НШ-5294.2008.1, программ поддержки фундаментальных исследований Президиума РАН (П-2) и Отделения
математических наук РАН.
2
Учреждение Российской Академии наук Вычислительный центр им. А.А. Дородницына РАН; 119333,
Москва, Вавилова 40; тел. +7 499 1352489; факс. +7 499 1356159.
3
Белорусский государственный университет; Белоруссия, 220030, Минск, пр. Независимости, 4; тел./факс.
+375 17 2095203.
1
начальную информацию о классах и описания распознаваемых объектов в матрицу
бинарных ответов на вопросы о принадлежности распознаваемого объекта к каждому из
классов (для простоты считаем, что алгоритмы не совершают отказы). Тогда может быть
поставлена задача распознавания коллективом заданных алгоритмов в два этапа с
помощью логической коррекции: сначала каждый алгоритм независимо от других решает
задачи распознавания для объектов заданной выборки (то есть вычисляет некоторую
булеву матрицу), далее к заданным булевым матрицам применяется некоторая булева
функция
(логический
корректор),
вычисляющая
окончательную
классификацию.
Существуют разнообразные подходы к выборы типа логических корректоров и методы их
поиска. Различные методы логической коррекции алгоритмов распознавания описаны в
работах /3-5/.
Было также показано, что произвольный алгоритм может быть представлен в виде
произведения
(последовательного
выполнения)
двух
алгоритмов:
распознающего
оператора и решающего правила. Распознающий оператор переводит начальную
информацию и описания распознаваемых объектов в числовую матрицу. Решающее
правило переводит числовую матрицу в бинарную матрицу окончательных ответов.
Показана
определяющая
роль
распознающего
оператора.
Над
множествами
распознающих операторов определены алгебраические операции, позволяющие строить
алгебраические расширения заданных множеств операторов в виде операторных
многочленов.
Произведения
данных
операторных
многочленов
и
стандартного
фиксированного порогового решающего правила позволяют строить новые алгоритмы
распознавания, в том числе корректные (безошибочно распознающие элементы заданной
контрольной выборки). К настоящему времени в алгебраической теории распознавания
получены необходимые и достаточные условия существования корректных алгоритмов,
получены оценки степени операторных многочленов /1,2,6,7/. В настоящей статье
описаны некоторые практические алгоритмы построения алгебраических и логических
корректоров, позволяющие строить корректные, «квазикорректные» алгоритмы и их
приближения. Приводятся примеры решения практических задач, в том числе результаты
сравнения с известными алгоритмами распознавания.
1.
Алгебраическая
и
логическая
коррекция
множеств
распознающих
алгоритмов
Следуя /1/, будем использовать следующую систему обозначений и исходных
понятий.
Рассматривается
стандартная
задача
распознавания
с
l
классами
K1 , K 2 ,..., Kl .
Через Pi (S ) обозначим заданный на множестве допустимых объектов
{S} предикат " S  Ki ". Пусть задан конечный набор допустимых объектов

~
S '  S1' ,..., S q'
считать, что
.
Будем использовать обозначения
и
~
K i  , i  1,2,..., l .
ij  Pj (Si' )
Матрица ||ij ||q  l , где
~
S'
набора
~ ~
Ki  S '  Ki , i  1,2,..., l ,
по
системе
предикатов
называется информационной матрицей
P1 ,..., Pl .
Строка
(i1,..., il ) называется
информационным вектором объекта S ' .
i
Задача распознавания состоит в том, чтобы по начальной информации о классах I
и предъявленной для распознавания выборке
~
S'
найти информационную матрицу
||ij ||q  l . Реальный практический алгоритм A( I , S1' ,..., Sq' ) || ij ||
q l
решает данную
задачу с ошибками: ||  ||
, },  ij - значение предиката
ij q  l || ij || q  l (здесь  ij  {01
Pj на объекте S ' , вычисленное алгоритмом A ). Для простоты мы ограничимся случаем
i
отсутствием отказов при распознавании.
Пусть у нас имеется множество алгоритмов {A}, переводящих ( I , S1' ,..., Sq' ) ,
~
~  в матрицы
'
'
I  {I}, S  S
корректным
для
задачи
A( I , S1' ,..., Sq' ) || ij ||
В
/1/
было
q l
A( I , S1' ,..., Sq' ) || ij ||
распознавания,
q l
если
доказано,
ql
выполнено
равенство
.
что
каждый
алгоритм
последовательное выполнение (произведение) алгоритмов
B( I , S1' ,..., Sq' ) || aij ||
. Алгоритм A называется
,
aij -действительные
числа,
A  { A}
представим
как
B и C ( A  BC ), где
C(|| aij ||q  l ) ||  ij ||q  l ,
 ij  {01
, }, B  B( A), C  C( A) .
Множество { A} порождает множества {B} и {C} . Элементы из {B} называются
распознающими операторами, элементы из {C} - решающими правилами. Числовые
матрицы B( I , S1' ,..., Sq' ) || a ||
ij q  l называют матрицами оценок объектов за классы, или
просто матрицами оценок.
Решающее правило C называется корректным на
конечного набора
S~ ,
'
если для всякого
  существует хотя бы одна числовая матрица
~
~
S'  S'
||aij ||q  l
такая, что C(||aij ||q  l ) || ij ||q  l .
В /1/ на множестве распознающих операторов {B} были введены операции
сложения, умножения и умножения на скаляр, что позволяет строить операторы вида
B   b Bi1 ...  Bik ,
при
i
'it
Bit ( I , S1' ,..., S q' )  auv
ql
этом
'
'
'i1
'ik
B( I , S1' ,..., S q' )  auv
, auv
  b auv
...  auv
,
i
если
. Тогда можно рассматривать алгоритмы
A  B'C* ,
(1)
где C* - корректное решающее правило, а операторы B ' построены на базе операторов
параметрических моделей распознавания. Построение алгоритмов вида (1) называется
алгебраической коррекцией алгоритмов {A} .
Пусть
задан
Ak ( I , S1' ,..., Sq' ) || ijk ||
{|| ijk ||
ql
коллектив
ql
n
распознающих
k  1,2,..., n.
,
, k  1,2,...,n,|| ij ||
из
ql
алгоритмов
Множества
A1 , A2 ,..., An ,
матриц
} определяют l не всюду определенных булевых
функций f j ( y1 , y2 ,... yn ), j  1,2,..., l . При этом f j (ij1 , ij2 ,..., ijn )  ij , i  1,2,..., q , и функция
f j ( y1 , y2 ,... yn ) не определена на остальных 2 n  q наборах. Основная задача состоит в
таком доопределении функции на весь дискретный единичный куб E n , при котором будут
максимально выполнены дополнительные «содержательно обоснованные» условия,
обеспечивающие некоторый однозначный и оптимальный выбор такой функции. Данные
функции называются логическими корректорами.
В
настоящей
статье
приводятся
результаты
исследований,
связанных
с
практическим построением алгебраических и логических корректоров распознающих
алгоритмов. Некоторые из корректоров интегрированы в программную систему
интеллектуального анализа данных и распознавания «РАСПОЗНАВАНИЕ» /8/, приведены
иллюстративные сравнительные результаты распознавания для ряда прикладных задач.
Полиномиальная коррекция на основе слагаемых максимальной
2.
высоты
Как уже упоминалось выше, одним из главных результатов алгебраической теории
распознавания является доказательство существования корректного полинома над
семейством алгоритмов вычисления оценок (АВО) /2/. Однако, практическое применение
данной теоремы для построения полиномиальных корректоров порождает несколько
сложных задач. Во-первых, необходимо построить набор базовых алгоритмов, причём,
как можно более устойчивых. Далее, необходимо минимизировать сложность полинома,
т.е. его степень и количество слагаемых. На пути их решения была введена новая
характеристика алгоритма, так называемая высота /9/:
 
 
min j S i  max v S u ,
i , j M1
u ,v M 0
где M1 – множество правильных пар (объект, класс), т.е. пар в которых объект
принадлежит классу, а M 0 – множество неправильных пар.
Был разработан набор методов оптимизации высоты алгоритмов в семействе АВО с
переменными порогами функции близости /10, 11/. В частности, описан точный метод и
набор быстрых приближенных алгоритмов, сравнительное тестирование которых
проводилось на наборе специально сгенерированных выборок /11/.
Имея набор базовых алгоритмов B1 ,..., Bq (без ограничения общности считаем, что
базовый набор содержит по одному алгоритму для каждого контрольного объекта
 q

S 1 ,..., S q ), несложно построить корректный полином   ci Biki   C .
 i1

Для минимизации его степени предлагается использовать градиентную схему.
Запишем задачу оптимизации формально, для простоты записи рассмотрим случай, когда
классы не пересекаются – принципиального значения это не имеет. Оптимизация
проводится по переменным k1 ,..., kq  Z , ki  0 . Необходимо минимизировать величину
k
i
(либо max ki ), при этом должны быть выполнены неравенства, обеспечивающие
i
i
корректность полинома, а именно:
q
c B
i 1
i
ki
i
 C S j 
 
K Sj

q
c B
i 1
i
ki
i
 C S j  ,
d
j  1,..., q, d  K S j ;
где K S j 
– класс, которому принадлежит j-й контрольный объект, BS  d - оценка
объекта S за класс K d оператором B. Оптимизационный метод построим по принципу
градиентного.
1.
В качестве начального решения возьмем полином первой степени.
2.
Если
неравенства корректности
выполнены, останавливаемся,
иначе
переходим к шагу 3.
3.
В случае функционала  ki , увеличим на единицу степень слагаемого,
i
увеличение которого приведет к исправлению максимального числа неправильных
неравенств, и перейдем к шагу 2.
В случае функционала
max ki , увеличим на единицу степень слагаемого,
i
увеличение которого приведет к исправлению максимального числа неправильных
неравенств среди всех слагаемых степень которых меньше min ki  1 , и перейдем к шагу 2.
i
Нетрудно видеть, что метод сходится.
Изначально схема разрабатывалась для специальным образом построенного набора
АВО, однако её легко обобщить для использования с любым набором алгоритмов,
образующим базу для заданной контрольной выборки.
Тем не менее, прикладное использование данной схемы осложнено высокой
сложностью
построения
базового
набора
алгоритмов
известными
методами
(подразумевается, что в качестве базы используется набор АВО максимальной высоты).
На практике было решено отказаться от корректности и использовать набор «хороших»
слагаемых, высота которых легко, т.е. с помощью быстрых приближенных методов,
получается положительной. В ходе решения большого числа прикладных задач была
замечена тенденция алгоритмов большой высоты на заданной подвыборке обладать
хорошим качеством распознавания в окрестности её объектов. В результате был получен
метод «АВО-полином», который строит полином второй степени над АВО вида:
 q

  Bi  Di ,q   C ,
 i1

где Di , q – АВО со специальной функцией близости, обратно пропорциональной евклидову
расстоянию до центрального объекта базового АВО.
3.
Построение степенного алгебраического корректора
Данный вид корректоров введен в /1,2/. Пусть имеется некоторая модель
алгоритмов {A} . Соответствующую ей модель распознающих операторов обозначим через
{B} , а решающее правило c зафиксируем в классе пороговых решающих правил C (c0 , c1 ) ,
которые, как известно, являются корректными при c0  c1 (если исключить отказы от
распознавания). Тогда степенные алгебраические корректоры в общем виде можно
представить следующим образом
c  (   ij  Bijt ) ,
(2)
(i , j )
где  i - действительное число ( R ), t - некоторое натуральное число ( N ), индекс
(i , j ) пробегает некоторое множество значений, которое существенным образом зависит
от решаемой задачи. Пара (i, j ) выбирается из множества I  {1,2,...q}  {1,2,..., l} . Степень
t соответствующего распознающего оператора Bij определяется “покомпонентно”, т.е. в
коммутативной относительно умножения линейной алгебре. Обозначим также матрицы
Bij || buvij || ql , где индексы
(u, v)  {1,2,...q}  {1,2,..., l}
и пробегают все множество
допустимых значений для каждого фиксированного (i, j )  I .
Модель (2) является корректной при не очень “жестких” условиях на результаты
распознавания в {B} . Число распознающих операторов в (2) также в общем случае
является “избыточным”. Но точно известно, что больше чем
q l
операторов,
использовать при построении (2) нет смысла, т.к. базис пространства R ql состоит из q  l
матриц. Такой вид модели будем считать “каноническим” и приведем для нее упомянутые
выше условия корректности.
Для этого нам понадобится еще одно обозначение. Множество индексов I при
заданной информационной матрице ||  ij ||ql очевидным образом разбивается на два
подмножества
M 0  {( i, j ) | (i, j )  I , ij  0} и M 1  {( i, j ) | (i, j )  I , ij  1} .
Тогда модель (2) является корректной, при выполнении следующих условий
(i0 , j0 )  M1 Bij {B}(biij0 j0  max buvij ) ,
( u , v )M 0
и при этом
(3)
t  [(ln c1  ln c0 )( min (ln biij0 j0  ln max buvij )) 1 ]  1 ,
( i , j )M 1
( u , v )M 0
(4)
где [ x ] – целая часть числа x  R , а (i0 , j0 )  M 1 выбирается из условия (3).
Безусловно, условия (3), (4) являются достаточными. Особенностью такой
канонической модели является необходимость построения операторов, удовлетворяющих
условию (3). Построенная модель обладает недостатками. При достаточно больших t она
может оказаться не устойчивой. Условие (3), конечно, более конструктивно, чем условие
построения базиса пространства R ql . Некий аналог подобного условия рассматривался в
/2, 12/. Там было введено условие квази-полноты, и показано, что модели {A} , в которых
выполняется данной условие, существуют. Для этих же моделей {A} , очевидно,
выполняется и условие (3). Тем не менее, условия квази-полноты и (3), несмотря на их
выполнимость, являются все-таки избыточными.
Ниже будет показано, что при небольшой модификации степенного корректора,
условие (3) может быть сделано еще менее “жестким”, а степень t вообще может быть
положена равной 1.
Для этого введем в пространстве R ql операцию обращения матриц
R || rij || Rql (rij  0) ( R1 || rij1 || или E  R  R 1 ,
где E - единичная относительно коммутативного обращения матрица пространства R ql .
Модель (2) модифицируем следующим образом
~
c  (  ij  Bijt (i0 , j0 )) ,
(5)
(i , j )
~
а оператор Bij (i0 , j0 ) определим с помощью операции обращения (индекс (i0 , j0 )  I и взят
из (3))
~
Bij (i0 , j0 )  ( E    | biij0 j0  E  Bij |) 1 .
(6)
~
~
Нетрудно видеть, что при условии (3) для оператора Bij матрица Bij (i0 , j0 ) || bi0ijj0 ||
обладает следующим свойством
~
bi ijj  1,
0 0
 ~ ij
buv  1 (u, v)  (i0 , j0 ).
Следовательно, для нее условие (4) имеет вид
(7)
t  [(ln c1  ln c0 )( min (ln (1 
( i , j )M 1
min
( u , v )  ( i0 , j 0 )
  | biij j  buvij |))) 1 ]  1
0 0
Из последнего неравенства несложно получить, что для
 (
c1
 1)( min | biij0 j0  buvij |) 1 ,
( i , j )M 1
c0
(u ,v )  (i , j )
0
0
модель (5) является корректной при t  1.
~
Несложно также увидеть, что для распознающего оператора Bij (i0 , j0 ) (6) условие (7)
выполняется не только, когда для оператора Bij имеет место (3). В действительности,
данное условие легко обобщается до следующего
(i0 , j0 )  M1 Bij {B}(biij0 j0  max buvij ) ,
(8)
( u , v )M 0
которое также влечет (7) для оператора (6).
Таким образом, в предложенной модели (5) удается избавится от основных
недостатков модели (2). Условие (8) накладывает гораздо менее “жесткие” условия на
модель алгоритмов {A} . Кроме того, если в первой модели уместно было говорить о
неустойчивости результатов, то в модели (5) корректности удается добиться выбором
подходящего параметра  .
Построение алгебраического корректора второй степени для заданного
4.
набора алгоритмов
Пусть имеется некоторое множество распознающих алгоритмов A1, A2 ,..., An и
задана контрольная выборка

~
S '  S1' ,..., S q'
 с информационной матрицей
ij ql .
Считаем, что результаты распознавания объектов A1, A2 ,..., An заданы в виде оценок за
~
классы: At ( S i )  (t i1, t i 2 ,..., t il ) , At ( S )  ijt
ql
, ijt [0,1] . Будем искать алгебраический
корректор второй степени
n
A  x0   xt At 
t 1
В
N
 x A
t  n 1
t
качестве
(t )
A ( t ) ,
где N  n  1  n(n  1) / 2,  (t ),  (t )  1,2,..., n.
решающего
правила
1,  j  0.5,
.
0,  j  0.5
C* : (1 , 2 ,..., l , )  (1 ,  2 ,..., l ) , где  j  
возьмем
(9)
оператор
Для
заданной
B( I , S1' ,..., S q' )  ij
n
ql
 x0   xt ijt 
t 1
контрольной
N
 x 
t  n 1
t ij
(t )
ij (t )
. Задача состоит в поиске таких
ql
неизвестных значений параметров xt , при которых матрица ij
аппроксимацией информационной матрицы  ij
выборки
ql
ql
является наилучшей
. После очевидных переобозначений
T
ij  x0   xt aijt ,
(10)
t 1
решаем задачу поиска алгебраического корректора вида (9) методом наименьших
квадратов, как задачу минимизации квадратичной невязки между информационной
матрицей  ij
ql
и ij
ql
.
Для устойчивости алгебраического корректора представляется целесообразным
искать такие полиномы второй степени, которые будут содержать небольшое число
T
слагаемых. Для этого надо исключить из сумм ij  x0   xt aijt наименее информативные
t 1
слагаемые, а из нескольких сильно коррелированных оставить одно.
Для создания корректоров вида (10) с небольшим числом слагаемых предложена
следующая многошаговая эвристическая процедура.
Осуществляется нормировка матриц aijt , t  1,2,..., T , и оценка информативности
матриц, I 0  {1,2,..., T } , 0 ( x0* , x1* ,..., xT* )  arg min
x0 , x1 ,..., xT
На
шаге
  0,1,2,... имеется
*
l
l
множество


 ( x , x1 ,..., x k )  arg min   x0   xt aijt   ij 
x0 , x ,..., x
i 1 j 1 
tI

1
k
q
*
0
2
T


x

 0  xt aijt   ij  .

i 1 j 1 
t 1

q
I  {1,2,..., T } ,
невязка
2
*
(11)
и соответствующее множеству I решение ( x0* , x*1 ,..., x*k ) такое, что 0     .
Шаг №   1.
1.
Выбор множества слабо коррелированных матриц aijt , t  I 1  I 0 , решение
задачи (11) относительно параметров, соответствующих I 1 .
Если 0   1   , считается найденным решение задачи ( x0* , x*1 ,..., x*k ) ,
2.
соответствующее множеству индексов I . В противном случае осуществляется переход к
следующему шагу.
Примечание. Последовательность I ,  1,2,... строится так, чтобы алгоритм
был конечен.
Нормировка,
оценка
информативности,
корреляция
и
осуществлялись следующим образом. Вместо матриц aijt , t  1,2,..., T
q
 a , t  1,2,..., T , минимизирующие критерий  a  
t
t ij
t
ij
q
q
l
t  (
 (aijt ij )) /(
i 1
j 1
i 1
l
 (a ) ) . Матрицу
j 1
t 2
ij
i 1
l
 ( a
j 1
t
t ij
отбор
матриц
берем матрицы
 ij )2 , t  1,2,..., T , т.е.
aijt считаем тем более информативной, чем
она ближе к информационной матрице выборки.
Далее считаем, что матрицы aijt , t  1,2,..., T , уже упорядочены по возрастанию
q
критерия
q
 aijt  
i 1
качества
l
a
j 1
t
ij
a 
t
ij
i 1
l
 (a
j 1
t
ij
  ij )2 , t  1,2,..., T
(или
  ij , t  1,2,..., T ). Пусть выбрана некоторая метрика  для числовых
матриц размерности q  l и фиксирован параметр  .
Далее находим информативное подмножество bijt , t  1,2,..., , различных матриц
~
множества A1  { aijt , t  1,2,..., T } , по следующему принципу.
Полагаем bij1 = aij1 . Исключаем из множества aijt , t  1,2,..., T , все матрицы, для
которых  ( bij1 , aijt )   , t  1,2,..., T . Оставшиеся матрицы перенумеровываем снова и
обозначим их
~
~
как A 2  { aijt , t  1,2,..., T 1} . Полагаем bij2 = aij1 . Исключаем из A 2 все
~
элементы, для которых  ( bij2 , aijt )   , aijt  A 2 . Процесс продолжается до достижения
q ,l
~
ситуации Ak   . Параметр  удобно выбирать в виде   d (   ij ) , где 0  d  1 i , j 1
управляющий параметр.
5. Построение обобщенного полиномиального алгебраического корректора
минимальной степени
В
работах
/13,
14/
создано
обобщение полиномиальных
алгебраических
корректоров – степень распознающего оператора предполагается действительным числом,
а не только целым. Ниже приводятся основные определения и описание алгоритма
практического построения данных корректоров.
Обобщённым алгебраическим замыканием множества распознающих операторов
B*  {B1 , B2 , , Bn } называется множество
U  B*   L({B1x1 ·B2x2 ··Bsxs : Bi  B* , xi  R, i  1, s,1  s  k}).
Элементы этого множества называются обобщёнными полиномами над B*, а
слагаемые этого полинома — обобщёнными мономами.
Аналогично, множество U ( A* ) алгоритмов A  B·C таких, что B U ( B* ) ,
называется обобщённым алгебраическим замыканием A*.
Пусть задано множество распознающих операторов (РО) B*  B1 , B2 ,, Bn  .
Степенью обобщённого монома
B1x1 ·B2x2 ··Bsxs
называется величина
x1  x2  xs .
Степенью обобщённого полинома B U ( B* ) называется максимальная из степеней
входящих в него обобщённых мономов. Степенью алгоритма A  B·C из обобщённого
алгебраического замыкания называется степень обобщённого полинома B.
Всякий полином над распознающими операторами является также и обобщённым
полиномом. При этом степень полинома совпадает со степенью, полученной при
рассмотрении этого полинома, как обобщённого. Все основные результаты для введённых
понятий сохраняются.
Пусть для задачи распознавания задан набор РО Bk, строящих матрицы оценок
Bk  Z  ‖ uv
k ‖ ql , и оператор C задан стандартным пороговым решающим правилом:
uv
uv
uv
C  uv
k   {0, k  c1 ;1,  k  c2 ; , c1   k  c2}, которое определяется параметрами c1 , c 2 .
Примечание. Без ограничения общности будем считать, что для параметров c1 , c2
выполнено условие с1  с2  1 .
В противном случае, эти параметры следует разделить на
сумму с1  с2 .
Элементы матрицы ответов разобьем на два множества ‖ ij‖ ql  M 0  M1 , где
M i  { u , v  : uv  i} , q — число объектов, l — число классов. Пара  u, v   M1 такая, что
для всех  i, j   M 0 выполняется uv  B  | ij  B  | называется отмеченной в B. Множество
отмеченных в B пар обозначим через M  B  . Фактически, это означает, что отмеченные
пары «отделены» от всех пар  i, j  таких, что объект S i не принадлежит классу K j .
Набор распознающих операторов
Bk 
называется правильным, если для него
выполняются следующие условия.

Каждый оператор является допустимым, т.е. существует хотя бы одна пара
u, v   M1 отмеченная в B.

Каждый оператор является нормированным, т.е. если  u, v  отмечена в B, то
uv
 uv
k  1 , иначе  k  1 .

Система Bk  является базисной для Z, т.е. M 1 
n
M  Bk  .
k 1
В противном случае набор операторов называется неправильным.
Таким образом, из исходного набора операторов исключаются операторы, не
являющиеся допустимыми, а оставшиеся операторы нормируются. Коэффициенты
нормировки операторов определяются по следующей формуле:
(B)  [1min ( B)]1 , где 0max ( B)  max | ij ( B)| , 1min ( B)  min
 i , j M  B 
 i , j M 0
|  (B)| .
ij
Если полученная система является базисной, то результирующий полиномиальный
оператор будет корректным.
n
Для нахождения степеней операторов в полиноме вида A  { Bkxk }C  c1 , c2 
k 1
вводится замена переменных yk  e , 
xk
n
uv
k
 ln  , uv  y    yk k
uv
k
оптимизационная задача
 uv ( y )  c1 , для всех (u, v)  M 0 ; 


U   y | uv ( y )  c2 , для всех (u, v)  M 1 ;  ;


 0  yk  M  ql , для всех k  1, n 
R  {y U , max k 1,n yk  min}.
k 1
uv
и решается следующая
Для
каждого
непустого
множества
индексов
I  i1 ,, im   1,, n


рассматривается вспомогательная оптимизационная задача RI  y  U I , yi1  min
множеством
ограничений


U I  y U ; yi1  yi2    yim ; yi1  yk , k 
I ,
с
которые
эффективно решаются методом линеаризации.
Для задачи RI введём следующие обозначения:
FI  max k 1,n y  RI  |k ; GI  y  RI  |i1 .
Опишем алгоритм поиска решений, использующий вспомогательные задачи.

Рассматриваем
упорядоченное
множество
наборов
H  I : I  1, 2,, n; I  , которое упорядочено таким образом, что наборы с меньшей
мощностью
предшествуют
наборам
с
большей.
Присваиваем начальное значение Fmin   .

Выбираем первый нерассмотренный набор I из H и решаем задачу RI .

Вычисляем
значения
GI
и
FI .
Если FI  Fmin , то присваиваем Fmin  FI .

Если GI  Fmin , то удаляем из H все наборы, которые содержат поднабор $I$.

Если в H рассмотрены не все наборы, то переходим к шагу 2.

Искомое решение задачи R равно решению вспомогательной задачи,
определяющейся тем набором I*, для которого FI *  Fmin .
В случае, если набор распознающих операторов не является базисным, то при
решении вспомогательной задачи надо находить решение, дающее наименьшую ошибку,
т.е. решать задачу для множества ограничений
 uv ( y )  c1   , для всех (u, v)  M 0 ;


U    y | uv ( y )  c2   , для всех (u, v)  M 1;  ,


0  yk  M  ql , для всех k  1, n 

находя такое наименьшее число  , при котором система совместна.
6.
Построение
логического
корректора
на
основе
потенциалов
контрольных объектов
Алгоритм является модификацией общего подхода /3/. Для распознаваемого
объекта S вычисляется его оценка за каждый класс согласно следующей формуле
1
i ( S )  ~
Ki
  (S ' , S ),i  1,2,..., l .
~
tK i
i
t
Величина  i ( S 't , S ) называется значением потенциальной функции для пары S't и
S . Будем ее вычислять одним из следующих способов:
j
j
a)  i ( S 't , S )  1, {i ( S )  i ( S ' ), j  1,2,..., n, } / n   ,
иначе.
0,
b) i (S 't , S )  {число выполняющихся  неравенств  i j ( S )  i j ( S 't ), j  1,2,..., n}.
Здесь  i j ( S 't )   tij .
Первый способ будем называть монотонной потенциальной коррекцией (она
зависит от управляющего параметра  , 0    1 ), второй способ – слабо монотонной
потенциальной коррекцией.
Логический корректор, как совокупность функций
f j ( y1 , y2 ,... yn ), j  1,2,..., l ,
1, i ( S )   j ( S ), j  1,..., l ,
определяется следующим образом: f i (  i1 ( S ),  i2 ( S ),...,  in ( S ))  
иначе
0,
7.
Экспериментальные исследования двухуровневых схем распознавания
с логический корректором
Исследован подход к построению алгоритмов распознавания, основанный на
двухуровневых схемах распознавания с корректором и использующий принцип синтеза
надежных схем из ненадежно работающих блоков. Двухуровневые алгоритмы являются, в
некотором смысле, инвариантными относительно задачи, так как на первом уровне можно
объединить алгоритмы из различных моделей, повысив тем самым надежность процедуры
распознавания.
В соответствии с общими принципами построения двухуровневых схем, можно
выделить два логически законченных этапа проведения эксперимента /1/. На первом производится решение тестовых задач алгоритмами из корректируемого набора,
определение точности алгоритмов, выявление между ними степени статической
зависимости. В качестве меры схожести алгоритмов используется выборочный
коэффициент
корреляции
между
событиями,
заключающимися
в
правильном
распознавании случайного объекта.
По результатам работы фиксированного набора алгоритмов формируется таблица:
11 ...1n | 1
A |   ... ... ... ...
,
 m1 ... mn |  m
где
  ij ,1  i  q,1  j  n
- элементы классификационного вектора, соответствующие
результатам распознавания объектов контрольной выборки алгоритмами,  i - элементы
информационного вектора, соответствующие истинной классификации объектов.
На втором этапе исследуются свойства испытываемого корректора. Основное
внимание при этом уделялось изучению влияния статистической зависимости между
алгоритмами на качество корректирования.
Задачи для проведения экспериментов выбирались с учётом различия предметных
областей и физической основы, а также сложности их решения (точность алгоритмов на
задачах не удовлетворяет заданным требованиям).
При отборе моделей алгоритмов распознавания учитывалась их универсальность,
известность, различие принципов построения, простота реализации. По этим признакам
были выбраны модели алгоритмов типа: 1) вычисления оценок (ВО); 2) ближайших
соседей (БС); 3) потенциальных функций (ПФ); 4) разделяющих поверхностей (РП); 5)
алгоритмов таксономии (Т).
В каждой модели применительно к конкретной задаче строились один или
несколько алгоритмов, которые различались множеством оптимизирующих параметров и
способом их определения. Обучение алгоритмов распознавания и проверка точности их
работы (для задач с большим объёмом информации) проводились, соответственно, с
помощью обучающей и контрольной выборок. Последние формировались путем
случайного разбиения всего множества объектов задачи на два непересекающихся
подмножества. Для задач с небольшим числом объектов применялся метод скользящего
экзамена. В итоге выполнения первого этапа по результатам распознавания контрольных
объектов формировались таблицы A |  .
Для экспериментов логический корректор (соответствующая булева функция)
производил минимизацию эмпирического риска в классе всех булевых функций. Далее
находилось простейшее доопределение частичной булевой функции (ч.б.ф.) A |  .
Первая задача состояла в классификации подстилающих поверхностей Земли по
данным аэрокосмического спектрометрирования /15,16/. Множество объектов задачи –
300 спектрограмм водной поверхности двух океанов (Атлантического и Тихого). К
особенностям задачи можно отнести физическую однородность признаков, описывающих
объект распознавания, а также то, что классы не являются контрастно различными (один
тип подстилающей поверхности).
Таблица 1
1
2
B01
БС1
3
В02
4
БС2
5
В03
0,74
0,77
0,73
0,64
0,74
6
7
В04
Т
Задача 1
0,81
0.80
8
РП1
9
ПФ1
10
ПФ2
11
РП2
0,62
0,72
0,69
0,79
Множество всех объектов случайным образом разбивают на две выборки
(непересекающихся подмножества): обучающую – 100 объектов и контрольную – 200. В
решении задачи участвовали эвристики: В01 – В04, ПФ1, ПФ2, БС1, БС2, РП1, РП2, Т.
После этапа обучения оценка точности алгоритмов определялась как частота правильного
распознавания объектов контрольной выборки. Точность алгоритмов на задаче 1
иллюстрирует табл. 1.
Вторая
задача
заключалась
в
распознавании
нефтеносности
некоторых
месторождений по результатам изучения близлежащих водоносных пластов. Всего было
64 объекта. Особенностями задачи являются качественные различия признаков в
описании объектов и небольшой объём информации.
Таблица 2
1
2
3
4
5
6
7
БС
ПФ
Т
В01
В02
В03
РП
0,60
0,66
0,70
Задача 2
0,67
0,74
0,70
0,67
Обучение и оценка точности алгоритмов осуществлялись методом скользящего
экзамена. Такой подход является наиболее достоверным в условиях небольших объемов
информации. В экспериментах по данной задаче участвовало 7 алгоритмов: B01 – B03,
БС, ПФ, РП, Т (см. табл.2).
По результатам работы алгоритмов на каждой из контрольных выборок были
построены соответствующие таблицы коэффициентов попарной корреляции. В итоге для
задачи 1 получили результаты, которые сведены в табл.3. Как и ожидалось, наиболее
сильная корреляционная зависимость наблюдается между однотипными алгоритмами.
Так, в табл. 3 сильно связные блоки образуют различные варианты алгоритмов
вычисления оценок, ближайших соседей, потенциальных функций. В то же время, для
эвристик ПФ2 и Т из различных блоков корреляция незначительная.
Таблица 3
1
1
1
3
5
8
2
4
6
9
10
7
11
Таблица 4
3
0,63
1
5
0,81
0,50
1
1
1
0,50
0,47
0,42
0,40
0,26
0,35
1
4
6
3
5
2
7
8
0,68
0,52
0,65
1
4
0,50
1
0,19
0,35
0,53
0,18
0,13
2
0,40
0,38
0,50
0,36
1
6
0,47
0,19
1
0,47
0,50
0,08
0,46
4
0,44
0,38
0,54
0,39
0,97
1
3
0,42
0,35
0,47
1
0,32
0,15
0,18
6
0,60
0,50
0,46
0,48
0,66
0,63
1
9
0,20
0,32
0,07
0,18
-0.1
0,06
0,12
1
5
0,40
0,53
0,50
0,32
1
0,17
0,04
10
0,40
0,20
0,09
0,06
-0,2
0,15
0,01
0,83
1
7
0,23
0,26
0,12
0,09
0,03
0,08
0,23
0,13
0,08
1
2
0,26
0,18
0,08
0,15
0,17
1
0,22
11
0,47
0,54
0,33
0,42
0,07
0,49
0,32
0,54
0,37
0,05
1
7
0,35
0,13
0,46
0,18
0,04
0,22
1
Таким образом, в результате выполнения первого этапа эксперимента получена
возможность для формирования различных наборов корректируемых эвристик и
соответствующих им таблиц A |  для изучения свойств логического корректора.
Используя данные табл. 3, 4 по всем задачам было сформулировано около 100
наборов
алгоритмов
и
соответствующих
им
A| 
таблиц
с
различными
количественными и качественными характеристиками. Обучение и оценка точности
корректоров
проводилась
по
таблицам
A| 
методом
скользящего
экзамена.
Исследовались возможности корректирования наборов с минимально (максимально)
возможными коэффициентами попарной корреляции между алгоритмами и случайно
сформированными
с
некоторым
средним
значением
статистической
близости.
Полученные результаты сравнивались по точности с лучшим из алгоритмов в наборе и со
средней точностью эвристик набора.
Таблица 5
Набор
корректируемых
эвристик
Точность лучшей эвристики
Средняя точность эвристик
набора
Логический корректор
2,5,7
n=3
2,4,7
n =5
2,4,6
2,3,4,5,7
2,4,5,6,7
0,70
0,68
0,74
0,70
0,74
0,69
0,74
0,68
0,74
0,67
0,77
0,81
0,77
0,80
0,81
В условиях эксперимента, дальнейшее наращивание корректируемых наборов
приводит к появлению в них алгоритмов с более высокими значениями коэффициентов
попарной корреляции.
Таблица 6
Набор корректируемых
эвристик
Точность
лучшей
эвристики
Средняя
точность
эвристик набора
Логический корректор
По
результатам
2,4,6
N=3
1,5,8 3,9,10
0,74
0,67
0,70
0,74
0,74
0,74
0,70
0,61
0,66
0,67
0,68
0,67
0,74
0,67
0,71
0,74
0,75
0,74
проведенных
1,2,4,5,6
экспериментов
n =5
1,3,9,10,11
можно
сделать
n=7
2,3,4,5,6,9,10
вывод,
что
формирование набора из алгоритмов с сильной корреляцией редко приводит к
повышению точности распознавания по отношению к лучшему из алгоритмов. Однако и в
этом случае применение обучаемых корректоров может быть оправдано. Точность их
работы выше средней точности алгоритмов набора, что соответствует точности алгоритма
случайно выбираемого из набора.
На практике часто нельзя гарантировать независимость работы тех или иных
алгоритмов или же точно определить степень их зависимости. В результате этого
корректируемые
наборы
могут
содержать
алгоритмы
с
различной
степенью
статистической близости. В табл. 7 приведены результаты некоторых экспериментов с
такими наборами на примере задачи 1.
Таблица 7
Набор
корректируемых 1,3,4
эвристик
Точность лучшей эвристики
0,70
Средняя точность эвристик 0,68
набора
Логический корректор
0,72
n=3
4,5,6
n =5
1.4,5,6,7
1,2,3,6,7
n=7
1,2,3,4,5,6,7
1,4,5
0,67
0,64
0,67
0,65
0,70
0,66
0,74
0,69
0,74
0,68
0,69
0,70
0,73
0,81
0,84
Анализ данных показывает, что с увеличением n точность корректирования растет.
В работе получены экспериментальные данные по корреляции результатов
распознавания между алгоритмами на реальных задачах. Подобные результаты получены
впервые. Хотя по ограниченному объему экспериментов нельзя сделать обоснованных
выводов, однако эти результаты представляют широкий интерес, так как корреляция
выступает здесь в качестве естественной меры статистической близости между
алгоритмами.
При решении прикладных задач необходимо, как правило, обеспечить возможность
проведения в автоматизированном режиме следующих работ:

формирование обучающей информации для отдельных задач;

решение прикладной задачи с помощью отдельных алгоритмов;

повышение надежности распознавания за счет совместного использования
нескольких алгоритмов (двухуровневая схема распознавания с корректором);

сравнительный анализ эффективности реализаций алгоритмов и некоторые
др.
Данные проблемы решены в рамках программного комплекса, который можно
рассматривать как полигон алгоритмов распознавания с управляющей системой /17/. Его
архитектура состоит из следующих основных частей: управляющие подсистемы,
пользовательские программы, система управления базами данных (СУБД).
Управляющая подсистема выполняет функций по организации работы комплекса и
контроля функционирования его компонентов. Пользовательские программы реализуют
конкретные алгоритмы распознавания (библиотека алгоритмов) и выполняют пред- и
постобработку информации. База данных состоит из наборов данных файла объектов,
индексатора и файла подзадач.
Программный комплекс данной архитектуры использовался для организации и
проведения эксперимента по изучению свойств алгоритмов распознавания, построенных
на основе двухуровневой схемы.
Проведение подобного рода эксперимента требует значительных затрат, связанных
с подготовкой, хранением и манипуляцией различных
данных. Функциональные
возможности и состав программной технологии позволяют автоматизировать многие
рутинные процессы и повысить эффективность его проведения.
8.
Результаты практического сравнения корректоров и алгоритмов
Вопрос сравнения различных алгоритмов распознавания и выбор наиболее
перспективных для распознавания новых объектов всегда являлся центральным, но не
имеющим однозначного ответа. Различные подходы имеют свои предпочтения и
ограничения, связанные с длиной обучающей выборки, числом классов и признаков,
представительностью описаний каждого класса, типом признаков, «компактностью
классов», коррелированностью признаков, «конфигурацией классов», и т.п. Метод,
являющийся
наилучшим
для
некоторой
прикладной
задачи,
может
оказаться
посредственным при решении другой. Естественным сравнительным критерием здесь
может быть оценка числа практических задач, на которых некоторый метод занимал
лидирующие позиции. Ниже в таблице 8 приводятся подобные сравнения. Для расчетов
использовалась программная система «РАСПОЗНАВАНИЕ», в которую интегрированы
указанные ниже методы.
Строка таблицы
соответствует
методу распознавания
(коррекции), столбец (кроме столбца «N»)– прикладной задаче:
ТТ – «алгоритм голосования по тупиковым тестам» /1/,
ЛЗ – «алгоритм голосования по системам логических закономерностей» /18/,
БД – «бинарные решающие деревья» /19/,
ФИШЕР – «линейный дискриминант Фишера» /20/,
ЛМ – «линейная машина» /20/,
СВМ – «метод опорных векторов» /21/,
НейрС – «многослойный персептрон» /22/,
Голос – «коллективное решение, как голосование по большинству» /8/,
ЛогК – «логический корректор» (раздел 6),
АлгК - «алгебраический корректор второй степени» (раздел 4),
ОбК – «обобщенный алгебраический корректор» (раздел 5),
«Abalone» – задача «распознавание возраста ракушек», l=3, q=2079 , n=8 (автор данных
Sam Waugh (Sam.Waugh@cs.utas.edu.au), Department of Computer Science, University of
Tasmania, GPO Box 252C, Hobart, Tasmania 7001, Australia),
«Eco» - задача «место локализации протеина» l=8 , q=179 , n= 7 /23/,
«Breast» - задача «диагностики рака груди» l=2 , q=355 , n=9 /24/,
«Credit» - задача «Подтверждение кредитных карточек», l=2 , q=348 , n= 15 /25/,
«Home» - задача «оценка стоимости жилья» l=5 , q=264, n=13 /26/,
«Image» - задача «распознавание стандартных изображений», l=7 , q=2100, n= 16 /25/,
«Ion» - задача «распознавание радиосигналов», l=2 , q=182 , n=34 /27/,
«Pnevmo» - задача «Оценка степени тяжести пневмонии», l=4 , q=57, n=41,
«Year» - задача «Protein Localization Sites», l=10 , q=747, n= 8 /23/.
В столбцах 2-10 представлены оценки точности распознавания различных методов
(процент правильно распознанных объектов некоторой выборки) на различных задачах.
Для каждой задачи приведены значения числа классов, числа распознаваемых объектов и
число признаков. Следует отметить, что параметры алгоритмов использовались «по
умолчанию» (задавались автоматически), а не подбирались по данным обучения
(например, с помощью минимизации числа ошибок на данных обучения в режиме
скользящего контроля).
Жирным шрифтом в каждом столбце выделены четыре
наилучших результата – «призовые места». В столбце «N» для каждого метода отмечено,
сколько раз соответствующий метод занимал призовое место.
Таблица 8
Метод Abalone
\задача
ТТ
60.6
ЛЗ
56.8
БД
56.7
Фишер 62.4
ЛМ
65.5
СВМ
66.5
НейрС 64.7
Коллективные
Голос
63.5
ЛогК
65.4
АлгК
65.0
ОбК
63.5
Таблица 9
Eco
Breast Credit
Home
Image
Ion
Pnevmo Year
N
63.1
61.5
73.2
77.1
79.3
81.6
80.4
92.4
96.1
92.1
94.4
94.9
94.6
95.5
85.3
82.8
85.1
84.8
85.9
83.3
82.8
63.3
71.6
67.4
76.5
61.7
77.7
73.5
86.5
90.8
90.2
89.4
92.7
91.8
92.0
87.9
90.1
87.4
83.5
86.8
94.0
87.9
61.4
59.6
57.9
54.4
54.4
63.2
57.9
44.3
13.9
45.2
53.8
32.0
65.5
59.7
2
1
1
2
5
6
3
79.3
76.5
81.6
80.4
94.9
95.2
95.2
94.9
82.2
84.8
81.0
82.8
76.5
78.8
76.9
78.0
93.9
94.0
92.3
94.3
93.4
90.7
91.2
94.0
57.9
68.4
61.4
66.7
48.3
58.8
60.6
61.2
4
7
7
7
Результаты тестирования метода «АВО-полином» приведены в таблице 9:
Task
Abalone
Breast canser
Ionosphere
Echocardiogram
Hepatitis
Image
Credit
AVO-polynom
62.3
96.1
98.7
77.4
88.0
89.4
86.2
Расшифровка задач приведена в /25/ и, частично, в /8/.
Заключение.
9.
В настоящей статье приведены некоторые практические методы логической и
алгебраической коррекции эвристических алгоритмов распознавания, а также некоторые
результаты их сравнения. Хотя число практических задач было небольшим, полученные
результаты являются хорошей наглядной иллюстрацией целесообразности использования
корректирующих алгоритмов для повышения надежности результатов распознавания.
Особое
значение
это
имеет
при
использовании
программ
распознавания
неквалифицированным пользователем в автоматическом режиме.
Работа выполнена при поддержке проекта НАН Республики Беларусь и
Российского фонда фундаментальных исследований №08-01-90016 «Методы построения
эффективных признаковых пространств для задач мониторинга и распознавания сложных
объектов в составе изображений и сцен».
Литература
1. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или
классификации. Проблемы кибернетики. М.: Наука, 1978. Вып.33. С.5-68.
2. Журавлев Ю.И. Корректные алгебры над множествами не корректных
(эвристических) алгоритмов. I. // Кибернетика. 1977. N4. С. 5-17. , II. Кибернетика, N6,
1977, III. // Кибернетика. 1978. N2. С. 35-43.
3. Зуев Ю.А. Метод повышения надежности классификации при наличии
нескольких классификаторов, основанный на принципе монотонности// ЖВМиМФ. 1981.
Т.21. № 1. С.157-167.
4. Вешторт А.М., Зуев Ю.А., Краснопрошин В.В. Двухуровневая система
распознавания с логическим корректором // Распознавание, классификация,
прогноз.
Математические методы и их применение. Ежегодник. - М.: Наука, 1989. - вып.2. - с.73-98.
5. L.A. Aslanyan, L.F. Mingo, J.B. Castellanos, F.B. Chelnokov, A.A. Dokukin,
V.V.Ryazanov// On Logical Correction of Neural Network Algorithms for Pattern Recognition,
Proceedings
of
4-th
international
conference
“INFORMATION
RESEARCH
&
APPLICATIONS”, Foi-commerce, SOFIA, 2006
6. Дьяконов А.Г. Алгебра над алгоритмами вычисления оценок: минимальная
степень корректного алгоритма// Журнал вычислительной математики и математической
физики, 2005, Т. 45, №6. С.1134-1145.
7. Дьяконов А.Г. Алгебра над алгоритмами вычисления оценок: нормировка по
отрезку // Журнал вычислительной математики и математической физики, 2009, Т. 49, №1.
С.200-208.
8. Ю.И.Журавлев, В.В.Рязанов, О.В.Сенько, РАСПОЗНАВАНИЕ. Математические
методы. Программная система. Практические применения. Изд.во «ФАЗИС», Москва,
2006, 168 стр.
9. Журавлёв Ю.И., Исаев И.В. Построение алгоритмов распознавания, корректных
для заданной контрольной выборки // Ж. вычисл. матем. и матем. физ., 1979, т. 19, №3,
стр. 726-738.
10. Докукин А.А. Об одном методе построения оптимального алгоритма
вычисления оценок // Ж. вычисл. матем. и матем. физ., 2006, т. 46, №4, стр. 754-760.
11. Докукин А.А. О построении выборок для тестирования приближённых методов
оптимизации алгоритмов вычисления оценок // Ж. вычисл. матем. и матем. физ., 2006, т.
46, №5, стр. 978-983.
12. Краснопрошин В.В., Образцов В.А. Проблема принятия решений по
прецедентности: разрешимость и выбор алгоритмов // Выбраныя навуковыя працы
Беларускага Дзяржаунага унiверсiтэта, том 6, матэматыка, 2001, - стр.285-312.
13. Романов М.Ю. Об одном методе построения распознающего алгоритма в
алгебре над множеством вычисления оценок // Ж. вычисл. матем. и матем. физ. —2007. —
Т. 47, №8. —С. 1426–1430.
14. Романов М.Ю. Реализация одного метода построения распознающего
алгоритма в алгебре над множеством алгоритмов вычисления оценок // Ж. вычисл. матем.
и матем. физ. —2008. — Т. 48, №9.
15. Вешторт А.М., Кашкевич С.И., Костюкевич С.Б., Краснопрошин В.В.,
Синякович С.Г. Принципы построения информационной автоматизированной системы
данных аэрокосмического спектрометрирования для целей физико-географического
районирования // Известия АН СССР, сер. географ. - М, 1988. - с.89-94.
16.
ГлушенковВ.С.,
Ковалев
А.А.,
Коновалов
О.Л.,
Костюкевич
С.Б.,
Краснопрошин В.В., Юхименко Б.А. Система отображения и редактирования цифровых
тематических радиационных и экологических карт на основе ПЭВМ // Весцi АНБ, сер.
фiз.-мат.-навук - Мiнск, 1992. - Т5-6. - с.102-107.
17. Гафуров С.В., Краснопрошин В.В. Программная технология построения систем
для решения задач распознавания со сложной структурой// Искусственный интеллект.
2008, №1, -с.30-37.
18.
Рязанов
В.В.
Логические
закономерности
в
задачах
распознавания
(параметрический подход) // Журнал вычислительной математики и математической
физики, Т.47, №10, 2007, с.1793-1808.
19. Донской В.И. , Башта А.И. Дискретные модели принятия решений при
неполной информации. –Смферополь: Таврия, 1992. – 166 с.
20. Дуда Р., Харт П., Распознавание образов и анализ сцен. Издательство "Мир",
Москва, 1976, 511 с.
21. Christopher J.C. Burges. A Tutorial.
on Support Vector Machines for Pattern
Recognition, Appeared in: Data Mining and Knowledge Discovery 2, 121-167, 1998.
22. Уоссермен Ф., Нейрокомпьютерная техника, М.,Мир, 1992.
23. Horton Paul, Nakai Kenta //"A Probablistic Classification System for Predicting the
Cellular Localization Sites of Proteins",Intelligent Systems in Molecular Biology, 109-115. St.
Louis, USA 1996.
24. Mangasarian O. L., Wolberg W.H.: "Cancer diagnosis via linear programming",
SIAM News, Volume 23, Number 5, September 1990, pp 1 - 18.
25. http://www.isc.uci.edu/~mlearn/MLRepository.html
26. Harrison, D. and Rubinfeld, D.L. Hedonic prices and the demand for clean air, J.
Environ. Economics & Management, vol.5, 81-102, 1978.
27. Sigillito, V. G., Wing, S. P., Hutton, L. V., \& Baker, K. B. (1989). Classification of
radar returns from the ionosphere using neural networks. Johns Hopkins APL Technical Digest,
10, 262-266