Документ 5042469

Тема доклада
Метод обнаружения изменений структуры
веб-сайтов в системе сбора новостной
информации
Задача сбора новостной информации
Webстраница с
текстом
Система
сбора
БД с текстами
новостей
RSS-лента
Новостной Web-сайт
Результат сбора
Очищенный Метаданные
текст
в XML форме
XPath
правила
Статистика
Задача обнаружения сбоев
Последствия изменения структуры веб-сайта:
 Данные не извлекаются (проблема может быть обнаружена самой
системой сбора)
 Извлекаются некорректные данные (для обнаружения проблемы
необходима подсистема детектирования)
Источники
Система
сбора
Детектор сбоев
Сбоя нет
Xpath
правила
Параметры
детектора
Администратор
Произошел
сбой
БД с текстами
новостей
Подходы к обнаружению сбоев
• Оперативное обнаружение
• анализируется только одна вебстраница
• Отложенное обнаружение
• анализируется набор из нескольких вебстраниц
Анализ одной веб-страницы
Статистика
Web-страница
с текстом
Система
сбора
Система обнаружения сбоев
Классификатор
Сбоя нет
БД с текстами
новостей
Администратор
Произошел
сбой
Правила
+: скорость реакции на сбой
- : частые ложные срабатывания
Анализ набора веб-страниц
Web-страница
с текстом
Система
сбора
БД с текстами
новостей
Правила
Система обнаружения сбоев
Анализатор
Сбоя нет
Статистика
Администратор
Произошел
сбой
Эталон
+: высокое качество проверки
- : задержка обнаружения сбоя
Двухступенчатый анализ веб-страниц
Статистика
Система сбора
Система обнаружения
сбоев
Оперативный
Отложенный
детектор
детектор
Правила
Администратор
Модель документа
Характеристики документа:
P – объем веб-страницы
S – суммарный размер параграфов
N – количество параграфов в статье
V – дисперсия размера параграфа в рамках статьи
Класс html-элементов
Характеристика
H – гиперссылки
TH
B – текстовые блоки
TB
S – форматирование
TS
I – изображения
TI
O - прочее
TO
X   P, S , N ,V , TH , TB , TS , TI , TO 
Модель набора документов 1
Характеристики, описывающие свойства текста:
 P, S , N ,V 
Области значений разбиваются на m интервалов равной
длины
Формула Стерджесса:
P n  ( P1 ,.., Pm )
m  1  log 2 n
N n  ( N1 ,.., N m )
S n  ( S1 ,.., Sm )
V n  (V1 ,..,Vm )
где P𝑖 , S𝑖 , N𝑖 , V𝑖 - частота попадания значений величин
P, S, N, V в i-ый интервал
Модель набора документов 2
Характеристики, описывающие свойства разметки:
TH , TB , TS , TI , TO 
Количество тэгов различных классов в наборе документов:
n
TH  T
i
H
i 1
n
TB  T
i
B
i 1
n
n
TI  T
TS  T
i
S
i
I
i 1
i 1
T n  (TH , TB , TS , TI , TO )
Модель набора документов:
X  ( P , S , N ,V , T )
n
n
n
n
n
n
n
TO  TOi
i 1
Принципы оперативного детектирования 1
Методы бинарной классификации
 SVM
 Логистическая регрессия
 Наивный байесовский классификатор
Принципы оперативного детектирования 2
Распределение значений параметров N и P для kp.ru
подозрительные статьи
Измененная модель документа
Требования к векторам:
• небольшая размерность
• отсутствие бесполезных векторов
Тэги:
Y1  (TH , TB , TS , TI , TO )
Остальные параметры:
Y2   P, S 
Y3   P, N 
Y4   P,V 
Y5   S , N 
Y6   S ,V 
Y7   N ,V 
Основные требования к методу
кластеризации

Небольшое количество кластеров

Гиперсферическая форма кластеров

Высокая плотность кластеров
Методы кластеризации
 Итерационные
– Метод k-средних
– EM-алгоритм
 Иерархические
– Метод одиночной связи
– Метод полной связи
– Метод средней связи
Вычислительная сложность: O(n )
2
Предложенный алгоритм кластеризации
1.
2.
3.
4.
5.
6.
Выбрать из множества документов n элементов
Произвести кластеризацию методом средней связи
Найти центроиды полученных k кластеров
Поместить центроиды в множество элементов
Повторять пункты 1-4 до достижения нужного числа элементов
Определить принадлежность исходных элементов кластерам
N k
Вычислительная сложность: O( n
)
nk
2
Максимальное быстродействие достигается при n=2*k
Ограничивающие поверхности
• гиперпараллелепипеды
• гиперэллипсоиды
• гиперсферы
Отложенный детектор
Анализ сходства тестовой и эталонной выборок
3 выборки случайной величины S:
Эталонная
(lenta.ru)
Тестовая (корректные
данные - lenta.ru)
Тестовая (некорректные
данные – cnews.ru)
Оценивание сходства выборок
Расстояние Кульбака-Лейблера (KLIC)
p( x)
DKL  p, q    p  x  ln
q( x)
xM
Необходимо задать пороговое значение K:
 0, DKL  K  сбоя нет
f  DKL   
1, DKL  K  произошелсбой
Статистический ряд
KLIC
Критерий
DKLP
FP
DKLS
FS
DKLN
FN
DKLV
FV
DKLT
FT
Пороговая функция 1
A= {A𝑖 } – множество наборов документов
DKLi - расстояние Кульбака-Лейблера между A𝑖 и
эталонной выборкой

K j  max DKLi : Ai  j
Ai A

Простая пороговая
функция:
h  x 
a
xb
Пороговая функция 2
7
Универсальная пороговая функция:
Коэффициенты
определяются методом
наименьших квадратов
a0  a0  max K j  h j 
j
ai
h  x   i
i 0 x
Функциональная схема системы
детектирования
Документы
Блок
классификации
БД
Оперативный
детектор
Блок
самопроверки
Блок отложенной
проверки
Блок принятия
решения
БД
Блок
переобучения
Администратор
Отложенный
детектор
БД
Исходные данные для экспериментов
 Источники данных:
– mail.ru
– itar-tass.com
– kp.ru
– rbc.ru
– kommersant.ru
– ria.ru
– rambler.ru
 Параметры детектора:
– Пороговое значение при самопроверке: 10%
– Количество кластеров, формируемых оперативным детектором: 10
 Эталонные данные:
– 72888 корректных документов
 Тестовые данные
– 5169 корректных документов
– 356 некорректных документов
Эксперимент 1. Оперативный детектор
Ложные срабатывания оперативного детектора
Источник
mail
itar-tass
kp
rbc
kommersant
ria
rambler
Всего:
ML
25296
11548
7220
3517
5288
16519
3500
72888
MT
2631
560
218
227
260
1115
158
5169
MS
20
76
24
25
47
29
15
34
ML - размер обучающей выборки
MT - размер тестовой выборки
MS - средний размер анализируемого набора документов при
самопроверке
ND - количество подозрительных статей
NS - количество подозрительных статей после самопроверки
ND
14
0
4
14
4
12
17
65
NS
0
0
1
5
0
5
13
24
Эксперимент 1. Отложенный детектор
Ложные срабатывания отложенного детектора
Источник
mail
itar-tass
kp
rbc
kommersant
ria
rambler
Всего:
ML
25296
11548
7220
3517
5288
16519
3500
72888
MT FP
2631 0
560 0
218 1
227 0
260 0
1115 0
158 0
5169 1
FS FN FV FT
0
0 0 0
0
0 0 0
0
0 0 0
0
0 0 0
0
0 0 0
0
0 0 0
0
0 0 0
0
0 0 0
ML - размер обучающей выборки
MT - размер тестовой выборки
FP, FS, FN, FV, FT - значения критериев
NF - количество критериев, показавших наличие сбоя
NF
0 из 5
0 из 5
1 из 5
0 из 5
0 из 5
0 из 5
0 из 5
1 из 35
Эксперимент 2. Оперативный детектор
Пропуск сбоев оперативным детектором
Источник
mail
itar-tass
kp
rbc
kommersant
ria
rambler
Всего:
ML
25296
3500
11548
7220
16519
3517
5288
72888
MT
356
356
356
356
356
356
356
2492
MS
25
25
25
25
25
25
25
25
ND
356
356
356
356
356
356
356
2492
ML - размер обучающей выборки
MT - размер тестовой выборки
MS - средний размер анализируемого набора документов при
самопроверке
ND - количество подозрительных статей
NS - количество подозрительных статей после самопроверки
NS
356
356
356
356
356
356
356
2492
Эксперимент 2. Отложенный детектор
Пропуск сбоев отложенным детектором
Источник
mail
itar-tass
kp
rbc
kommersant
ria
rambler
Всего:
ML
25296
11548
7220
3517
5288
16519
3500
72888
MT
356
356
356
356
356
356
356
2492
FP
1
1
1
1
1
1
1
7
FS FN FV FT
1 1 0 0
1 1 0 0
0 1 0 1
1 1 0 1
1 1 1 1
0 1 1 1
1 1 1 1
5 7 3 5
ML - размер обучающей выборки
MT - размер тестовой выборки
FP, FS, FN, FV, FT - значения критериев
NF - количество критериев, показавших наличие сбоя
NF
3 из 5
3 из 5
3 из 5
4 из 5
5 из 5
4 из 5
5 из 5
27 из 35
Основные результаты

Характеристики разработанного подхода к
обнаружению сбоев:





Качество работы оперативного детектора:
•
•

Двухступенчатый анализ
Быстрая иерархическая кластеризация
Сравнение выборок с помощью расстояния КульбакаЛейблера
Использование пороговой функции
99,54% на корректных данных
100% на некорректных данных
Качество работы отложенного детектора:
•
•
97,14% на корректных данных
77,15% на некорректных данных