Определение спам-изображений на основе перцептивных

Определение спам-изображений
на основе перцептивных хешей
Фефелов Алексей Андреевич, 545 группа
Научный руководитель: к.ф.-м.н. , Д.Ю. Бугайченко
Рецензент: к.ф.-м.н. А.Т. Вахитов
Введение

Фильтрация спама
o
o
o

Способы борьбы со спамом
o
o

Пользовательская модерация
Статистические фильтры
Спам-изображения
o

Социальные сети, сайты знакомств, блоги
Электронная почта
Мессенджеры
Содержат похожие, но не идентичные фрагменты
Проблема: спамеры постоянно создают новые
подложки и искажают фрагменты
Возможные решения

Нейронные сети
o

Алгоритмы на базе детекции особенностей
(SURF, SIFT и другие)
o
o

Необходимость обучения
Необходимость разрешения для использования в
коммерческих целях/отсутствие зрелых библиотек
Низкая производительность
Использование перцептивных хешей
o
o
o
Можно сравнивать между собой
При вычислении применяются процессы,
имитирующие различные аспекты восприятия
информации человеком
Один из наиболее общих способов решения
Постановка задачи

Изучить различные существующие подходы
для вычисления перцептивных хешей
изображений

Реализовать несколько хеш-алгоритмов и
адаптировать их для задачи поиска спамизображений
Протестировать алгоритмы на базе данных с
изображениями, проанализировать результаты
их работы
Подготовить условия для введения алгоритмов
в эксплуатацию


Используемые алгоритмы

Simple Hash (128 байт)
 Marr-Hildreth Operator Based Hash (64 байта)
Используемые алгоритмы(2)

Discrete Cosine Transform Based Hash –
построение матрицы частот, избавление от
высоких частот (8 байт)
o

Дискретное косинусное преобразование для
вектора X длины N-1:
Radial Variance Based Hash – построение
вектора энергий + DCT (40 байт)
Схема архитектуры системы


Множество паттернов (пара спам-изображение
и расположение фрагмента на нем)
Поиск подстроки, соответствующей хешу спамфрагмента в хеше изображения
Характеристики работы спамфильтра

Спам-фильтр разбивает все изображения на 3
группы: «точно спам», «возможно спам», «точно
не спам»
Результат проверки
изображения
На самом деле спам
На самом деле не
спам
Позитивное
срабатывание
(«точно спам»)
Истинно-позитивное
Ложно-позитивное
(ошибка 2 рода, FAR)
Негативное
срабатывание
(«точно не спам»)
Ложно-негативное
(ошибка 1 рода,FRR)
Истинно-негативное
«Возможно спам»
В этой группе находится как спам, так и не спам
Ложные срабатывания
Рис. Ложно-позитивные(FAR) и ложно-негативные
срабатывания(FRR) для алгоритма DCTBH
Сравнение результатов

60000 изображений с музыкального сервиса
социальной сети odnoklassniki.ru, из которых
700 – спам, 3 типа спама
90%
Истинно-позитивное
срабатывание
80%
70%
60%
Неопределенное
срабатывание
(возможно спам)
Ложно-позитивное
срабатывание
50%
40%
30%
20%
Ложно-негативное
срабатывание
10%
0%
SH
DCT
RV
MH
Сравнение скоростей

Intel Core i5-2430M CPU (2,40 GHz)
Среднее время
обработки 1
изображения(мс.)
Среднее время
сравнения 100 хешей
(мс.)
160
140
120
100
80
60
40
20
0
600
500
400
300
200
100
0
SH
DCT
RV
MH
Результаты




Были изучены различные существующие
подходы для вычисления перцептивных хешей
изображений
4 перцептивных хеш-алгоритма адаптировано
для задачи поиска спам-изображений
Алгоритмы протестированы на реальных
данных, проанализированы результаты их
работы
Создано API для введения алгоритмов в
эксплуатацию, компания «Одноклассники»
рассматривает возможность внедрения
полученных результатов для фильтрации спама