Доклад на семинаре: «Механика, управление и информатика» Учет сетевого трафика: предпосылки, проблемы, решения. Коноплев В.В., Назиров Р.Р. Институт Космических Исследований РАН Таруса, апрель 2001 Освещаемые вопросы Актуальность и проблемы учета трафика. Организация системы учета трафика: Архитектура Стандартные решения Технологические находки Демонстрация на примере узла RMIX - ИКИ Для чего нужен учет сетевого трафика Эффективность политики маршрутизации Корректность работы сети Вопросы целевого использования Вопросы безопасности Вопросы взаиморасчетов Ссылки на работы в области исследования сетевого трафика RTFM Group http://www.auckland.ac.nz/net/Internet/rtfm/ NeTraMet system Cisco NetFlow Technology www.cisco.com NetFlow accounting LBN Laboratory http://www-nrg.ee.lbl.gov/ bpf flter CAIDA www.caida.org Intenet Monitoring Tools Что может представлять интерес ? Локализация объектов взаимодействия Внутренние потоки Канальная статистика Внешняя статистика remote Привязка к регионам remote Neighbor 1 Neighbor 2 Local AS Привязка к сервисам Привязка к клиентскому и серверному трафику Проблемы учета трафика Как собирать статистику? Степень детализации статистики? Время хранения статистики ? Интерфейс для доступа к статистике? Суточный объем информации (на примере сети RSSI) Количество сетей Объем трафика Количество удаленных хостов Количество учетных записей ~ 15 10 Гбайт 150 тысяч 1,5 Миллиона Архитектура системы учета (RFC 1272) meter1 meter2 Analising aplication Измеритель collector meter3 Коллектор Анализирующее приложение Возможные реализации измерителя Резидентно на маршрутизаторе: обработка транзитного трафика Реализуется как функция операционной системы маршрутизатора производителем оборудования. Примеры: «NetFlow», «Cisco Ip Accounting». На мониторинговой станции: пассивный анализ пакетных заголовков Реализуется как приложение, анализирующее перехваченные пакетные заголовки сетевого интерфейса. Примеры: «Snoop», «Tcpdump», «NeTraMet». Сравнительный анализ реализаций измерителя Преимущества Недостатки NetFlow NeTraMet Легкость реализации Информация Широкий диапазон охвата Масштабируемость Стандарт де факто канального уровня Гибкое агрегирование Масштабируемость Стандартизация (RFC) Низкая надежность Высокие вычислительные транспортной базы Низкая безопасность затраты Низкая эффективность транспортной базы Коллектор: проблема двойного учета Mesurement Domain source meter 3 meter 1 meter 2 destination collector meter1 meter3 --source destination --packets bytes Подсистема хранения Произвольный доступ Простота summary Date DATE Local INT Attributes TEXT(50) Bytes INT Packets INT detail Date DATE Local INT Remote INT реализации Приемлемое время доступа Attributes TEXT(50) Bytes INT Packets INT 350 300 250 200 Приемлемый объем данных Кол-во записей (тыс) 150 100 50 0 32 24 16 8 Решения по оптимизации хранения Двунаправленные потоки 80 70 Позволяют в 2 раза сократить 60 50 число записей 40 Стратегия удаления детализации 30 20 10 0 Чем больше объем трафика в записи, тем дольше она находится в базе 10K 1M Статистика >10M Трафик Подсистема доступа: реализация произвольного поиска Иерархия адресных об объектов блок -> локальный адрес -> удаленный адрес Классификатор позволяет получать статистику по различным атрибутам трафика: региону, датам, типам сервиса и адресным объектам нижнего уровня. Фильтр Позволяет ограничивать статистику по требуемым атрибутам трафика Организации, подключенные к RSSI через RMIX Организации, подключенные к RSSI через RMIX. RSSI Cs NAUKA Cs IPU Cs IKI Узел ИКИ Cs CEMI Catalyst Узел ИБХ Узел ЦЭМИ FDDI Catalyst Catalyst Catalyst Узел НИИ ФХМ Cs SIO Cs SCSML Cs MITXT Cs PFU Однодневная статистика узла IKI-RMIX по сетевым блокам Однодневная статистика узла IKI-RMIX по сервисам Локализация источника трафика Оценки производительности Конфигурация системы 1. 2. 3. 4. Компьютер Celeron 450 Mh / 256Mb / 18Gb Диск Ultra whide SCSI OS Linux СУБД MySQL Загрузка процессора при обработке пакетных заголовков – 30 – 50 % Объем базы данных ~ 2 Gb. Среднне время выборки для сети кл. «С» 1. 2. За один день – 3 сек За один месяц – 20 сек