Параметры QoS сети передачи данных RUNNet ФГУ ГНИИ ИТТ «Информика» Гугель Ю.В. gugel@runnet.ru Транспортная инфраструктура сети RUNNet Топология – «натянутая на Москву звезда» ООО «Единая Сеть» ЗАО «ТрансТелеКом» ЗАО «Ростелеком» ЗАО «Синтерра» ЗАО «Раском» ЗАО «Сонера-Рус» ЗАО «Оранж Систем» ООО «СтартТелеком» ..... Транспортная инфраструктура сети RUNNet От TDM к Ethernet Технология каналов связи LAN (10, 100, 1000 BaseX) город/межгород Технология Ethernet в своем стремительном развитии перешагнула уровень локальных сетей. Она избавилась от коллизий, получила полный дуплекс и гигабитные скорости. Широкий спектр экономически выгодных решений позволяет смело внедрять Ethernet на магистралях. Это притом, что ни одного плюса у этой технлогии кроме просты найти сложно ;( Транспортная инфраструктура сети RUNNet Опорные каналы по России Ростов-на-Дону Самара Нижний-Новгород Екатеринбург Новосибирск Томск Хабаровск Владивосток interface GigabitEthernet1/13 description SkyMedia [TTK Rusian channel] mtu 9216 no ip address ! description PSTU [20090112 20MB] PERM description PSU [20090112 20MB] PERM description RND [20090114 85MB] RUNNET description NSK [20090324 51MB] RUNNET description SMR [20090114 60MB] RUNNET description EBR [20090114 87MB] RUNNET 42 NANO 45 description NNV [20090112 32MB] RUNNET description TAMBOV [16MB 20081209] description TSU [20090112 18MB] TULA description ISPU-DSN [20090111 20MB] IVANOVO description IMPLUS PERM description MRSU [10M 20081119] description RND [45MB 20081118] RUNNET NANO description NNV [20081118 45MB] RUNNET NANO description BelSU [20081203 10MB] BELGOROD description SGU [20081231 10MB] SARATOV description SSTU [20081231 14MB] SARATOV description BASHSU [20090110 10MB] UFA description SURSU [20081229 40MB] CHELAYABINSK description ASU [20090121 3MB] BARNAUL description ASTU [20090121 3MB] BARNAUL description KHB [20090308 28MB] RUNNET description VLD [20090306 18MB] RUNNET Транспортная инфраструктура сети RUNNet «нано»-сеть http://www.portalnano.ru С точки зрения информационного взаимодействия архитектурой «нано»-сети является "звезда", т.е. для каждого пользователя организуется отдельный VLAN - канал в сеть НИЦ "Курчатовский институт", где будут сосредоточены основные ресурсы и сервисы сети. Понятие качества обслуживания (QoS) Существует много определений термина QoS. Cisco Systems: "QoS – QoS refers to the ability of a network to provide better service to selected network traffic over various underlying technologies…". "QoS – способность сети обеспечить необходимый сервис заданному трафику в широких технологических рамках". • Доступность • Потери • Задержка • Колебания задержки (jitter) • Пропускная способность Понятие качества обслуживания (QoS) • Доступность – Диапазон времени сетевой достижимости между входной и выходной точкой сети – это сетевая доступность. Доступность сервиса – это диапазон времени, в течение которого этот сервис доступен между определенными входной и выходной точками с параметрами, оговоренными в соглашении об уровне обслуживании (SLA). Понятие качества обслуживания (QoS) • Потери - это отношение правильно принятых пакетов к общему количеству пакетов, которые были переданы по сети. Потери выражаются в процентах отброшенных пакетов, которые не были доставлены по назначению. Обычно, потери – это функция от доступности. Если сеть не загружена, то потери (во время отсутствия перегрузок) будут равны нулю. Во время перегрузок, однако, механизмы QoS будут определять, какие пакеты могут быть сброшены. Понятие качества обслуживания (QoS) • Задержка – это время, которое требуется пакету для того, чтобы после передачи дойти до пункта назначения. • Колебания задержки (jitter) - это разница между сквозным временем задержки, которая возникает при передаче по сети разных пакетов. Так, например, если для передачи одного пакета по сети требуется 100 мсек, а для передачи следующего пакета - 125 мсек, то колебание задержки составит 25 мсек. Понятие качества обслуживания (QoS) • Пропускная способность – это доступная пользователю полоса пропускания между двумя точками присутствия оператора. Требования по уровню качества обслуживания к сети -потери пакетов не более 0.5 процента -односторонняя задержка между пограничными устройствами не более 60 мсек -колебания задержки не более 20 мсек Качество обслуживания в сети RUNNet Класс По возможности (Best Effort) Класс По возможности – это класс по умолчанию для всего трафика данных. Только в том случае, если приложение было отобрано для особенной обработки, оно будет удалено из класса по умолчанию. Так как многие корпоративные клиенты используют сотни, если не тысячи, приложений данных в своих сетях (большинство из которых и останется в этом классе) требуется выделить адекватную полосу пропускания для класса по умолчанию. В противном случае, приложения, которые попали в этот класс, будут подавлены. Рекомендуется выделять по крайней мере 25 процентов полосы пропускания для поддержки класса трафика По возможности. Differentiated класс (DiffServ) Выделение полосы пропускания для… Качество обслуживания в сети RUNNet Качество обслуживания в сети RUNNet Как можно что-нибудь «померить»... -Полосу пропускания среды передачи -Полосу пропускания TCP сессии КБит/c. Мбит/c, Гбит/с UPD соединение: iPerf -u -c noc.runnet.ru -p 25001 -b [10m|15m|30m] –r TCP соединение: iPerf -s -c noc.runnet.ru -p 25002 К анализу результата надо подходить внимательно: - производительность компьютера - загруженность сети - «длинна» канала - ... Как можно что-нибудь «померить»... Как можно что-нибудь «померить»... Влияние «длины» канала на скорость TCP Window Реализация TCP/IP стека в современных OS ориентирована на улучшение производительности в сетях с большой емкостью и малыми задержками (RTT - Round Trip Time), т.е. на работу в локальных сетях. Например, в WindowsXP по умолчанию значение TCP Window установлено в 17520 (12 сегментов). Это означает, что для разгона TCP-сессии до полной полосы пропускания задержка не должна превышать: - 0.1ms на 100M LAN-сети - 1.4ms на 10M LAN-сети - 68.4ms на 2M WAN-сети window size = bandwidth * delay Проблема MTU на канале связи Ethernet MTU 1500 байт MSS 1460 байт int s0 ip tcp adjust-mss 1460 -MTU уменьшенного размера -QnQ туннели -MPLS & EoMPLS «Убийцы» TCP сессии Современные каналы характеризуются тем, что они или работают, или не работают, или «как-то плохо» работают. «Как-то плохо» возникает от используемой технологии. С мониторингом Ethernet каналов все действительно плохо. Что не любит TCP сессия: - Малое TCP Window - HalfDuplex - Плохой patch Загрузка CPU на роутерах RUNNet imac:~ gugel$ traceroute www.ru traceroute to www.ru (194.87.0.50), 64 hops max, 40 byte packets 1 s14-1-gw.spb.runnet.ru (194.85.35.129) 0.498 ms 0.265 ms 0.265 ms 2 b57-2-gw.spb.runnet.ru (194.85.40.89) 0.537 ms 0.485 ms 0.528 ms 3 b57-1-gw.spb.runnet.ru (194.85.40.205) 11.975 ms 11.937 ms 12.040 ms 4 m9-1-gw.msk.runnet.ru (193.232.80.201) 12.44 ms 11.985 ms 12.062 ms 5 tv11-1-gw.msk.runnet.ru (194.85.40.26) 12.821 ms 12.151 ms 11.993 ms 6 m10-1-gw.msk.runnet.ru (194.85.40.34) 12.252 ms 12.753 ms 12.523 ms 7 m9-1.demos.net (193.232.246.35) 13.656 ms 12.883 ms 13.454 ms 8 iki-c1-vl10.demos.net (194.87.0.111) 14.870 ms 13.288 ms 13.626 ms 9 www.ru (194.87.0.50) 14.847 ms 13.165 ms 12.858 ms imac:~ gugel$ Загрузка CPU на роутерах RUNNet imac:~ gugel$ traceroute www.ru traceroute to www.ru (194.87.0.50), 64 hops max, 40 byte packets 1 s14-1-gw.spb.runnet.ru (194.85.35.129) 0.537 ms 0.258 ms 0.265 ms 2 b57-2-gw.spb.runnet.ru (194.85.40.89) 132.518 ms 0.686 ms 236.841 ms 3 b57-1-gw.spb.runnet.ru (194.85.40.205) 12.368 ms 11.953 ms 11.958 ms 4 m9-1-gw.msk.runnet.ru (193.232.80.201) 12.039 ms 11.968 ms 12.554 ms 5 tv11-1-gw.msk.runnet.ru (194.85.40.26) 132.51 ms 27.686 ms 231.841 ms 6 m10-1-gw.msk.runnet.ru (194.85.40.34) 12.874 ms 12.043 ms 12.397 ms 7 m9-1.demos.net (193.232.246.35) 12.510 ms 13.289 ms 13.285 ms 8 iki-c1-vl10.demos.net (194.87.0.111) 132.518 ms 237.686 ms 236.841 ms 9 www.ru (194.87.0.50) 13.160 ms 13.318 ms 13.229 ms imac:~ gugel$ Загрузка CPU на роутерах RUNNet Загрузка CPU на роутерах RUNNet imac:~ gugel$ traceroute www.ru traceroute to www.ru (194.87.0.50), 64 hops max, 40 byte packets 1 s14-1-gw.spb.runnet.ru (194.85.35.129) 0.537 ms 0.258 ms 0.265 ms 2 b57-2-gw.spb.runnet.ru (194.85.40.89) 132.518 ms 0.686 ms 236.841 ms 3 b57-1-gw.spb.runnet.ru (194.85.40.205) 12.368 ms 11.953 ms 11.958 ms 4 m9-1-gw.msk.runnet.ru (193.232.80.201) 12.039 ms 11.968 ms 12.554 ms 5 tv11-1-gw.msk.runnet.ru (194.85.40.26) 132.51 ms 27.686 ms 231.841 ms 6 m10-1-gw.msk.runnet.ru (194.85.40.34) 12.874 ms 12.043 ms 12.397 ms 7 m9-1.demos.net (193.232.246.35) 12.510 ms 13.289 ms 13.285 ms 8 iki-c1-vl10.demos.net (194.87.0.111) 132.518 ms 237.686 ms 236.841 ms 9 www.ru (194.87.0.50) 13.160 ms 13.318 ms 13.229 ms imac:~ gugel$ Загрузка CPU на роутерах RUNNet Таблица маршрутизации и протокол BGP Таблица маршрутизации и протокол BGP BGP Routing Table Report Local Time: Mon Apr 20 21:10:14 2009 EST (UTC Offset: +10:00) UTC Time: 11:10:14 20-04-2009 Analysis of BGP file BGP routing table entries (FIB size): More specific prefixes of aggregates: Root aggregate prefixes: Total number of unique ASes: Origin-only ASes: Origin ASes announcing a single prefix: Transit ASes: Transit-only ASes: Maximum AS Path length: Maximum prepended AS Path length: 292474 151957 140517 31157 26965 13248 4192 103 13 35 Таблица маршрутизации и протокол BGP nsk-ttk-1-gw#sh proc mem Processor Pool Total: 433101580 Used: 239082484 Free: 194019096 I/O Pool Total: 33554432 Used: 5307696 Free: 28246736 nsk-ttk-1-gw#sh ip bgp sum BGP router identifier 194.85.38.1, local AS number 3267 BGP table version is 152915519, main routing table version 152915519 283391 network entries using 34290311 bytes of memory 283838 path entries using 14759576 bytes of memory ....... Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 194.85.38.241 4 3267 45071701 642675 15291 0 0 6d14h 283361 nsk-ttk-1-gw# Таблица маршрутизации и протокол BGP Таблица маршрутизации и протокол BGP http://as-rank.caida.org/ Cвязность IP-сети RUNNet Международные каналы NORDUnet [AS2603] GEANT [AS20965] Cogent [AS174] ReTN [AS25462] Level3 [AS3356] TeleGlobe [AS6453] Global Crossing [AS3549] Cвязность IP-сети RUNNet ReTN [AS9002] MasterHost [AS25532] TransTeleCom [AS20485] GoldenTelecom [AS3216] RosTeleCom [AS12389] vKontakte [AS47541] Hoster [AS29076] «рабочий день закончился…» Карта сети RUNNet Карта сети RUNNet http://noc.runnet.ru/map Multicast транспорт на сети RUNNet Multicast транспорт на сети RUNNet Multicast транспорт на сети RUNNet IPv6 backbone сети RUNNet Tunnel IPv6 over IPv4 Двойной протокольный стек на интерфейсе IPv6 backbone сети RUNNet ? IPv4 IPv6 IPv4&IPv6 Уровень готовности опорной сети к транзиту IPv6 трафика Кто получить последний IP адрес «Geoff's model predicts the IANA pool will be out by May 2011 and the RIR unallocated address pool will be exhausted by September 2012 (as of April 3)» - Регистрация AS - Регистрация PA/PI адресов - Формирование блока сетей - Делегирования и поддержка обратных зон 32bit AS – по умолчанию IPv4 адресов для пользователей RUNNet достаточно LIR RUNNet не выдает адреса - регистрирует Кто получить последний IP адрес Не «видно» научных проектов ;( Востребован только доступ в Internet (даже не Internet сервисы) Нет диалога с университетами (как построить сеть, с кем сделать связность, какие сервисы…) для оптимизации инфраструктурных критериев качества функционирования сети Для примера p2p «университетская» сеть Не используется протокол IPv6 IP телефония, видеоконференцсвязь, в рамках развития сетевых сервисов для сферы образования и науки Обучение персонала Организация независимого транспорта с использованием (VPN VLAN, MPLS), QoS для различных сервисов RUNNet’2009 noc@runnet.ru +7 495 6291769 +7 812 3317567 http://www.runnet.ru http://noc.runnet.ru