Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика Хаванкин Максим

Построение катастрофоустойчивых и
распределённых ЦОД (часть 3).
Оптимизация пути входящего трафика
Хаванкин Максим
cистемный архитектор
mkhavank@cisco.com
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Содержание
§ 
§ 
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
Route Health Injection – RHI
Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Оптимизация передачи трафика
Проблема оптимальной маршрутизации
§  Перемещение нагрузки между ЦОД создает проблемы с оптимальной
маршрутизацией
WAN
Ingress:
North-South /
Client-Server
Ingress:
North-South /
Client-Server
HSRP Filter
HSRP
Active
HSRP
Active
HSRP
Standby
HSRP
Standby
East-West /
Server-Server
Egress:
South-North /
Server-Client
Egress:
South-North /
Server-Client
3
Оптимизация передачи трафика
Какой способ выбрать?
§  Логический или физический ЦОД?
§  Высокая доступность или защита от сбоев?
Ingress:
North-South /
Client-Server
WAN
Ingress:
North-South /
Client-Server
Это ОДИН логический ЦОД ?
(Высокая доступность - High Availability)
East-West /
Egress:
South-North /
Server-Client
Server-Server … разделенных
Или ДВА физически
и логически …
ЦОД?
4
Egress:
South-North /
Server-Client
Содержание
§ 
§ 
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
Route Health Injection – RHI
Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
DNS Global Server Load Balancing (GSLB)
Нагрузка распределена между ЦОД
§ 
DNS запрос 1
§ 
Поток 1 через левый ЦОД
§ 
Синхронизация GSLB посредством MEC
§ 
DNS запрос 2
§ 
Поток 2 через правый ЦОД
DNS обмен
Передача данных
Citrix Metric
Exchange Protocol
WAN
Это ОДИН логический ЦОД!
Нагрузка распределена между
площадками.
Citrix Netscaler
1000V GSLB
Менее
загруженный
сервер здесь
Citrix Netscaler
1000V GSLB
6
DNS Global Server Load Balancing (GSLB)
Особенности решения
§  Нагрузка распределяется в режиме Active-Active между ЦОД
§  Синхронизация кластера
§  Распределенная БД/Синхронизация БД
§  Растягивание/Локализация/Синхронизация СХД
§  SLB устройства отслеживают состояние приложения
§  Контроль за DNS-кэш
§  Браузер
§  Операционная система
Citrix Netscaler
1000V GSLB
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
7
Содержание
§  Введение
§  Управление входящим трафиком при помощи DNS GSLB
§  Location/ID Separation Protocol – LISP
§  Управление трафиком входящим в ЦОД-ы, не связанные по L2
§  Управление трафиком входящим в ЦОД-ы, связанные по L2
§  Интеграция распределенных сервисов
§  Route Health Injection – RHI
§  Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Location Identity Separation Protocol
Что понимается под “Location” и “Identity”
Традиционная IP сеть
IP core
10.1.0.1
IPv4 или IPv6 адрес
устройства or IPv6
определяет и его
идентификатор (identity) и
местоположение (location)
20.2.0.9
Когда устройство перемещается,
оно получает новый IPv4 или IPv6
адрес, который определяет и его
идентификатор (identity) и
местоположение (location)
Сеть с поддержкой LISP
10.1.0.1
IPv4 или IPv6
адреса устройств
определяют только
их идентификацию.
Loc/ID “Разделение”
IP core
1.1.1.1
Это его местоположение
2.2.2.2
Только местоположение
изменяется при переезде
10.1.0.1
Когда устройство
перемещается, его IPv4 или
IPv6 адрес, определяющий
его идентификатор не
изменяется.
9
Передача пакетов в LISP
Как работает LISP?
3
Mapping
Locator-­‐set: Сайт без Entry
1
DNS Entry: D.abc.com A 10.2.0.1 Эта политика
контролируется
владельцем ЦОД,
который
устанавливает веса
EID-­‐prefix: 10.2.0.0/24 Сайт без
LISP
LISPpriority: 1, weight: 50 (D1) 2.1.1.1, 2.1.2.1, priority: 1, weight: 50 (D2) 10.1.0.0/24 LISP сайт
S
PITR ITR 1.1.1.1 2
5.4.4.4 IP сеть
10.1.0.1 -­‐> 10.2.0.1 4
5.1.1.1 1.1.1.1 -­‐> 2.1.1.1 10.1.0.1 -­‐> 10.2.0.1 2.1.1.1 2.1.2.1 3.1.1.1 5.3.3.3 EID-­‐to-­‐RLOC mapping 5.2.2.2 3.1.2.1 ETR 5
10.1.0.1 -­‐> 10.2.0.1 West-DC
D
East-DC
10.2.0.0/24 10.3.0.0/24 10
Передача пакетов в LISP
Что делать с не-LISP сайтами?
3
1
EID-­‐Prefix: 10.2.0.0/24 Mapping
DNS Entry: D.abc.com A 10.2.0.1 Сайт без
LISP
Сайт без
LISP
Locator-­‐Set: Entry
2.1.1.1, priority: 1, weight: 50 (D1) 2.1.2.1, priority: 1, weight: 50 (D2) S
2
PITR 192.3.0.1 -­‐> 10.2.0.1 4.4.4.4 4
4.4.4.4-­‐ > 2.1.2.1 192.3.0.1 -­‐> 10.2.0.1 2.1.1.1 2.1.2.1 5.3.3.3 EID-­‐to-­‐RLOC mapping 5.2.2.2 5.1.1.1 IP сеть
3.1.1.1 3.1.2.1 ETR 5
West-DC
D
East-DC
192.3.0.1 -­‐> 10.2.0.1 10.2.0.0/24 10.3.0.0/24 11
Роли и адресные пространства в LISP
Какие компоненты вовлечены в передачу данных?
MappingEID
DB
a.a.a.0/24
b.b.b.0/24
c.c.c.0/24
d.d.0.0/16
Роли LISP
EID Space
•  Tunnel Routers – xTRs
•  Пограничные устройства
encap/decap
•  Ingress/Egress Tunnel
Router (ITR/ETR)
•  Proxy Tunnel Routers - PxTR
•  Граница между LISP и неLISP сайтами
•  Ingress/Egress: PITR, PETR
•  EID - RLOC Mapping DB
•  Отображение RLOC в EID
•  Распредленная база по
Map Server (MS)
Non-LISP
ITR
w.x.y.1
x.y.w.2
z.q.r.5
z.q.r.5
EID
RLOC
a.a.a.0/24
b.b.b.0/24
c.c.c.0/24
d.d.0.0/16
w.x.y.1
x.y.w.2
z.q.r.5
z.q.r.5
EID
RLOC
a.a.a.0/24
b.b.b.0/24
c.c.c.0/24
d.d.0.0/16
w.x.y.1
x.y.w.2
z.q.r.5
z.q.r.5
ALT
Prefix Next-hop
w.x.y.1
x.y.w.2
z.q.r.5
z.q.r.5
RLOC
e.f.g.h
e.f.g.h
e.f.g.h
e.f.g.h
PxTR
ETR
RLOC Space
EID Space
Адресные пространства
•  EID = End-point Identifier
•  идентификатор конечного хоста
•  RLOC = Routing Locator
•  IP адрес маршрутизатора
сети агрегации или ядра
12
LISP Mapping Database
Основы – регистрация и ответы на запросы
LISP сайт Mapping Cache Entry (на ITR):
10.2.0.0/16-> (2.1.1.1, 2.1.2.1)
Map
-R
10.2 equest
.0.1
ITR Map Server / Resolver: 5.1.1.1
Map-Reply
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
2.1.1.1
2.1.2.1
ETR Database Mapping Entry (на ETR):
3.1.1.1
ETR ETR 3.1.2.1
ETR Database Mapping Entry (на ETR):
10.3.0.0/16 -> (3.1.1.1, 3.1.2.1)
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
East-DC
10.3.0.0/16
West-DC
10.2.0.0 /16
Y
X
Y
10.2.0.2
Z
13
LISP Mapping Database
Отказоустойчивость БД
LISP Site
Нет специального протокола для
синхронизации состояния Map-серверов;
ETR должны зарегистрироваться на всех
Map серверах самостоятельно;
ITR посылает запрос на Anycast адрес
Map Resolver-а
ITR Map
10.2Request
.0.1
Mapping Cache Entry (на ITR):
10.2.0.0/16-> (2.1.1.1, 2.1.2.1)
Map Resolver:9.9.9.9 (Anycast)
Mapping DB
Node Cluster
Map Server: 5.1.1.1
Map Server: 5.2.2.2
Map-Reply
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
2.1.1.1
Database Mapping Entry (на ETR):
2.1.2.1
ETR ETR 3.1.1.1
ETR ETR 3.1.2.1
Database Mapping Entry (на ETR):
10.3.0.0/16 -> (3.1.1.1, 3.1.2.1)
10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)
East-DC
10.3.0.0/16
West-DC
10.2.0.0 /16
Y
X
Y
10.2.0.2
Z
14
Базовая настройка LISP
Пограничный маршрутизатор
ip lisp proxy-itr
ip lisp ITR map-resolver 5.3.3.3
Серверы БД
ip lisp map-resolver
ip lisp map-server
lisp site west-DC
authentication-key 0 s3cr3t
eid-prefix 10.2.0.0/24
Маршрутизатор в филиале
ip lisp itr-etr
ip lisp ITR map-resolver 5.3.3.3
не-LISP сайты
PITR 5.3.3.3
LISP сайт
ITR Mapping DB
1.1.1.1
ip
ip
ip
ip
ip
lisp
lisp
lisp
lisp
lisp
Устройства агрегации в ЦОД
itr-etr
database-mapping 10.2.0.0/24 2.1.1.1 p1 w50
database-mapping 10.2.0.0/24 2.1.2.1 p1 w50
ETR map-server 5.1.1.1 key s3cr3t
ETR map-server 5.2.2.2 key s3cr3t
Как правило устройство выполняет обе роли
ITR/ETR чтобы обсуживать трафик в обоих
напралениях
5.1.1.1
IP сеть
2.1.1.1
5.2.2.2
2.1.2.1
ETR East-DC
West-DC
10.2.0.0/24
15
RLOC
EID
LISP Encap/Decap
Сценарии использования LISP
Отказоустойчивые подключения
Миграция на IPv6
v6
Internet
LISP
сайт
LISP
Routers
v6
Services
LISP
Router
v6
§  Переносимость IP
§  Управление входящим трафиком без
BGP
IPv6
Internet
§  v6-over-v4, v6-over-v6
§  v4-over-v6, v4-over-v4
Мобильность хостов
Multi-Tenancy и VPN
LISP сайт
LISP сайт
IP сеть
West-DC
IPv4
Internet
v4 v6
LISP
Router
IP сеть
East-DC
§  Снижение CapEx/OpEx
§  Сегментация в больших масштабах
West-DC
§  Перемещение вит. машин
16
§  Сегментация
East-DC
Сценарии применения LISP
Перемещение без растягивания
L2 сегментов между ЦОД
LISP сайт
не-LISP
сайт
XTR DR Location
или Cloud
Provider DC
Mapping DB
Internet или
WAN
LISP сайт
XTR Mapping DB
IP сеть
LAN Extension
LISP-­‐VM (XTR) West-DC
Перемещение с растягиванием
L2 сегментов между ЦОД
LISP-­‐VM (XTR) East-DC
West-DC
East-DC
IP мобильность
Disaster Recovery
Cloud Bursting
Все компоненты приложения в одном ЦОД
одновременно
Компоненты приложения растянуты между
ЦОД
17
Обнаружение перемещений хостов в LISP
Мониторинг источника трафика
§  Новый xTR проверяет источник трафика
§  Настройка динамических-EID определяет какие префиксы могут
«мигрировать» между ЦОД
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C> p1 w50
database-mapping 10.2.0.0/24 <RLOC-D> p1 w50
map-server 5.1.1.1 key abcd
Mapping DB
interface vlan 100
lisp mobility roamer
5.1.1.1
A
B
Получили пакет…
… от “Нового” хоста
… его адрес находится в разрешенном
диапазоне Dynamic-EID
…это миграция!
5.2.2.2
Регистрируем /32 в LISP
C
D
LISP-­‐VM (xTR) East-DC
10.3.0.0/16
West-DC
10.2.0.0 /16
Y
X
Y
10.2.0.2
18
Z
Перенаправление трафика в LISP
Обновление записей в БД Location Mapping
§  Когда LISP обнаруживает переезд хоста, база данных MS/MR и кеш xTR
обновляются:
§  RLOC обновляет запись в базе данных
§  Старый ETR уведомляется о перемещении
§  ITR получают нотификацию для обновления своих кэш-записей
§  ITR или PITR начинают передавать трафик в новый ЦОД
10.2.0.0/16 – RLOC A, B
LISP сайт
xTR Mapping DB
10.2.0.2/32 – RLOC C, D
A
B
C
D
LISP-­‐VM (xTR) East-DC
10.3.0.0 /16
West-DC
10.2.0.0 /16
Y
X
Y
10.2.0.2
19
Z
Содержание
§  Введение
§  Управление входящим трафиком при помощи DNS GSLB
§  Location/ID Separation Protocol – LISP
§  Управление трафиком входящим в ЦОД-ы, не связанные по L2
§  Управление трафиком входящим в ЦОД-ы, связанные по L2
§  Интеграция распределенных сервисов
§  Route Health Injection – RHI
§  Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Разделенные физически и логически ЦОД
Возможные сценарии реализации в зависимости от бизнес-потребностей
§  Active-Standby
§  Active-Disater Recovery (DR) – VMware SRM, Microsoft DPM
§  Active-Облачный оператор (cloud bursting)
Ingress:
North-South /
Client-Server
WAN
Связь по L2 между ЦОД отсутствует!
ДВА физически и
логически …
Ingress:
North-South /
Client-Server
… разделенных
ЦОД?
East-West /
Server-Server
Egress:
South-North /
Server-Client
Egress:
South-North /
Server-Client
21
LISP Host-Mobility – First Hop Routing
ЦОД не связаны по L2
§ 
§ 
§ 
SVI (Interface VLAN x) и HSRP настраиваются как обычно
§  Один и тот же адрес GWY-MAC или один и тот же номер HSRP-группы
Команда lisp mobility <dyn-eid-map> запускает функцию proxy-arp на SVI
§  LISP-VM маршрутизатор выступает шлюзом по умолчанию и для своих и для мобильных
подсетей
Мобильный хост всегда «разговаривает» с локальным шлюзом с одним и тем же MAC
interface vlan 100
ip address 10.2.0.5/24
lisp mobility roamer
( ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
Interface vlan 100
ip address 10.2.0.6/24
lisp mobility roamer
(ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
LISP-­‐VM (xTR) HSRP Active
West-DC
10.2.0.0 /24
A
B
HSRP
ARP
GWY-MAC
interface vlan 100
ip address 10.3.0.8/24
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3..0.1 C
D
10.2.0.2
HSRP
ARP
22
GWY-MAC
interface vlan 100
ip address 10.3.0.7/24
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3.0.1
East-DC
10.3.0.0 /24
HSRP Active
Пример миграции хоста
Передача обновлений между сайтами не связанными по L2 через mapping DB
Хостовый (/32) маршрут в Null0 показывает что хост “переехал”
6
10.2.0.0/16 – RLOC A, B
10.2.0.2/32 – RLOC C, D
Map-Notify
10.2.0.2/32 <C,D>
Routing Table:
10.2.0.0/16 – Local
10.2.0.2/32 – Null0
10
Mapping DB
5.1.1.1
B
2
9
10.2.0.0 /16
8
West-DC
Map-Notify
10.2.0.2/32 <C,D>
5.2.2.2
5
7
A
Map-Register
10.2.0.2/32 <C,D>
4
Routing Table:
10.3.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
C
Routing Table:
10.2.0.0/16 – Local
10.2.0.2/32 – Null0
D
3
10.3.0.0 /16
1
East-DC
Y
X
Y
10.2.0.2
Routing Table:
10.3.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
23
Map-Notify
10.2.0.2/32 <C,D>
Обновление кэш записей - «map cach»
ITR 1. Тра
eply
A
Mapping DB
ap R
фик д
анны
х
10.2.0.2/32 – RLOC C,D
4. M
3. 
4. 
5. 
10.2.0.0/16 – RLOC A,B
LISP сайт
MR
2. 
Устройства ITR и PITR продолжают
передавать трафик в «старый» ЦОД
«Старый» xTR пересылает сообщения
Solicit Map Request (SMR) любому узлу
(encapsulator) который шлет
инкапсулированный трафик, который
предназначен переехавшему хосту
ITR посылает новый map request
ITR получает map-reply нового ЦОД
ITR обновляет свой Map Cache
2. S
1. 
Map Cache @ ITR
B
C
D
LISP-­‐VM (xTR) Трафик перенаправляется в правильный
ЦОД
SMR сообщение является важным
элементом поддерживающим целостность
решения
East-DC
10.3.0.0 /16
West-DC
10.2.0.0 /16
X
Y
Y
10.2.0.2
24
Z
Конфигурация LISP
ЦОД не связаны по L2
ip lisp ITR-ETR
ip lisp database-mapping 10.2.0.0/16 <RLOC-A>
ip lisp database-mapping 10.2.0.0/16 <RLOC-B>
ip lisp ITR-ETR
ip lisp database-mapping 10.3.0.0/16 <RLOC-C>
ip lisp database-mapping 10.3.0.0/16 <RLOC-D>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-A>
database-mapping 10.2.0.0/24 <RLOC-B>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.1.1.1
interface vlan 100
ip address 10.2.0.10 /16
lisp mobility roamer
(ip proxy-arp)
hsrp 101
mac-address 0000.0e1d.010c
ip 10.2.0.1
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C>
database-mapping 10.2.0.0/24 <RLOC-D>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.2.2.2
interface vlan 100
ip address 10.3.0.11 /16
lisp mobility roamer
(ip proxy-arp)
hsrp 201
mac-address 0000.0e1d.010c
ip 10.3.0.1
A
B
C
D
Mapping DB
LISP-­‐VM (xTR) East-DC
10.3.0.0 /16
West-DC
10.2.0.0 /16
X
Y 25
Z
Настройка MS/MR на разных LISP сайтах
Рекомендуется: совмещение функций MS/MR на xTR устройствах (один на ЦОД)
LISP сайт
10.10.1.0 /24
MS/MR в
West-DC
A
B
ip lisp map-resolver
ip lisp map-server
lisp site BRANCH_1
eid-prefix 10.10.1.0/24
10.10.10.0/24
authentication-key abcd
lisp site West-DC
eid-prefix 10.2.0.0/16
10.1.0.0/16 accept-more-specifics
authentication-key abcd
lisp site East-DC
eid-prefix 10.3.0.0/16
10.2.0.0/16 accept-more-specifics
authentication-key abcd
C
D
East-DC
10.3.0.0 /24
West-DC
10.2.0.0 /24
X
MS/MR в
East-DC
Y
Z
26
Передача данных внутри «нерастянутой» подсети
West-to-East
§ 
§ 
East-to-West
X шлет ARP для Y
Запись /32 Null0 для Y заставляет West-RLOC ответить
своим MAC на этот запрос (proxy-ARP)
• 
• 
§  Замечание: предыдущая ARP запись для Y на хосте X
очищатся после после получения GARP пакета от
West-DC XTR
§ 
Трафик от X в сторону Y инкапсулируется в LISP
BàC
A
Y шлет ARP для X
Запись /24 Null0 для ‘домашней подсети’ заставляет
East-RLOC ответить своим MAC на этот запрос (proxyARP)
•  Замечание: ARP кеш Y не содержит записей после
«холодного» перемещения
§ 
Трафик от Y в сторону X инкапсулируется в LISP
CàB
10.2.0.9 à 10.2.0.8
B
C
D
A
LISP DC xTR 10.2.0.8 à 10.2.0.9
B
C
D
LISP DC xTR West-DC
West-DC
East-DC
10.2.0.0/24
10.3.0.0/24
Y
10.2.0.9
East-DC
10.2.0.0/24
10.3.0.0/24
Y
10.2.0.9
X
Y
10.2.0.8
X
Z
27
Y
10.2.0.8
Z
Содержание
§  Введение
§  Управление входящим трафиком при помощи DNS GSLB
§  Location/ID Separation Protocol – LISP
§  Управление трафиком входящим в ЦОД-ы, не связанные по L2
§  Управление трафиком входящим в ЦОД-ы, связанные по L2
§  Интеграция распределенных сервисов
§  Route Health Injection – RHI
§  Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Один логический ЦОД
Возможные сценарии реализации в зависимости от бизнес-потребностей
§  Active-Active
§  Распределенный кластер
Ingress:
North-South /
Client-Server
WAN
Связь по L2 между ЦОД организована!
Ingress:
North-South /
Client-Server
Это ОДИН логический ЦОД!
East-West /
Server-Server
Egress:
South-North /
Server-Client
Egress:
South-North /
Server-Client
29
LISP Host-Mobility – First Hop Routing
ЦОД связаны по L2
§  Одинаковые GWY-IP и GWY-MAC настроены в разных ЦОД
§ 
Одинаковые группы HSRP è одинаковые GWY-MAC
§  Серверы могут перемещаться куда угодно, адреса IP/MAC шлюза по умолчанию не
изменяются
interface vlan 100
interface Ethernet2/4
ip address 10.2.0.5/24
ip address 10.2.0.6/24
lisp mobility roamer
lisp mobility
lisproamer
extended-subnet-mode
LAN Ext.
lisp extended-subnet-mode
hsrp 101
hsrp 101
ip 10.2.0.1
A
ip 10.2.0.1
B
interface vlan 100
interface vlan 200
ip address 10.2.0.7/24
ip address 10.2.0.8/24
lisp mobility roamer
lisp mobility roamer
lisp extended-subnet-mode
lisp extended-subnet-mode
hsrp 101
hsrp 101
ip 10.2.0.1
ip 10.2.0.1
C
D
LISP-­‐VM (xTR) HSRP Active
HSRP Active
West-DC
10.2.0.0 /24
HSRP
ARP
GWY-MAC
HSRP
ARP
GWY-MAC
30
East-DC
10.2.0.0 /24
Пример миграции хоста
Передача обновлений между сайтами связанными по L2 через map-notify
Хостовый (/32) маршрут в Null0 показывает что хост “переехал”
6
10.2.0.0 /24 is the dyn-EID
10.2.0.0/16 – RLOC A, B
10.2.0.2/32 – RLOC C, D
Map-Register
10.2.0.2/32 <C,D>
Mapping DB
4
5.1.1.1
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Null0
A
B
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
2 10.2.0.2/32 – Local
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
4 10.2.0.2/32 – Null0
5
4
C
Y
X
Map-Notify
10.2.0.2/32 <C,D>
1
OTV
Y
10.2.0.2
31
Routing Table:
10.2.0.0/16 – Local
10.2.0.0/24 – Null0
10.2.0.2/32 – Local
D
3
3
10.2.0.0 /16
West-DC
5.2.2.2
10.2.0.0 /16
East-DC
Map-Notify
10.2.0.2/32 <C,D>
Обновление кэш записей - «map cach»
Map Cache @ ITR
LISP site
ITR A
fic
a Traf
Mapping DB
eply
1. Dat
2. S
MR
10.2.0.2/32 – RLOC C,D
ap R
Трафик перенаправляется в правильный
ЦОД
SMR сообщение является важным
элементом поддерживающим целостность
решения
10.2.0.3/32 – RLOC A,B
10.2.0.2/32 – RLOC A,B
4. M
1.  Устройства ITR и PITR продолжают
передавать трафик в «старый» ЦОД
2.  «Старый» xTR пересылает сообщения
Solicit Map Request (SMR) любому узлу
(encapsulator) который шлет
инкапсулированный трафик, который
предназначен переехавшему хосту
3.  ITR посылает новый map request
4.  ITR получает map-reply нового ЦОД
5.  ITR обновляет свой Map Cache
B
C
D
LISP-­‐VM (xTR) OTV
West-DC
10.2.0.0 /16
X
Y
Y
10.2.0.2
32
East-DC
10.2.0.0 /16
Z
Конфигурация LISP
ЦОД связаны по L2 - “extended-subnet-mode”
ip lisp ITR-ETR
ip lisp database-mapping 10.2.0.0/16 <RLOC-A>
ip lisp database-mapping 10.2.0.0/16 <RLOC-B>
ip lisp ITR-ETR
ip lisp database-mapping 10.3.0.0/16 <RLOC-C>
ip lisp database-mapping 10.3.0.0/16 <RLOC-D>
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-A> …
database-mapping 10.2.0.0/24 <RLOC-B>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.10.10.10
interface vlan 100
ip address 10.2.0.10 /16
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
lisp dynamic-eid roamer
database-mapping 10.2.0.0/24 <RLOC-C>
database-mapping 10.2.0.0/24 <RLOC-D>
map-server 1.1.1.1 key abcd
map-server 2.2.2.1 key abcd
map-notify-group 239.10.10.10
interface vlan 100
ip address 10.2.0.11 /16
lisp mobility roamer
lisp extended-subnet-mode
hsrp 101
ip 10.2.0.1
LAN Ext.
A
1.1.1.1
B
2.2.2.2
C
D
Mapping DB
LISP-­‐VM (xTR) West-DC
East-DC
10.2.0.0/16
X
Y 33
Z
Передача данных внутри «растянутой» подсети
§  Миграция хостов без
выключения (vMotion/Live
Migration) и разнесенные члены
кластера
§  Трафик в обе стороны
передается без участия LISP
(например OTV)
§  Мультикаст cообщения LISP
map-notify передаются при
помощи механизма
растягивания VLAN (например
OTV)
10.2.0.9 à 10.2.0.8
10.2.0.8 à 10.2.0.9
LAN Ext.
A
B
C
D
LISP DC xTR West-DC
East-DC
10.2.0.0/24
10.2.0.0/24
Y
10.2.0.9
X
Y
10.2.0.8
34
Z
Трафик клиент-сервер
Весь трафик должен иметь LISP-инкапсуляцию
§  Клиенты 10.1.0.1 и
192.168.2.1 передают данные
серверу 10.2.0.2
§  Клиентский трафик
инкапсулируется в LISP на
ITR или PITR
§ 
От сервера к клиентам:
§ 
§ 
ETR C или D
Клиент
10.1.0.1
не-LISP сайты
192.168.2.1 à 10.2.0.2
G
LISP сайт
10.1.0.1 à 10.2.0.2
От клиентов к серверу:
§ 
§ 
Клиент
192.168.2.1
ETR (F) на LISP сайте
PETR (G) для не-LISP сайтов
§  Трафик Сервер-Сервер между
сайтами инкапсулируется в
LISP (для тех серверных
сегментов, в которых включена
мобильность LISP)
GàD
xTR PxTR Mapping DB
192.168.2.1 à 10.2.0.2
F
10.1.0.1 à 10.2.0.2
FàC
A
B
C
D
LISP-­‐VM (xTR) East-DC
West-DC
10.3.0.0 /16
10.1.0.1 à 10.2.0.2
192.168.2.1 à 10.2.0.2
10.2.0.0 /16
Y
X
35
Y
10.2.0.2
Передача данных между серверами
Отличия работы LISP в зависимости от топологии
VLAN растягиваются между ЦОД
§  Живая миграция и разнесенные
компоненты кластера
§  Трафик между X и Y использует
технологию растягивания VLAN,
например OTV
§  Мультикаст сообщения map-notify не
передаются при помощи LISP
VLAN не растягиваются между ЦОД
§  Холодные перемещения (VMware SRM,
MS DPM)
§  Трафик между X- Y передается LISP-VM
устройству и инкапсулируется в LISP
§  Для распространения map-notify
используется MS/MR
10.2.0.3 à 10.2.0.2
BàC
Mapping DB
10.2.0.3 à 10.2.0.2
LAN Ext.
A
B
C
D
A
LISP-­‐VM (xTR) B
C
D
LISP-­‐VM (xTR) West-DC
West-DC
10.2.0.0/16
East-DC
Y
10.2.0.3
East-DC
10.2.0.0/16
10.3.0.0/16
Y
10.2.0.3
X
Y
10.2.0.2
X
Z
36
Y
10.2.0.2
Z
Преимущества LISP при решении DCI задач
§  Прямой путь трафика (no triangulation)
§  Соединение не разрывается при
перемещении
§  Не возникает события сходимости
протокола маршрутизации при
переезде
§  Независимость от DNS
§  Прозрачно для конечных хостов
§  Глобальная масштабируемость (cloud
bursting)
§  Поддержка IPv4/IPv6
не-LISP сайты
LISP сайт
PXTR XTR Mapping DB
IP сеть
Растягивание L2 сегментов между ЦОД
LISP-­‐VM (XTR) East-DC
West-DC
RLOC
37
EID
LISP Encap/Decap
Содержание
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
§  Эффект пинг-понга трафика между ЦОД
§  LISP Multi-Hop
§  Route Health Injection – RHI
§  Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Интеграция распределенных сервисов
Сервисные устройства разносятся между площадками
•  Сетевые сервисы как
правило активны в DC-1
•  Распределенные пары
МСЭ и балансировщика
нагрузки в каждом ЦОД
•  Растягивание VLAN для
синхронизации состояния
•  Растягивание VLAN для
нагрузки
•  Source NAT для SLB VIP
L3 ядро
Outside VLAN FW FT and session synch Inside VLAN VIP
Src-NAT
VIP VLAN Замечание: решение только
на 2 площадки, как правило
SLB session synch Front-­‐end VLAN Subnet A
Subnet A
Back-­‐end VLAN DC-1
DC-2
Интеграция распределенных сервисов
Эффект пинг-понга влияет на приложение (время отклика, производительность)
L3 ядро
Outside VLAN Inside VLAN VIP
Src-NAT
VIP VLAN Front-­‐end VLAN Subnet A
Subnet A
Back-­‐end VLAN DC-1
100 км +/- 1 мсек на round trip
DC-2
•  МСЭ переезжает на
удаленный сайт
•  Source NAT для SLB VIP
остается
•  Задержка растет +/- 1 мсек
для каждых 100 км между
ЦОД
•  В ЦОД с несколькими
контурами безопасности
один запрос может вызвать
10 и более перемещений
трафика между ЦОД
•  Настройка функции
«Interface tracking» на
сервисных устройствах –
сервисы активны
одновременно только в
одном ЦОД
Интеграция распределенных сервисов
Частичный переезд приложения - эффект пинг-понга растет
L3 ядро
Outside VLAN Inside VLAN VIP
Src-NAT
VIP VLAN Front-­‐end VLAN Subnet A
Subnet A
Back-­‐end VLAN DC-1
100 км +/- 1 мсек на round trip
DC-2
•  FW переехал в DC-2
•  Фронт-энд серверы
переехали в DC-2
•  Source NAT для SLB
VIP поддерживает
правильный
обратный путь для
трафика через Active
SLB
•  Частичный переезд
серверной фермы
не оптимален
•  Понимать
взаимосвязь
приложений
Интеграция распределенных сервисов
Требуется координация действий между ИТ-подразделениями
•  Для снижения вероятности
образования «тромбов» в
сети все компоненты
приложения должны
переезжать вместе
•  FHRP фильтрация
•  Source NAT для SLB VIP
поддерживает корректный
обратный пусть черезе Active
SLB
•  Координация действий
сетевой и серверной
(виртуализация) команд
L3 ядро
Outside VLAN Inside VLAN VIP VLAN Src-NAT
Front-­‐end VLAN Subnet A
HSRP
Filter
Subnet A
Back-­‐end VLAN DC-1
100 км +/- 1 мсек на round trip
DC-2
Интеграция распределенных сервисов
Решение большинства проблем, вызывающих пинг-понг
LISP Multi-hop может устранить и
эту неоптимальность
L3 ядро
Outside VLAN Inside VLAN VIP
Src-NAT
VIP VLAN Front-­‐end VLAN Subnet A
VIP
Src-NAT
HSRP
HSRP
Filter
Filter
Subnet A
Back-­‐end VLAN DC-1
100 км +/- 1 мсек на round trip
DC-2
•  Контекст на МСЭ перемещается
вместе с приложением
•  Применение функции Interface
Tracking на сервисных
устройствах
•  Обратный трафик остается
симметричным и передается
через устройство балансировки с
source-NAT
•  Оптимизация путей передачи
данных внутри ЦОД почти
достигнута – требуется
управление входящим
трафиком от пользователей,
например LISP Multi-Hop
•  Координация ИТ-подразделений
•  Серверы/Приложения
•  Сеть/HSRP фильтр
•  Сервис & безопасность
•  СХД
Содержание
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
§  Эффект пинг-понга трафика между ЦОД
§  LISP Multi-Hop
§  Route Health Injection – RHI
§  Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Технология LISP Multi-Hop
Функции обнаружения и инкапсуляции разносятся между разными устройствами
§ 
§ 
На МСЭ и SLB попадает трафик без
инкапсуляции
Существующие MCЭ и SLB не
поддерживают инспекцию трафика
инкапсулированного в LISP*
L3 ядро
LISP encap/decap
LISP сигнализация
R2: FW (не-LISP)
§  Разнесение LISP функций:
§  SG XTR à LISP регистрация/encap/decap
§  1st Hop router à детекция перемещений,
нотификация устройства XTR, proxy
default GWY
§  Устройство SG XTR LISP
регистрирует перемещения и
сообщает центральной БД MS/MR
R3: Site GWY
XTR (SG)
R1: First Hop (FH)
Move Detection
Host route injection
Default GWY proxy
“roamer”
(мобильная
нагрузка)
* Roadmap
45
Сообщение LISP EID-notify
§  xTR не стоит на первой линии перед
нагрузкой
Работа LISP Multi-Hop
ЦОД связаны по L2
4
3
Map-Notify
LISP
Registration/
Notifications
L3 Core
LISP
encap/decap
Map-Register
L3 Core
LISP
encap/decap
2
EID-Notify
5
Extended LAN (east-west traffic)
EID-Notify
1
Map-Notify
“roamer”
(мобильная нагрузка)
2
Настройка LISP-HM Multi-Hop
ЦОД связаны по L2
L3 Core
ip lisp itr-etr
lisp dynamic-eid foo
database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w>
map-server <map-server-address>
eid-notify authentication-key <key-value>
LISP
Registrations
LISP
encap/decap
SG1
LISP
Notifications
FHR
“roamer”
(мобильная нагрузка)
SGn
lisp dynamic-eid foo
database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w>
eid-notify <xtr-address-1> key <key-value>…
eid-notify <xtr-address-n> key <key-value>
Применение LISP Multi-Hop
ЦОД не связаны по L2, холодная миграция приложений
M-­‐DB L3 Core
Update your Table
SMR
ITR
ETR
Director
App has moved
Owner
ETR
Owner
Director
CCL
CCL
Owner
Subnet A
Subnet B
DC-1
Latency > 10ms
DC-2
1 – пользователь шлет запрос в приложению
2 - ITR перехватывает запрос и проверяет
локализацию приложения
3 - MS пересылает запрос ETR который сообщает
что Subnet A находится за ETR DC-1
3” - ITR инкапсулирует пакеты в LISP и
пересылает их в сторону RLOC ETR-DC-1
4 – LISP уведомляет ETR в DC-2 о переезде
приложения в DC-2
5 – ETR DC-2 информирует MS о новой
локализации приложения
6 – MR обновляет ETR DC-1
7 – ETR DC-1 свою таблицу (App:Null0)
8 – ITR пересылает трафик ETR DC-1
9 – ETR DC-1 отвечаечает при помощи SMRсообщения ( Solicit Map Request)
10 – ITR пересылает Map Req и затем
перенаправляет трафик в сторону ETR DC-2
Применение LISP Multi-Hop
ЦОД связаны по L2, горячая миграция, применение ASA Cluster
M-­‐DB SMR
ITR
L3 Core
Update your Table
App is located in ETR-DC-2
ETR
App has moved
ETR
Director
CCL Extension Owner
HRSP Filter
Subnet A
HRSP Filter
Data VLAN Extension HRSP Filter
DC-1
Subnet A
HRSP Filter
DC-2
1 - пользователь шлет запрос в приложению
2 - ITR перехватывает запрос и проверяет
локализацию приложения
3 - MS пересылает запрос ETR который сообщает
что Subnet A находится за ETR DC-1
3” - ITR инкапсулирует пакеты в LISP и пересылает
их в сторону RLOC ETR-DC-1
4 – LISP уведомляет ETR в DC-2 о переезде
приложения в DC-2
5 – ETR DC-2 информирует MS о новой
локализации приложения
6 – MR обновляет ETR DC-1
7 – ETR DC-1 обновляет свою таблицу (App:Null0)
8 – ITR пересылает трафик ETR DC-1
9 – ETR DC-1 отвечаечает при помощи SMRсообщения ( Solicit Map Request)
10 – ITR пересылает Map Req и затем
перенаправляет трафик в сторону ETR DC-2
Содержание
§ 
§ 
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
Route Health Injection – RHI
Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Использование /32 маршрутов
Функция LISP IGP Assist
L3 сеть
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP
R1: FHR
“roamer”
(мобильная нагрузка)
§  Сквозное решение только на
базе /32
§  LISP обеспечивает только
детектирование мобильной
нагрузки
§  LISP помогает протоколам
маршрутизации IGP сойтись
быстрее
§  IGP распространяет маршруты
изученные с помощью LISP
§  LISP инкапсуляция не
применяется в процессе
передачи данных
Работа LISP-HM IGP Assist
ЦОД связаны между собой по L2 (ESM)
Сквозная маршрутизация на базе /32 маршрутов
LISP “помогает” сойтись IGP
Централизованная БД не используется
L3 сеть
Редистрибуция
LISP маршрутов
в IGP
Редистрибуция
LISP маршрутов
в IGP
3
Удаляем
/32 lisp
interface
мар-т
Обнаруживаем
мобильный хост
Map-Notify
2
1
Map-Notify
2
“roamer”
(lands in a foreign
network)
Устанав.
/32 lisp
interface
мар-т
2
Настройка LISP-HM IGP Assist
ЦОД связаны между собой по L2 (ESM)
L3 Core
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP
“roamer”
(lands in a foreign
network)
@ FHR
lisp dynamic-eid foo
database-mapping <eid-prefix> redistribute
map-notify-group 239.1.1.1
…
router <favorite-routing-protocol> foo
redistribute lisp route-map <bar>
…
ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32
route-map <bar> permit 10
match ip address <eid-list-name>
R1: FHR
Работа LISP-HM IGP Assist
ЦОД не связаны между собой по L2 (ASM)
Сквозная маршрутизация на базе /32 маршрутов
Без LISP сигнализации: трафик
L3 сеть
попадает в «черную дыру»
Редистрибуция
LISP маршрутов
в IGP
4
Удаляем
/32 lisp
interface
мар-т
Редистрибуция
LISP маршрутов
в IGP
3
Dyn-eid timeout
Обнаруживаем
мобильный хост
1
Map-Notify
2
“roamer”
(lands in a foreign
network)
Устанав.
/32 lisp
interface
мар-т
2
Работа LISP-HM IGP Assist – задействуется MS
ЦОД не связаны между собой по L2 (ASM)
Сквозная маршрутизация на базе /32 маршрутов
LISP “помогает” сойтись IGP
L3 Core
Map-Server
Редистрибуция
LISP маршрутов
в IGP
5
Удаляем
/32 lisp
interface
мар-т
4
Map-Notify
Map-Notify
Редистрибуция
LISP маршрутов
в IGP
3
Map-Register
Обнаруживаем
1
мобильный хост
Map-Notify
5
2
“roamer”
(lands in a foreign
network)
Устанав.
/32 lisp
interface
мар-т
2
Настройка LISP HM IGP Assist
ЦОД не связаны между собой по L2 (ASM)
@ FHR
ip lisp etr
<<<< Must be ETR only
lisp dynamic-eid foo
database-mapping <eid-prefix> redistribute
database-mapping <eid-prefix> rloc <rloc> p1 w50
map-server <ms-address> key <some-key>
map-notify-group 239.1.1.1
…
router <favorite-routing-protocol> foo
redistribute lisp route-map <bar>
…
ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32
route-map <bar> permit 10
match ip address <eid-list-name>
L3 Core
Динамический
маршрут /32
устанавливается при
помощи LISP и затем
редистрибутируется
в IGP
“roamer”
(lands in a foreign
network)
R1: FHR
Содержание
§ 
§ 
§ 
§ 
§ 
§ 
Введение
Управление входящим трафиком при помощи DNS GSLB
Location/ID Separation Protocol – LISP
Интеграция распределенных сервисов
Route Health Injection – RHI
Заключение
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Заключение
§  Управление входящим трафиком при помощи DNS GSLB
§  Citrix Netscaler
§  Location/ID Separation Protocol – LISP
§  Мощное средство управления трафиком на все случаи жизни
§  Гибкость и простота настройки
§  Интеграция распределенных сервисов
§  Координация ИТ-подразделений
§  LISP Multi-Hop
§  Route Health Injection – RHI
§  LISP IGP Assist
11/19/14
© 2014 Cisco and/or its affiliates. All rights reserved.
Ждем ваших сообщений с хештегом
#CiscoConnectRu
Спасибо
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Contacts:
Name Хаванкин Максим
Phone +74999295710
E-mail mkhavank@cisco.com
CiscoRu
11/20/14
Cisco
© 2014 Cisco and/or its affiliates. All rights reserved.
CiscoRussia