Инструменты – СУБД

реклама
Повышаем отказоустойчивость без
дорогих решений
Технический директор «Ленвендо»
Виталий Гаврилов
Предпосылки
Выполнение обновления ПО (ну например часовые
пояса) потребовало даунтайма сайта на время
перезапуска сервиса СУБД
Изменились требования SLA
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Предпосылки
Сервер «умер» и выяснилось что восстановление
займет длительное время
Сервер еще не умер но вы об этом задумались…
… а денег на железо много не дадут… кризис
Просто захотелось сделать надежнее
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Требования
Не дорого
Надежно
Быстро (без сильных потерь производительности)
Масштабируемо
Низкая стоимость владения (простота поддержки)
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Требования
Обновления, требующие перезапуска сервисов или
серверов без потери доступности
Условная аппаратная независимость (отказ одного
сервера не должен приводить к отказу в доступности)
Минимизация неиспользованных ресурсов (не должно
быть незадействованных вычислительных мощностей)
Защита от потери данных за счет дублирования
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Принимаемые риски
Риск сетевой недоступности ЦОД в целом
Риск нарушения сетевой связности внутри
инфраструктуры
Риск «выгорания» стойки и аналогичные форсмажорные обстоятельства
Риск ДДОС (должен решаться за пределами системы)
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Минимальные аппаратные требования
Минимум 2 физических сервера
Обязательное использование Hardware RAID с BBU
Производительная дисковая подсистема SAS 10k+
Минимум 2, желательно 4 сетевых интерфейса на
сервер
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Начинаем собирать кластер (сеть)
eth2
eth3
eth3
+7 (812) 322-95-87 (Санкт-Петербург)
EXT IP
RIGHT
NODE-RIGHT
eth2
br0
eth1
bond0
eth1
bond1
br1
eth0
bond1
INT IP LEFT
eth0
br1
NODE-LEFT
EXT IP LEFT
SWITCH2
br0
bond0
SWITCH1
INT IP
RIGHT
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Продолжаем собирать кластер (диски)
/boot/ - 200 Mb
SWAP – от 0.5 до 2.0 от объема RAM
Остальное под LVM (группа vg0)
root
swap
boot
/ - 10Gb (volume_name = root)
Остальное не распределяем
+7 (812) 322-95-87 (Санкт-Петербург)
data
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Приступаем к реализации
Операционная система с поддержкой кластерной ФС (я
рекомендую Oracle Linux и OCFS2)
LVM для динамического управления размером томов
drbd для синхронизации данных между узлами
KVM как платформу виртуализации
virsh как интерфейс управления виртуализацией
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Собираем кластер (операционная система)
Операционная система – Oracle Linux
Бесплатная поддержка (обновления)
Единый репозиторий как для коммерческих, так и для платных
условий поддержки
Продолжительный период поддержки
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Чего мы добились
Физическое оборудование слинковано
Операционная система, поддерживающая кластерные
ФС установлена
Можно переходить к настройке системы
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Настраиваем сеть (bonding)
/etc/sysconfig/network-scripts/eth[0-1]
DEVICE="eth[0-1]"
BOOTPROTO="static"
HWADDR=“XX:XX:XX:XX:XX:XX"
NM_CONTROLLED="no"
ONBOOT="yes"
MASTER=bond0
SLAVE=yes
TYPE="Ethernet"
/etc/sysconfig/network-scripts/eth[2-3]
DEVICE="eth[2-3]"
BOOTPROTO="static"
HWADDR=“XX:XX:XX:XX:XX:XX"
NM_CONTROLLED="no"
ONBOOT="yes"
MASTER=bond1
SLAVE=yes
MTU=9000
TYPE="Ethernet“
/etc/sysconfig/network-scripts/bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
IPADDR=EXT IP (LEFT|RIGHT)
NETMASK=X.X.X.X
TYPE=Bonding
USERCRL=no
BONDING_OPTS="mode=1 miimon=100"
/etc/sysconfig/network-scripts/bond1
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
IPADDR=INT IP (LEFT|RIGHT)
NETMASK=255.255.255.252
TYPE=Bonding
USERCRL=no
MTU=9000
BONDING_OPTS="mode=0 miimon=100"
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Настраиваем сеть (bridge)
/etc/sysconfig/network-scripts/bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
TYPE=Bonding
USERCRL=no
BONDING_OPTS="mode=1 miimon=100"
BRIDGE=br0
/etc/sysconfig/network-scripts/bond1
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
TYPE=Bonding
USERCRL=no
BONDING_OPTS="mode=0 miimon=100“
MTU=9000
BRIDGE=br1
/etc/sysconfig/network-scripts/ifcfg-br0
DEVICE=br0
BOOTPROTO=static
IPADDR=EXT IP (LEFT|RIGHT)
NETMASK=X.X.X.X
ONBOOT=yes
TYPE=Brige
IPV6INIT=no
STP=(on|off)
/etc/sysconfig/network-scripts/ifcfg-br1
DEVICE=br1
BOOTPROTO=static
IPADDR=INT IP (LEFT|RIGHT)
NETMASK=255.255.255.252
ONBOOT=yes
TYPE=Brige
IPV6INIT=no
MTU=9000
STP=off
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Настраиваем Firewall (на каждом сервере)
#/etc/sysconfig/iptables
-A INPUT -i br1 -j ACCEPT
#service iptables restart
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Разметка дисков LVM на каждом сервере
# lvcreate --name=data --size= (полный объем
свободного места в группе) vg0
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Конфигурируем DRBD
/etc/drbd.d/shared.res
resource shared {
protocol C;
net {
allow-two-primaries;
sndbuf-size 0;
}
disk {
no-disk-barrier;
no-disk-flushes;
}
startup {
become-primary-on both;
}
on HOSTNAME_LEFT {
device minor 1;
disk /dev/vg0/data;
address INT IP LEFT:7789;
meta-disk internal;
}
on HOSTNAME_RIGHT {
device minor 1;
disk /dev/vg0/data;
address INT IP RIGHT:7789;
meta-disk internal;
}
}
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инициализируем DRBD
Инициализируем раздел на обоих серверах:
# drbdadm create-md shared
Запускаем DRBD на обоих серверах:
# service drbd start
# chkconfig drbd on
На любом сервере
# drbdadm invalidate shared
Ожидаем пока #service drbd status покажет завершение синхронизации
На обоих узлах
# drbdadm primary shared
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Файловая система
Ставим нужные пакеты
# yum install ocfs2-tools
Конфигурируем /etc/ocfs2/cluster.conf
# service o2cb configure
# /etc/ocfs2/cluster.conf
node:
ip_port = 7777
ip_address = INT IP LEFT
number = 0
name = HOSTNAME_LEFT
cluster = ocfs2
node:
ip_port = 7777
ip_address = INT IP RIGHT
number = 1
name = HOSTNAME_RIGHT
cluster = ocfs2
cluster:
node_count = 2
name = ocfs2
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Файловая система
Создаем файловую систему на любом сервере
# mkfs.ocfs2 -F -N 3 -J block64 -L drbd_ocfs --mount cluster -T
(datafiles|vmstore) /dev/drbd/by-res/shared
Настраиваем таблицу разделов на обоих серверах
# /etc/fstab
/dev/drbd1 /mnt/shared ocfs2 defaults,noexec,nosuid,noacl,nouser_xattr,errors=remountro,localflocks,commit=60,localalloc=4,data=writeback,barrier=0
Монтируем файловую систему на обоих узлах
# mkdir –p /mnt/shared/;chkconfig ocfs2 on;service ocf2 start
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Проверка
Перезагружаем любой сервер и убеждаемся, что все
работает…
…делаем, чтобы работало
Не забываем, что узлов 2
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Результат
Сервера настроены, корректно видят друг друга
Имеют достаточно надежное файловое хранилище
До какой-то степени серверам не опасны проблемы
потери связи (bonding)
Получили два сервера с общей файловой системой которая остается
доступна даже после падания любого из серверов… но зачем?
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Что дальше…?
А дальше мы будем делать виртуальные машины
Их диски в виде файлов будут размещены на
высокодоступной файловой системе
Конфиги виртуальных машин также сохраним в
высокодоступную файловую систему
Обеспечим балансировку запросов внутри виртуальных
машин
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Структура раздела /mnt/shared
/mnt/shared/
/mnt/shared/data/
/mnt/shared/data/image1.bin
…
/mnt/shared/xml/
/mnt/shared/xml/vhost1.xml
…
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Создаем виртуальную машину
Запускаем установку ОС
# virt-install -n vhost1 -l
http://mirror.yandex.ru/centos/7/os/x86_64/ --vnc -disk path=/mnt/shared/data/iamge1-root.bin,size=200 –
prompt
Устанавливаем ОС через VNC
Сохраняем конфигурацию
# virsh dumpxml vhost1 > /mnt/shared/xml/vhost1.xml
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Тестируем различные фишки
Живая миграция виртуальной машины
# virsh --connect=qemu:///system --quiet migrate -live vhost1 qemu+ssh://INT_IP/system
(лучше прописать внутренние адреса серверов в /etc/hosts)
Один сервер умер, срочно запускам на втором
# virsh define /mnt/shared/xml/vhost1.xml
# virsh start vhost1
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Что мы получили
Ферму, на которой работает несколько независимых
виртуальных машин
Каждая виртуальная машина может быть мигрирована
на любой из двух узлов в случае аварии или с целью
оптимизации ресурсов
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Добились ли мы цели?
Тут должен быть красивый
вопросик но я его не нашел

+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Тогда продолжим
Делаем «правильные» виртуальные машины для web-
проекта
Настраиваем сервисы повышающие доступность
Тестируем
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Правильные виртуальные машины
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты
Отказоустойчивые адреса – ucarp, corosync+pacemaker
и т.д.
Файловая синхронизация – csync2, OCFS2
БД – зависит от БД
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – отказоустойчивые адреса
HSRP – надежное аппаратное решение, требует наличия
поддерживающего оборудования. Не знает ничего про другие сервисы,
чем и ограничивается возможность применения.
carp/ucarp – просто, надежно. Не знает ничего про другие сервисы, чем и
ограничивается возможность применения.
Heartbeat – фактически предок pacemaker/corosync. Конфигурировать
сложно
Pacemaker/corosync – аналог heartbeat но проще настраивать.
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – отказоустойчивые адреса
Управление
сервисами
Простота настройки
Особенности
HSRP
Нет
Зависит от
конечного
решения
Требуется аппаратная
поддержка
UCARP
Нет
Просто
Инструмент
heartbeat
Да
pacemaker/corosync
Да
Сложно
Может некорректно
работать
при высокой нагрузке на
cистему
Средне
Может некорректно
работать
при высокой нагрузке на
cистему
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – файловая синхронизация
Асинхронная – csync2
Работает по cron
Нагружает дисковую подсистему на время
синхронизации
Позволяет выполнять обновления кода с провекой
до публичного показа посетителю
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – файловая синхронизация
Синхронная – OCFS2, GFS2
Не любит конкурентные операции записи (не
пригодна для ведения файлового кеша
динамичного проекта)
Плохо кешируется средствами ОС (в отличии от
NFS/CIFS)
Гарантирует синхронность изменения на всех узлах
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – СУБД
Mysql multimaster replication
«подводные камни» всем известны, обходные
решения достаточно широко распространены
Красическая асинхронность со своими «+» и «–»
MySQL Galera
Синхронная репликация со своими «+» и «-»
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – СУБД
PostgreSQL BDR
Есть ряд ограничений, но они обычно обходятся для
типового проекта
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Инструменты – СУБД
Oracle RAC
К сожалению не удалось заставить стабильно
работать. Скорость репликации на уровне drbd
оказалось недостаточно для работы ASM.
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Вопросы..?
И снова тут должен быть
красивый вопросик но я его так
и не нашел…
+7 (812) 322-95-87 (Санкт-Петербург)
+7 (495) 646-85-55 (Москва)
info@lenvendo.ru
Бесперебойного полета Вашим проектам!
www.lenvendo.ru
info@lenvendo.ru
Мы поддерживаем:
Скачать