Администрирование Linux Лекция 9.1 Сети доступа к

Администрирование Linux
Лекция 9.1
Сети доступа к дискам
Иртегов Д.В.
Новосибирский гос. Университет
2014
SAN
• Storage Access Network
• Наиболее популярный протокол – iSCSI
• Предполагает раздачу образов дисков
по сети
• В отличие от сетевой ФС,
параллельный доступ на запись к
одному диску невозможен
• Зато производительность гораздо выше
Производительность SAN
• Диски:
– SATA 1.0 – 1.5Гбит/с
– SATA 2.0 – до 3Гбит/с
– SATA 3.2 Express – до 16Гбит/с
• Сеть
– Ethernet 1Гбит/с, Ethernet 10Гбит/с
– Infiniband – 16Гбит/с
– FiberChannel – до 20Гбод
Немного истории SCSI
•
•
•
Small Computer System Interface
Разработан в начале 80х
Разделение уровней
–
–
–
•
Варианты физического уровня:
–
–
–
–
–
–
–
•
Командный
Транспортный
Физический
Narrow SCSI (8-битная параллельная шина, 8 устройств)
Wide SCSI (16-битная параллельная шина, 16 устройств)
SAS (Serially Attached SCSI – коммутируемая последовательная шина)
USB (диски USB управляются командами SCSI)
FireWire (IEEE 1394)
TCP/IP (iSCSI)
PATA/SATA (недисковые устройства, e.q., CD-ROM, управляются командами SCSI)
Использовался для подключения
–
–
–
–
Дисков
Приводов CD, лентопротяжек
Сканнеров
Ethernet-адаптеров (сам не видел, видел фотографию в журнале)
Терминология SCSI
• Target – целевое устройство
• LUN – логическое устройство в
пределах Target
(обычно, LUN – это диск)
• Initiator – устройство, осуществляющее
запрос (компьютер)
• Target – это сервер, Initiator - клиент
Типы устройств SCSI
Код
00h
01h
02h
03h
04h
05h
06h
07h
08h
09h
0Ah-0Bh
0Ch
0Dh
0Eh-1Eh
1Fh
Описание
Устройство прямого доступа (например, магнитный диск)
Устройство последовательного доступа (например, магнитная лента)
Печатающее устройство
Процессорное устройство
Устройство однократной записи (например, некоторые оптические диски)
CD-ROM
Сканер
Оптическое запоминающее устройство
Устройство с заменой носителя (например, jukebox)
Коммуникационное устройство
Определено ASC IT8
Контроллер массива запоминающих устройств (например, RAID)
Устройство enclosure services (мост в шину другого типа)
зарезервировано
Неизвестный или не определенный тип устройства
Команды SCSI
Имя команды
CHANGE DEFINITION
COMPARE
COPY
COPY AND VERIFY
INQUIRY
LOG SELECT
LOG SENSE
MODE SELECT(6)
MODE SELECT(10)
MODE SENSE(6)
MODE SENSE(10)
MOVE MEDIUM ATTACHED
PERSISTENT RESERVE IN
PERSISTENT RESERVE OUT
PREVENT ALLOW MEDIUM REMOVAL
READ BUFFER
READ ELEMENT STATUS ATTACHED
RECEIVE DIAGNOSTIC RESULTS
RELEASE(6)
RELEASE(10)
REPORT LUNS
REQUEST SENSE
RESERVE(6)
RESERVE(10)
SEND DIAGNOSTIC
TEST UNIT READY
WRITE BUFFER
Код Тип
Описание
40h O
Изменить версию протокола, используемого устройством
39h O
Сравнить данные
18h O
Копировать данные внутри устройства или между устройствами
3Ah O
Копировать данные с проверкой
12h M
Проверить наличие устройства, тип и поддерживаемые операции
4Ch O
Включить сбор статистики
4Dh O
Считать собранную статистику
15h Z
Выбор режима работы устройства
55h Z
1Ah Z
Считывание режима работы
5Ah Z
A7h Z
Для устройств с автоматической сменой носителя
5Eh Z
Управление режимом блокировки устройства
5Fh Z
1Eh O
Заблокировать сменный носитель в устройстве
3Ch O
Чтение данных
B4h Z
Для устройств с автоматической сменой носителя
1Ch O
Получить результаты самотестирования устройства
17h Z
Разблокировка (освобождение) устройства
57h Z
A0h O
Считывание списка логических устройств
03h M
Считывание статуса устройства
16h Z
Блокировка (захват) устройства
56h Z
1Dh M
Запрос самотестирования устройства
00h M
Проверка готовности устройства
3Bh O
Запись данных
M = Реализация команды обязательна
O = Реализация команды факультативна
Z = Реализация и семантика команды зависит от типа устройства.
Терминология iSCSI
• iSCSI Qualified Name (iqn)
•
Naming
String defined by
Type Date
Auth
"example.com" naming authority
+--++-----+ +---------+ +-----------------------------+
| ||
| |
| |
|
iqn.1992-01.com.example:storage:diskarrays-sn-a8675309
• Аутентификация
– Discovery: построение списка устройств
– Login: присоединение к LUN
– Двусторонний CHAP
Еще про аутентификацию
• Часто iSCSI используется в выделенных
сетях (физически отдельный сегмент
или VLAN), это удобно как для
производительности, так и для
безопасности
• Тем не менее, есть возможность
завести для каждого target свои имя
пользователя и пароль.
Демонстрация
• Конфигурационный файл /etc/ietd.conf
• Создание разреженного файла
командой truncate (1)
• Создание новых target и LUN из
созданного файла при помощи
/etc/ietd.conf
• Файлы /proc/net/iet/volumes,
/proc/net/iet/session
Демонстрация
• Установка iscsi-initiator-tools, lsscsi
• Настройка имен и паролей в /etc/iscsi/iscsid.conf
• Поиск устройств на 10.4.16.36
– iscsiadm --mode discovery -t sendtargets \
--portal 10.0.0.30
• Подключение к устройству target2
– iscsiadm --mode node --targetname \
iqn.2014-04.ru.nsu.swsoft:target2 --portal 10.4.16.36 \
--login
• Проверка, что устройство подключилось
– lsscsi
– /proc/partitions
– fdisk -l
Продолжение демонстрации
• Создание раздела на подключенном
диске
– fdisk /dev/sdb
• Создание файловой системы в разделе
(потом мы будем экспериментировать с
LVM и ее снесем)
– mkfs -t ext4 /dev/sdb1
• Монтирование созданной ФС
Упражнение
• Подключиться к заранее созданным
iSCSI target, создать разделы и ФС
Применение iSCSI
• На бездисковых станциях, серверах, ВМ
– корневая ФС
• Разделы с данными
БД, пользовательские файлы
– Резко упрощает миграцию данных при
замене сервера, переходе на новую
версию ОС
Главное отличие
между iSCSI и NFS
• NFS обеспечивает разделяемый доступ
– Изменения [почти] сразу видны всем
• iSCSI НЕ обеспечивает разделяемый доступ
– Практически любые изменения приведут к
повреждению ФС и потере данных
– Даже при разделяемом доступе по RO, вы не
можете вносить изменения в содержимое
(кэши в памяти инициаторов не обновятся)
– Чтобы изменить RO образ, его нужно отцепить от
всех инициаторов, изменить и прицепить снова
Копирование при записи
• Некоторые системы хранения данных (ZFS, btrfs,
LVM, Netapp WAFL)
поддерживают snapshot
– Дословно – «моментальный снимок»
– Будем изучать на примере LVM
– Снимки могут быть доступны на запись
(это также называют клонирование)
– Копирование при записи
(хранятся только измененные блоки)
– Снимки и клоны можно раздавать по iSCSI
– Удобно развертывать образы корневых ФС:
• клонируем чистый образ,
• затем вносим изменения в конфигурацию
– Проблема – нет слияния