Виртуальная машина

реклама
Урок 1. Платформа
Виртуализация Майкрософт для
специалистов VMware
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Саймон Перриман (Symon Perriman) и Кори Хайнс (Corey Hynes)
План
Урок 1. Платформа
–
–
–
–
Модуль 1. Общие сведения о виртуализации
Модуль 2. Отличия решений Майкрософт и компании VMware
Модуль 3. Архитектура и параметры развертывания Hyper-V
Модуль 4. Обеспечение высокой доступности и кластеризация
Урок 2. Управление
–
–
–
–
Модуль 5. Общие сведения о наборе приложений System Center и DPM
Модуль 6. Автоматизация с помощью System Center Opalis и PowerShell
Модуль 7. Virtual Machine Manager 2012
Модуль 8. Частные облачные решения, архитектура и VMM SSP 2.0
Урок 3. Инфраструктура виртуальных рабочих столов (VDI)
–
–
–
–
Модуль 9. Часть 1. Архитектура VDI
Модуль 10. Часть 2. Архитектура VDI
Модуль 11. Общие сведения о решении v-Alliance
Модуль 12. Доставка приложений для VDI
Архитектура и параметры
развертывания Hyper-V
•
План
–
–
–
–
–
Планирование виртуализации и центра обработки
данных
Введение в Hyper-V
Управление Hyper-V
Управление сетями и хранилищем Hyper-V
Прочие компоненты Hyper-V
• Цели модуля
–
–
–
Получение рекомендаций по развертыванию
виртуализированной среды и управлению
центром обработки данных
Знакомство с архитектурой Hyper-V, хранилищем и
средствами управления
Знакомство с остальными компонентами Hyper-V
Планирование виртуализации
и центра обработки данных
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Общие сведения о виртуализации
• Виртуализация изолирует вычислительные ресурсы
и делает их абстрактными
Обычные
серверы
Установка приложений с учетом
требований к оборудованию и ОС
Привязка интерфейса к процессу
Привязка операционной
системы к оборудованию
Привязка хранилища к
конкретным расположениям
Привязка сети к конкретным
расположениям
Виртуализированные
серверы
Виртуальные приложения
Установка любых приложений на
любом оборудовании
Виртуальное представление
Уровень представления данных
изолирован от процесса
Виртуальная машина
ОС может быть назначена любому
рабочему столу или серверу
Виртуальное хранилище
Предоставление хранилища и
резервного копирования по сети
Виртуальная сеть
Локализация распределенных
ресурсов
Виртуализация позволяет повысить эффективность использования
ресурсов, обеспечивает большую гибкость и упрощает управление
изменениями
Преимущества виртуализации
• Консолидация серверов
– Уменьшение места,
•
занимаемого оборудованием –
– Виртуализация оборудования –
–
• Сокращение затрат
– Пространство и помещение
– Физическое оборудование
– Обслуживание
– Охлаждение и электричество
– Экологичность
• Высокая доступность
Совместимость приложений
Изоляция ОС
Запуск устаревших ОС и приложений
Запуск несовместимых ОС и
приложений
• Простота управления
– Централизованное управление
– Быстрая установка и развертывание
– Шаблоны
«В чем преимущества виртуализации? Многие люди полагают, что виртуализация позволяет
сэкономить деньги, электроэнергию, пространство и поддерживает идеи защиты окружающей
среды и, все это, сущая правда. Однако с точки зрения перспективы виртуализация — это нечто
большее, чем перечисленное выше. Люди только сейчас начинают понимать это. Мы считаем,
что в ИТ-сфере происходит важное преобразование. Это важное преобразование, начавшееся
несколько лет назад, в настоящее время начинает ускоряться, и мы верим, что виртуализация
является важным инструментом реализации этого преобразования и его катализатором».
- Том Биттмен (Tom Bittman), вицепрезидент компании Gartner и руководитель исследований по инфраструктуре и операциям
Динамика рынка виртуализации
• Существенный рост виртуализации
Прогноз виртуализации
серверов от компании IDC
Планирование архитектуры
• Стратегия виртуализации и управления
корпорации Майкрософт
– Windows Server 2008 R2 SP1 с ролью Hyper-V
– Hyper-V Server 2008 R2 SP1
– SC Virtual Machine Manager (VMM) 2008 R2 / 2012
• Планирование архитектуры
–
–
–
–
–
Оборудование
Емкость
Сети
Хранилище
Высокая доступность
Определение параметров узла
•
Определение множества рабочих нагрузок,
которые будут объединены
– Критически важные компоненты: процессор, сеть и
хранилище
•
Сравнение показателей производительности
физической и виртуальной сред
•
Использование полученных сведений на этапе
оценки для правильного определения числа узлов
Hyper-V, требуемых для консолидации проекта
•
Если для поддержания резервных мощностей
виртуальных машин используется кластер, то узлы
будут недоступны
Профили оборудования виртуальной машины
Могут использоваться при создании шаблонов
виртуальных машин
• Определяют набор профилей оборудования
– Число ядер процессора
– Объем ОЗУ
– Число сетевых адаптеров и виртуальных
локальных сетей
– Число адаптеров SCSI
•
• Пример
– 2 ядра
– 4 ГБ ОЗУ
– 1 сетевой адаптер
– Загрузочный диск в IDE
– 1 адаптер SCSI с диском данных
Сетевая архитектура
•
Для объединения рабочих нагрузок ключевым фактором
является пропускная способность сети
• Увеличение пропускной способности за счет добавления
нескольких сетевых адаптеров и портов
– Трафик общедоступной виртуальной машины
– Управление гостевой виртуальной машиной
– Кластер: динамическая миграция
– Кластер: внутренняя связь, CSV и пакеты пульса
– Дополнительно: iSCSI
– Дополнительно: резервное копирование
•
Для разделения трафика можно использовать виртуальные
локальные сети
•
Для обеспечения избыточности можно включить поддержку
совместной работы сетевых интерфейсов
Планирование хранилища
•
Архитектура хранилища включает
– Системный диск
– Хранилище виртуальной машины
– Система хранения данных кластера
•
Системный диск
– Загрузка и журналы
– Расположение хранилища виртуальной
машины по умолчанию
•
Хранилище виртуальной машины
– Виртуальные жесткие диски (VHD)
– Автоматические виртуальные жесткие диски (AVHD)
– Файлы моментальных снимков
•
Система хранения данных кластера
– Общие диски доступны всем узлам хранилища виртуальной машины
– Общие тома кластера (CSV)
Хранилище виртуальной машины
•
•
Типы дисков
– Фиксированный — все секторы выделяются
при создании диска
– Динамический — расширяется по мере необходимости
– Разностный — состоит из родительского диска
(только для чтения) и дочернего диска (сохранение
изменений)
– Транзитный — выделенный LUN
Файлы моментальных снимков
– Файл для хранения содержимого памяти
– Файл для хранения сведений о текущем состоянии
Архитектура хранилища
•
•
•
•
DAS
– Идеально подходит для изолированных узлов или узлов в
удаленных офисах, где нерационально использовать
iSCSI или сеть SAN
iSCSI
– Экономичная альтернатива сети SAN
– Для обеспечения максимальной пропускной способности
в конфигурациях с балансировкой нагрузки необходимо
использовать несколько сетевых адаптеров и Multipath I/O
SAN
– Требуется выделенный оптоволоконный канал
– Поддерживает многоуровневые хранилища
– Также поддерживается SCSI с последовательным
подключением
Подберите хранилище с учетом расположения, числа
узлов, пропускной способности сети или стандартов
Введение в Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
История виртуализации Майкрософт
•
•
•
•
•
•
2003
– Корпорация Майкрософт приобретает Connectix с целью
получения технологий виртуализации сервера и ПК
2004
– Microsoft Virtual Server 2005
2005
– Microsoft Virtual Server 2005 R2
2008
– Windows Server 2008 Hyper-V
– Microsoft Hyper-V Server 2008
2009
– Windows Server 2008 R2 Hyper-V
– Microsoft Hyper-V Server 2008 R2
2011
– Windows Server 2008 R2 SP1 Hyper-V
– Microsoft Hyper-V Server 2008 R2 SP1
Windows Server 2008 R2 Hyper-V
•
Создан на основе архитектуры Windows Server 2008 R2 Hyper-V
– Более 400 примеров использования:
www.microsoft.com/virtualization
– Свыше 1 млн загрузок окончательной первоначальной
версии Hyper-V за 12 месяцев
– Самая быстро растущая низкоуровневая оболочка в
истории архитектуры x86
• Веб-сайт microsoft.com работает на Hyper-V R2
– Свыше 15 000 запросов в секунду
– Свыше 40 млн посещений в день
– Свыше 1,2 млрд посещений в месяц
• Поддерживает новые динамические сценарии
– Динамический центр обработки данных
– Виртуализованный
централизованный
рабочий стол
• Интерфейс, определяемый пользователем
Поддержка гостевой ОС
•
•
Сервер Windows Server
– Windows Server 2000
– Windows Server 2003
– Windows Server 2008
– Windows Server 2008 R2
Клиент Windows
– Windows XP Pro SP2/SP3
– Windows Vista
– Windows 7
•
Сторонние производители
– SLES 10
– SLES 11
– RHEL 5.2/5.3
Приложения, запускаемые в гостевой ОС
• Дополнительные сведения см. в статье базы знаний KB 957006
Microsoft Application Virtualization (App-V)
Microsoft Operations Manager (MOM) 2005
Microsoft BizTalk Server
Microsoft Search Server
Microsoft Commerce Server
Windows SBS / EBS 2008
Microsoft Dynamics AX, CRM, GP, NAV
Microsoft SQL Server 2005, 2008
Microsoft Exchange Server
Microsoft System Center Configuration Manager
Microsoft Forefront Client Security
Microsoft System Center Data Protection Manager
Microsoft Intelligent Application Gateway (IAG)
Microsoft System Center Essentials
Microsoft Forefront Security for Exchange (FSE)
Microsoft System Center Operations Manager
Microsoft Forefront Security for SharePoint (FSP)
Microsoft System Center Opalis Integration Server
Microsoft Host Integration Server
Microsoft System Center Virtual Machine Manager
Microsoft Internet Security and Acceleration (ISA)
Microsoft Systems Management Server (SMS)
Microsoft Office Communications Server R2
Microsoft Visual Studio Team System
Microsoft Office Groove Server
Microsoft Windows HPC Server 2008
Microsoft Office PerformancePoint Server
Windows Server 2003 Web Edition
Microsoft Office Project Server
Microsoft Windows Server Update Services (WSUS)
Microsoft Office SharePoint Server and WSS
Windows Web Server 2008
Архитектура Hyper-V
Предоставляется:
ОС
Hyper-V
MS / XenSource
/ Novell
Родительский
раздел
Виртуальный
стек
Рабочи
Поставщик WMI
Приложения
й
процесс
Служба вирт. маш. вирт. м.
Windows Server
2000,2003, 2008
Windows Server 2008
Ядро
Windows
Ядро
Windows
VSP
VMBus
ISV/IHV/OEM
Дочерние разделы
VSC
VMBus
Приложени
я
ОС без
низкоуровневой
оболочки
Эмуляция
Приложения
Кольцо 3
пользовательский
режим
Ядро Linux
с включенным Xen Linux
VSC
Адаптер
гипервыз
ова
Windows Hypervisor
Оборудование сервера с эмблемой Windows
VMBus
Кольцо 0
Режим ядра
Кольцо -1
Взаимодействие VSP / VSC
Родительский раздел
Дочерние разделы
Предоставляется:
Приложения
Рабочий процесс VM
Пользовательский
режим
Windows
Hyper-V
Файловая система Windows
ISV
Том
Раздел
Поставщик
виртуального
хранилища (VSP)
Диск
StorPort
StorPort
Miniport
Диск
Fast Path Filter (VSC)
Минипорт
виртуального
хранилища (VSC)
VMBus
Низкоуровневая оболочка Windows
Оборудование
OEM
iSCSIprt
Режим ядра
Поддержка до 64 логических процессоров
•
•
Общие сведения
– 4-кратное улучшение по сравнению с Hyper-V R1
– Hyper-V может использовать преимущества больших
масштабируемых систем со значительным числом
компьютерных ресурсов
Поддержка до 384 запущенных виртуальных машин
и до 512 виртуальных процессоров (VP) НА СЕРВЕР
– 384 одноядерных VP ИЛИ
– 256 двухъядерных VP (512 VP) ИЛИ
– 128 четырехъядерных VP (512 VP) ИЛИ
– любая комбинация при условии использования
не более 384 виртуальных машин и не более 512 VP
– 1 000 виртуальных машин на один кластер
Режим совместимости процессора
•
Общие сведения
– Поддерживает динамическую миграцию между различными
версиями ЦП в пределах одного семейства процессоров
– Настройка совместимости для отдельных виртуальных
машин
•
Преимущества
–
–
Большая гибкость в кластерах
Возможности миграции в широком диапазоне
оборудования Hyper-V
Прямая и обратная совместимость
•
•
При запуске виртуальной машины низкоуровневая
оболочка предоставляет ресурсы процессора,
доступные гостевому процессору
Если режим совместимости с процессором включен,
гостевые процессоры нормализованы и функции
процессора, указанные в следующей таблице, «скрыты»
от виртуальной машины
Узел, работающий под
управлением процессора AMD
Узел, работающий под
управлением процессора Intel
SSSE3, SSE4.1, SSE4.A, SSE5,
POPCNT, LZCNT, Misaligned SSE,
AMD 3DNow!, Extended AMD
3DNow!
SSSE3, SSE4.1, SSE4.2, POPCNT,
Misaligned SSE, XSAVE, AVX
Технология преобразования адресов
второго уровня (SLAT)
• Intel: Extended Page Tables (EPT)
• AMD: Nested Page Tables (NPT) или Rapid Virtualization
Indexing (RVI)
• Процессор обеспечивает двухуровневое преобразование
– Прямой доступ к таблицам страниц гостевой ОС
– Не требуется поддерживать таблицу теневых страниц
– Не требуется код для операций очистки
•
Экономия ресурсов
– Время ЦП низкоуровневой оболочки
снижается до 2 %
– Экономия памяти для отдельной
виртуальной машины составляет
примерно 1 МБ
Параметры установки
• Полная установка
–
–
–
–
После установки Windows Server 2008 R2
Добавление роли Hyper-V с помощью диспетчера сервера
Содержит диспетчер Hyper-V и средства подключения к
виртуальной машине
Локальное или удаленное управление
• Установка основных серверных компонентов (Server Core)
– Минимальная конфигурация сервера
– Подмножество двоичных файлов, требуемых роли Hyper-V
– Минимальное количество уязвимостей
– Требует меньше обновлений
– Средства командной строки или удаленного управления
Средства развертывания
•
Автоматическая установка
– Файл автоматической установки UNATTEND.XML
для настройки
– Диспетчер установки Windows (WSIM) для создания
файла ответов и управления им
•
Microsoft Deployment Toolkit 2010
– Последовательность задач, созданная для настройки
– Интеграция с System Center Configuration Manager
•
System Center VMM 2008 R2 / 2012
– Включение роли Hyper-V при добавлении узла
– VMM 2012 также поддерживает развертывание
компьютеров без операционной системы
Управление Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Различные средства управления
Диспетчер
Hyper-V
Командная
строка
SCVMM
Диспетчер
отказоустойчивости
SCOM
кластеров
PowerShell
WMI
RSAT
Интегрированные
средства
Диспетчер Hyper-V
Поддержка PowerShell
• Основные серверные компоненты,
•
•
•
•
•
•
•
•
•
•
Hyper-V Server 2008 R2 и RSAT
Поиск виртуальной машины
Подключение к виртуальной машине
Обнаружение виртуальной машины
Изменение состояния виртуальной
машины
Резервное копирование виртуальной
машины
Добавление и удаление виртуальной
машины
Управление виртуальными машинами
в кластерах
Смена хранилища виртуальной машины
Смена сетей виртуальной машины
Управление VHD-файлами
Рекомендации по безопасности
•
•
•
•
•
•
•
Безопасность VHD-файлов и файлов моментальных
снимков
Определение сетей или VLAN для изоляции трафика
Добавление в виртуальную машину только
необходимого оборудования
Усиление безопасности ОС с помощью средств
отслеживания соответствия безопасности
Установка последней версии служб интеграции
Использование брандмауэра, антивирусного
программного обеспечения и средств защиты
от вторжений
Установка последних обновлений
– Автономные виртуальные машины и шаблоны
Сеть и хранилище Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Архитектура виртуального коммутатора
•
Реализован в виде драйвера NDIS 6.0 MUX
– Привязка к сетевым адаптерам в качестве
драйвера протокола
– Поддерживает перечисление интерфейса одного узла
• Функциональные возможности коммутатора
уровня 2
–
Динамическое сопоставление портов MAC-адресам
–
Реализация виртуальных локальных сетей
–
Не поддерживает алгоритм ветвящегося дерева
–
Не поддерживает режим SPAN/Monitor
–
Не поддерживает уровень 3
Виртуальные сетевые адаптеры
Виртуальные адаптеры
• Физическое устройство
Эмулированные адаптеры
отсутствует
• Подключение к vwswitch.sys • Эмулируют физический набор
микросхем DEC21140
через VMBus
• Не поддерживают протокол
• Подключение к vmwp.exe и затем
удаленной загрузки PXE
к vmswitch.sys посредством
• Обеспечивают лучшую
прерываний
производительность по
сравнению с эмулированными
• Поддерживают протокол
адаптерами
удаленной загрузки PXE
• Наличие драйверов только
для поддерживаемых ОС
• Наличие драйверов
– Windows Server 2003 SP2
для большинства ОС
– Windows Server 2008
– Windows Server 2008 R2
– Windows XP
– Windows Vista
– Windows 7
– Linux (SLES 10, 11). RHEL 5.x
Виртуальная локальная сеть (VLAN)
•
IEEE 802.1Q — расширение уровня 2 Ethernet,
которое позволяет нескольким сетям, подключенным
с помощью моста, совместно использовать общий
физический канал
• Исходящие пакеты помечаются с помощью
идентификатора VLAN (метка)
• Из входящих пакетов удаляется идентификатор
VLAN (метка)
Методы тегирования VLAN
•
Тегирование виртуальных сетевых адаптеров
– VLAN, указанный для отдельного виртуального
сетевого адаптера
– Настройка в UI/API Hyper-V/SCVMM
• Теги статического порта коммутатора
– VLAN, указанный для отдельного порта физического
коммутатора
– Настройка на коммутаторе физической сети
• Тегирование MAC-адреса
– Создается сопоставление MAC-адреса с VLAN
– Настройка на коммутаторе физической сети
• Тегирование физического сетевого адаптера
– VLAN, указанный на физическом сетевом адаптере
Совместная работа сетевого интерфейса
Совместная работа при отказе
– Обычно используются два интерфейса
– Обычно подключены к разным коммутаторам
– Обеспечивают резервирование в случае сбоя
сетевого адаптера, коммутатора или разрыва кабеля
• Группы балансировки нагрузки
– Не менее двух интерфейсов
– Разделяют сетевой трафик между активными
интерфейсами по MAC-адресам или IP-адресам
или по протоколам
– Резервирование при сбое сетевых адаптеров или
разрыве кабеля
• Поддержка, предоставляемая производителями
оборудования
•
VM Chimney (поддержка разгрузки TCP)
Общие сведения
– Трафик TCP/IP в виртуальной машине можно
разгрузить на физический сетевой адаптер
компьютера виртуальной машины
• Преимущества
– Сокращение нагрузки на ЦП
– Разгрузка сети для повышения производительности
– Полная поддержка динамической миграции
благодаря Full TCP Offload
– Наилучшие результаты для «долгоживущих»
подключений с большим объемом
передаваемых данных
•
Технология Virtual Machine Queue (VMQ)
• Общие сведения
– Сетевой адаптер может использовать технологию
прямого доступа к памяти (DMA) для передачи
пакетов в память виртуальной машины
– Буфер устройства виртуальной машины назначается
одной из очередей
– Предотвращает создание копий пакетов в VSP
– Предотвращает поиск маршрута в виртуальном
коммутаторе (идентификатор очереди VMQ)
– Позволяет сетевому адаптеру отображаться в виде
нескольких сетевых адаптеров на физическом узле
(очереди)
• Преимущества
– Узел не содержит данные DMA в своем буфере, что
приводит к более короткому пути для операций
ввода-вывода (повышение производительности)
Поддержка кадров крупного размера
•
Поддержка кадров крупного размера
– Кадры Ethernet размером
более 1 500 байт
– Стандарт ~ 9 Кб
• Общие сведения
– Позволяет увеличить загрузку
пакета данными в 6 раз
• Преимущества
– Повышает пропускную
способность
– Снижает использование ЦП
при передаче файлов
большого размера
Хранилище
•
Физическое оборудование
– DAS (SATA, eSATA, PATA, SAS, SCSI, USB, Firewire)
– SAN (Fibre Channel, iSCSI, SAS)
• Виртуальные адаптеры
– IDE, SCSI
– Загрузка — только IDE
• Виртуальные жесткие диски
– Фиксированные, динамические, разностные диски
– Транзитные диски
– iSCSI Direct (для запуска iSCSI в гостевой ОС)
MPIO и MCS
•
Технологии MPIO и MCS (Multiple Connections for
iSCSI) прозрачно работают с Hyper-V
• MPIO поддерживается Fibre Channel, iSCSI, SAS
• Два варианта для поддержки нескольких каналов
в iSCSI
– Несколько соединений на один сеанс
– Microsoft MPIO (Multipathing Input/Output)
• При использовании iSCSI напрямую MPIO и MCS
прозрачно работают с VMQ
Горячее добавление или удаление хранилища
•
Общие сведения
– Добавление и удаление виртуальных жестких дисков
и транзитных дисков в запущенную виртуальную машину
без необходимости перезагрузки
– Горячее добавление и удаление дисков применимо
к виртуальным жестким дискам и транзитным дискам,
подключенным к виртуальному контроллеру SCSI
• Преимущества
– Позволяет увеличивать размер хранилища виртуальных
машин без простоя
– Поддерживает дополнительные сценарии резервного
копирования центра обработки данных
– Поддерживает новые сценарии SQL/Exchange
Прочие компоненты Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Приостановка ядер
• Размещение виртуальных машин на одном
сервере (плотное размещение, а не
распределенное)
• Приостановка или перевод ядер в спящий
режим посредством размещения в состояниях
Deep C
• Сокращение энергопотребления ЦП
Процессор
приостановлен
Защита данных
• Система архивации данных Windows Server
– Решение, которое подходит для сред
небольшого и среднего размера
– Виртуальные машины, файлы, папки, тома,
приложения, состояния системы
– Поддержка VSS
– Общие тома кластера не поддерживаются
• System Center DPM 2010
– Архивация запущенных виртуальных машин
без простоя
– Защита узла и гостевой виртуальной машины
– Восстановление исходного состояния системы
– Поддержка общих томов кластера
Динамическая память
• Усовершенствования памяти Hyper-V в 2008 R2 SP1
• Память добавляется в пул и динамически распределяется
между виртуальными машинами, чтобы обеспечить простое
расширение или сжатие
• Высокие коэффициенты консолидации виртуальных
машин на одном оборудовании
• Память выделяется и удаляется динамически исходя из
использования виртуальной машины без прерывания
работы службы
• Минимальное влияние на производительность
• Хорошие показатели работы как на сервере, так и
на настольном компьютере
• Гостевые виртуальные машины осведомлены
– Совместная работа гостевых виртуальных машин и Hyper-V
• Для добавления и удаления памяти используется
виртуальный драйвер памяти
Параметры динамической памяти
• ОЗУ для запуска: память,
требуемая для загрузки
виртуальной машины
– Гостевая ОС + приложения
– По умолчанию: 512 МБ
• Максимальный объем ОЗУ:
лимит памяти для виртуальной
машины
– По умолчанию 64 ГБ
• Буфер памяти: свободная
память, предназначенная
для ресурсов в виртуальной
машине
– поддерживает всплеск рабочей
нагрузки
– обеспечивает использование
файлового кэша
• Приоритет памяти: порядок
выделения памяти
– Диапазон: 1 – 10 000
– По умолчанию: 5 000
Поддержка сервера RemoteFX
Отображение на стороне узла (трехмерный
графический процессор)
• Улучшенный конвейер шифрования/расшифровки
• Перенаправление USB
– Включает RemoteFX
на виртуальной машине
– Клиент должен
поддерживать RDP 7.1
– Перенаправление USB
должно быть включено
в графическом процессоре
– Требуется обновление и
перезагрузка графического
процессора
•
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Удаленное управление
Введение в SCVMM
• Максимизация ресурсов
– Централизованное развертывание виртуальных машин и
управление Hyper-V, виртуальным сервером и серверами
VMware ESX
– Интеллектуальное размещение виртуальных машин
– Быстрое и надежное преобразование P2V и V2V
– Комплексный мониторинг приложений и служб с помощью
Operations Manager
• Повышение гибкости
– Быстрая подготовка новых виртуальных машин с помощью шаблонов
– Централизованная библиотека компонентов инфраструктуры
– Усиление и расширение существующей инфраструктуры
хранилища и кластеров
– Поддержка делегированного управления и доступа
к виртуальным машинам
• Получение новых знаний
– Знакомство с интерфейсом, общие понятия
– Мониторинг физических и виртуальных машин с помощью
одной консоли
– Поддержка сценариев Windows Powershell
Топология организации
Windows
PowerShell
Консоль
администратора
Удаленный
сервер
библиотеки
Узлы
Пользовательский
веб-интерфейс
подготовки
Внешняя сеть
(DMZ)
Брисбен
Лондо
Узлы
Удаленный
сервер
библиотеки
Удаленный
сервер
библиотеки
Узлы
Общие сведения об архитектуре SCVMM
•
•
•
•
•
Virtual Machine Manager (VMM)
– Модуль VMM запускается на выделенном сервере
– Системная консоль VMM
Агент VMM
– Устанавливается на узлах виртуального сервера
– Взаимодействует с подсистемой VMM
Сервер библиотеки
– Хранилище файлов для стандартных блоков
виртуальной инфраструктуры
SQL Server
– Хранит сведения о конфигурации и обнаружении
Интерфейсы
– Пользовательский интерфейс администратора, веб,
командная строка
Средства администрирования SCVMM
Использование сценариев
PowerShell в VMM
•
Командная оболочка (Майкрософт) для создания
сценариев и разработки
• Согласованный синтаксис сценариев
– Инкапсулирует различия платформ
• Оснастка VMM PowerShell
– Более 170 функций командной строки
– Основа для консоли администратора VMM
и портала самообслуживания
– Все операции PowerShell регистрируются в
журнале и подлежат аудиту
Портал самообслуживания
•
•
Пользователи, прошедшие проверку подлинности,
могут самостоятельно подготавливать новые
виртуальные машины без участия сотрудников
ИТ-отдела
– Эта возможность особенно актуальна для сотрудников
отделов тестирования и разработки, которые часто
настраивают временные виртуальные машины для
тестирования нового программного обеспечения
За администраторами сохраняется функция контроля
доступа к ресурсам
Развертывание агентов и управление ими
• Для управления виртуальной инфраструктурой
SCVMM устанавливает агенты программного
обеспечения на каждом сервере узла
• Агенты управления получают сведения от
операционной системы Windows Server
сервера узла и передают эти сведения
обратно SCVMM
Управление узлами Hyper-V
• Добавление узлов с помощью мастера
– Удаленная установка и настройка программного
обеспечения виртуализации и интерфейсов управления
– Удаленное включение роли Hyper-V
• Простое управление кластерами узлов Hyper-V
– Добавление всего кластера узла Hyper-V за один шаг
– Автоматическое обновление добавленных или удаленных
узлов
• Управление отказоустойчивыми кластерами
Windows Server 2008 для Hyper-V
– Указание числа сбоев узлов, при котором требуется
поддерживать работу кластера и обеспечивать
высокую доступность
– Интеллектуальная замена гарантирует, что новые
виртуальные машины не будут перегружать кластер
– Сбои узлов автоматически активируют повторное
вычисление нагрузки
Быстрый перенос хранилища (QSM)
•
Для использования быстрого переноса хранилища не
требуется кластер и CSV
• Поддерживает перенос файлов запущенной виртуальной
машины в другое расположение хранилища на том же самом
узле с минимальными перебоями в работе службы
– Динамическая миграция и быстрый перенос в рамках узла
виртуальной машины
– QSM перемещает сами диски
• Преимущества QSM
– Возможность переноса виртуальной машины с тома LUN
на том CSV в кластере
– QSM позволяет переносить хранилище с минимальным
временем простоя
– Виртуальная машина расположена на томе CSV и может
принимать участие в быстрой динамической миграции
Узлы и режимы обслуживания
• Узел обслуживания — это узел, выделенный для
задач обслуживания виртуальной машины, например
установка пакетов на виртуальные машины и шаблоны
перед перемещением в рабочую среду
• Включение режима обслуживания
– На изолированном узле размещает все запущенные
виртуальные машины в сохраненном состоянии
– В кластере Windows, который поддерживает динамическую
миграцию, предоставляет следующие возможности:
– Динамический перенос всех запущенных виртуальных машин высокой
доступности на другие узлы кластера и перевод всех запущенных
виртуальных машин, которые не обеспечивают высокую доступность,
в сохраненное состояние
– Перевод всех запущенных виртуальных в сохраненное состояние
– Блокирует все операции создания виртуальных машин на узле
– Исключает узел из оценки узлов в ходе замены
– Отображает состояние узла в режиме обслуживания в
представлении «Узлы» консоли администратора VMM
Работа с библиотекой
•
Репозиторий для хранения всех стандартных блоков
виртуальных машин
– Виртуальные жесткие диски
– Автономные виртуальные машины
– ISO-образы
– Файлы ответов SysPrep
– Сценарии PowerShell с параметром Run
– Шаблоны
• Использование централизованных или распределенных
серверов файлов Windows в качестве библиотек
– Перемещение, копирование, удаление и изменение файлов
непосредственно в файловой системе
– VMM отслеживает изменения и предоставляет физическое
и логическое представление
– VMM помечает объекты с помощью идентификатора для
отслеживания объектов
Работа с шаблонами
•
Шаблон виртуальной машины — это библиотека
ресурсов, содержащая следующее:
– Профили оборудования
– Виртуальный жесткий диск
– Профиль гостевой операционной системы
Создание отчетов
• Virtual Machine Manager дополняет возможности
мониторинга и создания отчетов System Center
Operations Manager 2007, чтобы предоставить отчеты
по виртуальным машинам и узлам
•
Отчеты доступны в представлении «Отчеты» консоли
администрирования VMM, а также в консоли Operations
Manager
•
Чтобы включить отчеты и отобразить представление
«Отчеты», настройте интеграцию Operations Manager
с VMM, а затем настройте отчеты в VMM
Оптимизация производительности
и ресурсов (PRO)
• Поддерживает оптимизацию ресурсов с учетом
рабочей нагрузки и приложений в виртуализированной
среде
• На основании данных о работоспособности и
производительности, полученных от пакетов
управления с включенной оптимизацией PRO
в SCOM, PRO может автоматически или вручную
реализовать рекомендации по снижению времени
простоя и времени ускорения
• Перед включением PRO необходимо интегрировать
Operations Manager 2007 SP 1 или Operations Manager
2007 с VMM
Заключение
•
Используйте рекомендации при развертывании
виртуализированной среды и управлении центром
обработки данных
• Интегрированная архитектура Hyper-V, поддержка
сети и хранилище являются признаками комплексного
решения виртуализации
• Hyper-V предоставляет множество возможностей для
оптимизации, обеспечения безопасности и управления
центром обработки данных
Управление Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Саймон Перриман (Symon Perriman) и Кори Хайнс (Corey Hynes)
Различные средства управления
Диспетчер
Hyper-V
Командная
строка
SCVMM
Диспетчер
отказоустойчивости
SCOM
кластеров
PowerShell
WMI
RSAT
Интегрированные
средства
Диспетчер Hyper-V
Поддержка PowerShell
• Основные серверные компоненты,
•
•
•
•
•
•
•
•
•
•
Hyper-V Server 2008 R2 и RSAT
Поиск виртуальной машины
Подключение к виртуальной машине
Обнаружение виртуальной машины
Изменение состояния виртуальной
машины
Резервное копирование виртуальной
машины
Добавление и удаление виртуальной
машины
Управление виртуальными машинами
в кластерах
Смена хранилища виртуальной машины
Смена сетей виртуальной машины
Управление VHD-файлами
Рекомендации по безопасности
•
•
•
•
•
•
•
Безопасность VHD-файлов и файлов моментальных
снимков
Определение сетей или VLAN для изоляции трафика
Добавление в виртуальную машину только
необходимого оборудования
Усиление безопасности ОС с помощью средств
отслеживания соответствия безопасности
Установка последней версии служб интеграции
Использование брандмауэра, антивирусного
программного обеспечения и средств защиты
от вторжений
Установка последних обновлений
– Автономные виртуальные машины и шаблоны
Сеть и хранилище Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Архитектура виртуального коммутатора
•
Реализован в виде драйвера NDIS 6.0 MUX
– Привязка к сетевым адаптерам в качестве
драйвера протокола
– Поддерживает перечисление интерфейса одного узла
• Функциональные возможности коммутатора
уровня 2
–
Динамическое сопоставление портов MAC-адресам
–
Реализация виртуальных локальных сетей
–
Не поддерживает алгоритм ветвящегося дерева
–
Не поддерживает режим SPAN/Monitor
–
Не поддерживает уровень 3
Виртуальные сетевые адаптеры
Виртуальные адаптеры
• Физическое устройство
отсутствует
• Подключение к vwswitch.sys Эмулированные адаптеры
• Эмулируют физический набор
через VMBus
микросхем DEC21140
• Не поддерживают протокол
удаленной загрузки PXE
• Подключение к vmwp.exe и затем
• Обеспечивают лучшую
к vmswitch.sys посредством
производительность по
сравнению с эмулированными прерываний
адаптерами
• Наличие драйверов только • Поддерживают протокол
удаленной загрузки PXE
для поддерживаемых ОС
– Windows Server 2003 SP2
• Наличие драйверов
– Windows Server 2008
для большинства ОС
– Windows Server 2008 R2
– Windows XP
– Windows Vista
– Windows 7
– Linux (SLES 10, 11). RHEL 5.x
Виртуальная локальная сеть (VLAN)
•
IEEE 802.1Q — расширение уровня 2 Ethernet,
которое позволяет нескольким сетям, подключенным
с помощью моста, совместно использовать общий
физический канал
• Исходящие пакеты помечаются с помощью
идентификатора VLAN (метка)
• Из входящих пакетов удаляется идентификатор
VLAN (метка)
Методы тегирования VLAN
•
Тегирование виртуальных сетевых адаптеров
– VLAN, указанный для отдельного виртуального
сетевого адаптера
– Настройка в UI/API Hyper-V/SCVMM
• Теги статического порта коммутатора
– VLAN, указанный для отдельного порта физического
коммутатора
– Настройка на коммутаторе физической сети
• Тегирование MAC-адреса
– Создается сопоставление MAC-адреса с VLAN
– Настройка на коммутаторе физической сети
• Тегирование физического сетевого адаптера
– VLAN, указанный на физическом сетевом адаптере
Совместная работа сетевого интерфейса
Совместная работа при отказе
– Обычно используются два интерфейса
– Обычно подключены к разным коммутаторам
– Обеспечивают резервирование в случае сбоя
сетевого адаптера, коммутатора или разрыва кабеля
• Группы балансировки нагрузки
– Не менее двух интерфейсов
– Разделяют сетевой трафик между активными
интерфейсами по MAC-адресам или IP-адресам
или по протоколам
– Резервирование при сбое сетевых адаптеров или
разрыве кабеля
• Поддержка, предоставляемая производителями
оборудования
•
VM Chimney (поддержка разгрузки TCP)
Общие сведения
– Трафик TCP/IP в виртуальной машине можно
разгрузить на физический сетевой адаптер
компьютера виртуальной машины
• Преимущества
– Сокращение нагрузки на ЦП
– Разгрузка сети для повышения производительности
– Полная поддержка динамической миграции
благодаря Full TCP Offload
– Наилучшие результаты для «долгоживущих»
подключений с большим объемом
передаваемых данных
•
Технология Virtual Machine Queue (VMQ)
• Общие сведения
– Сетевой адаптер может использовать технологию
прямого доступа к памяти (DMA) для передачи
пакетов в память виртуальной машины
– Буфер устройства виртуальной машины назначается
одной из очередей
– Предотвращает создание копий пакетов в VSP
– Предотвращает поиск маршрута в виртуальном
коммутаторе (идентификатор очереди VMQ)
– Позволяет сетевому адаптеру отображаться в виде
нескольких сетевых адаптеров на физическом узле
(очереди)
• Преимущества
– Узел не содержит данные DMA в своем буфере, что
приводит к более короткому пути для операций
ввода-вывода (повышение производительности)
Поддержка кадров крупного размера
•
Поддержка кадров крупного размера
– Кадры Ethernet размером
более 1 500 байт
– Стандарт ~ 9 Кб
• Общие сведения
– Позволяет увеличить загрузку
пакета данными в 6 раз
• Преимущества
– Повышает пропускную
способность
– Снижает использование ЦП
при передаче файлов
большого размера
Хранилище
•
Физическое оборудование
– DAS (SATA, eSATA, PATA, SAS, SCSI, USB, Firewire)
– SAN (Fibre Channel, iSCSI, SAS)
• Виртуальные адаптеры
– IDE, SCSI
– Загрузка — только IDE
• Виртуальные жесткие диски
– Фиксированные, динамические, разностные диски
– Транзитные диски
– iSCSI Direct (для запуска iSCSI в гостевой ОС)
MPIO и MCS
•
Технологии MPIO и MCS (Multiple Connections for
iSCSI) прозрачно работают с Hyper-V
• MPIO поддерживается Fibre Channel, iSCSI, SAS
• Два варианта для поддержки нескольких каналов
в iSCSI
– Несколько соединений на один сеанс
– Microsoft MPIO (Multipathing Input/Output)
• При использовании iSCSI напрямую MPIO и MCS
прозрачно работают с VMQ
Горячее добавление или удаление хранилища
•
Общие сведения
– Добавление и удаление виртуальных жестких дисков
и транзитных дисков в запущенную виртуальную машину
без необходимости перезагрузки
– Горячее добавление и удаление дисков применимо
к виртуальным жестким дискам и транзитным дискам,
подключенным к виртуальному контроллеру SCSI
• Преимущества
– Позволяет увеличивать размер хранилища виртуальных
машин без простоя
– Поддерживает дополнительные сценарии резервного
копирования центра обработки данных
– Поддерживает новые сценарии SQL/Exchange
Прочие компоненты Hyper-V
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Приостановка ядер
• Размещение виртуальных машин на одном
сервере (плотное размещение, а не
распределенное)
• Приостановка или перевод ядер в спящий
режим посредством размещения в состояниях
Deep C
• Сокращение энергопотребления ЦП
Процессор
приостано
влен
Защита данных
• Система архивации данных Windows Server
– Решение, которое подходит для сред
небольшого и среднего размера
– Виртуальные машины, файлы, папки, тома,
приложения, состояния системы
– Поддержка VSS
– Общие тома кластера не поддерживаются
• System Center DPM 2010
– Архивация запущенных виртуальных машин
без простоя
– Защита узла и гостевой виртуальной машины
– Восстановление исходного состояния системы
– Поддержка общих томов кластера
Динамическая память
• Усовершенствования памяти Hyper-V в 2008 R2 SP1
• Память добавляется в пул и динамически распределяется
между виртуальными машинами, чтобы обеспечить простое
расширение или сжатие
• Высокие коэффициенты консолидации виртуальных
машин на одном оборудовании
• Память выделяется и удаляется динамически исходя из
использования виртуальной машины без прерывания
работы службы
• Минимальное влияние на производительность
• Хорошие показатели работы как на сервере, так и
на настольном компьютере
• Гостевые виртуальные машины осведомлены
– Совместная работа гостевых виртуальных машин и Hyper-V
• Для добавления и удаления памяти используется
виртуальный драйвер памяти
Параметры динамической памяти
• ОЗУ для запуска: память,
требуемая для загрузки
виртуальной машины
– Гостевая ОС + приложения
– По умолчанию: 512 МБ
• Максимальный объем ОЗУ:
лимит памяти для виртуальной
машины
– По умолчанию 64 ГБ
• Буфер памяти: свободная
память, предназначенная
для ресурсов в виртуальной
машине
– поддерживает всплеск рабочей
нагрузки
– обеспечивает использование
файлового кэша
• Приоритет памяти: порядок
выделения памяти
– Диапазон: 1 – 10 000
– По умолчанию: 5 000
Поддержка сервера RemoteFX
Отображение на стороне узла (трехмерный
графический процессор)
• Улучшенный конвейер шифрования/расшифровки
• Перенаправление USB
– Включает RemoteFX
на виртуальной машине
– Клиент должен
поддерживать RDP 7.1
– Перенаправление USB
должно быть включено
в графическом процессоре
– Требуется обновление и
перезагрузка графического
процессора
•
Модуль 3. Архитектура и параметры
развертывания Hyper-V
Удаленное управление
Введение в SCVMM
• Максимизация ресурсов
– Централизованное развертывание виртуальных машин и
управление Hyper-V, виртуальным сервером и серверами
VMware ESX
– Интеллектуальное размещение виртуальных машин
– Быстрое и надежное преобразование P2V и V2V
– Комплексный мониторинг приложений и служб с помощью
Operations Manager
• Повышение гибкости
– Быстрая подготовка новых виртуальных машин с помощью шаблонов
– Централизованная библиотека компонентов инфраструктуры
– Усиление и расширение существующей инфраструктуры
хранилища и кластеров
– Поддержка делегированного управления и доступа
к виртуальным машинам
• Получение новых знаний
– Знакомство с интерфейсом, общие понятия
– Мониторинг физических и виртуальных машин с помощью
одной консоли
– Поддержка сценариев Windows Powershell
Топология организации
Windows
PowerShell
Консоль
администратора
Удаленный
сервер
библиотеки
Узлы
Пользовательский
веб-интерфейс
подготовки
Внешняя сеть
(DMZ)
Брисбен
Лондо
Узлы
Удаленный
сервер
библиотеки
Узлы
Удаленный
сервер
библиотеки
Общие сведения об архитектуре SCVMM
•
•
•
•
•
Virtual Machine Manager (VMM)
– Модуль VMM запускается на выделенном сервере
– Системная консоль VMM
Агент VMM
– Устанавливается на узлах виртуального сервера
– Взаимодействует с подсистемой VMM
Сервер библиотеки
– Хранилище файлов для стандартных блоков
виртуальной инфраструктуры
SQL Server
– Хранит сведения о конфигурации и обнаружении
Интерфейсы
– Пользовательский интерфейс администратора, веб,
командная строка
Средства администрирования SCVMM
Использование сценариев
PowerShell в VMM
•
Командная оболочка (Майкрософт) для создания
сценариев и разработки
• Согласованный синтаксис сценариев
– Инкапсулирует различия платформ
• Оснастка VMM PowerShell
– Более 170 функций командной строки
– Основа для консоли администратора VMM
и портала самообслуживания
– Все операции PowerShell регистрируются в
журнале и подлежат аудиту
Портал самообслуживания
•
•
Пользователи, прошедшие проверку подлинности,
могут самостоятельно подготавливать новые
виртуальные машины без участия сотрудников
ИТ-отдела
– Эта возможность особенно актуальна для сотрудников
отделов тестирования и разработки, которые часто
настраивают временные виртуальные машины для
тестирования нового программного обеспечения
За администраторами сохраняется функция контроля
доступа к ресурсам
Развертывание агентов и управление ими
• Для управления виртуальной инфраструктурой
SCVMM устанавливает агенты программного
обеспечения на каждом сервере узла
• Агенты управления получают сведения от
операционной системы Windows Server
сервера узла и передают эти сведения
обратно SCVMM
Управление узлами Hyper-V
• Добавление узлов с помощью мастера
– Удаленная установка и настройка программного
обеспечения виртуализации и интерфейсов управления
– Удаленное включение роли Hyper-V
• Простое управление кластерами узлов Hyper-V
– Добавление всего кластера узла Hyper-V за один шаг
– Автоматическое обновление добавленных или удаленных
узлов
• Управление отказоустойчивыми кластерами
Windows Server 2008 для Hyper-V
– Указание числа сбоев узлов, при котором требуется
поддерживать работу кластера и обеспечивать
высокую доступность
– Интеллектуальная замена гарантирует, что новые
виртуальные машины не будут перегружать кластер
– Сбои узлов автоматически активируют повторное
вычисление нагрузки
Быстрый перенос хранилища (QSM)
•
Для использования быстрого переноса хранилища не
требуется кластер и CSV
• Поддерживает перенос файлов запущенной виртуальной
машины в другое расположение хранилища на том же самом
узле с минимальными перебоями в работе службы
– Динамическая миграция и быстрый перенос в рамках узла
виртуальной машины
– QSM перемещает сами диски
• Преимущества QSM
– Возможность переноса виртуальной машины с тома LUN
на том CSV в кластере
– QSM позволяет переносить хранилище с минимальным
временем простоя
– Виртуальная машина расположена на томе CSV и может
принимать участие в быстрой динамической миграции
Узлы и режимы обслуживания
• Узел обслуживания — это узел, выделенный для
задач обслуживания виртуальной машины, например
установка пакетов на виртуальные машины и шаблоны
перед перемещением в рабочую среду
• Включение режима обслуживания
– На изолированном узле размещает все запущенные
виртуальные машины в сохраненном состоянии
– В кластере Windows, который поддерживает динамическую
миграцию, предоставляет следующие возможности:
– Динамический перенос всех запущенных виртуальных машин высокой
доступности на другие узлы кластера и перевод всех запущенных
виртуальных машин, которые не обеспечивают высокую доступность,
в сохраненное состояние
– Перевод всех запущенных виртуальных в сохраненное состояние
– Блокирует все операции создания виртуальных машин на узле
– Исключает узел из оценки узлов в ходе замены
– Отображает состояние узла в режиме обслуживания в
представлении «Узлы» консоли администратора VMM
Работа с библиотекой
•
Репозиторий для хранения всех стандартных блоков
виртуальных машин
– Виртуальные жесткие диски
– Автономные виртуальные машины
– ISO-образы
– Файлы ответов SysPrep
– Сценарии PowerShell с параметром Run
– Шаблоны
• Использование централизованных или распределенных
серверов файлов Windows в качестве библиотек
– Перемещение, копирование, удаление и изменение файлов
непосредственно в файловой системе
– VMM отслеживает изменения и предоставляет физическое
и логическое представление
– VMM помечает объекты с помощью идентификатора для
отслеживания объектов
Работа с шаблонами
•
Шаблон виртуальной машины — это библиотека
ресурсов, содержащая следующее:
– Профили оборудования
– Виртуальный жесткий диск
– Профиль гостевой операционной системы
Создание отчетов
• Virtual Machine Manager дополняет возможности
мониторинга и создания отчетов System Center
Operations Manager 2007, чтобы предоставить отчеты
по виртуальным машинам и узлам
•
Отчеты доступны в представлении «Отчеты» консоли
администрирования VMM, а также в консоли Operations
Manager
•
Чтобы включить отчеты и отобразить представление
«Отчеты», настройте интеграцию Operations Manager
с VMM, а затем настройте отчеты в VMM
Оптимизация производительности
и ресурсов (PRO)
• Поддерживает оптимизацию ресурсов с учетом
рабочей нагрузки и приложений в виртуализированной
среде
• На основании данных о работоспособности и
производительности, полученных от пакетов
управления с включенной оптимизацией PRO
в SCOM, PRO может автоматически или вручную
реализовать рекомендации по снижению времени
простоя и времени ускорения
• Перед включением PRO необходимо интегрировать
Operations Manager 2007 SP 1 или Operations Manager
2007 с VMM
Заключение
•
Используйте рекомендации при развертывании
виртуализированной среды и управлении центром
обработки данных
• Интегрированная архитектура Hyper-V, поддержка
сети и хранилище являются признаками комплексного
решения виртуализации
• Hyper-V предоставляет множество возможностей для
оптимизации, обеспечения безопасности и управления
центром обработки данных
© Корпорация Майкрософт (Microsoft Corporation), 2011. Все права защищены. Microsoft, Windows, Windows Vista, Windows Azure, Hyper-V являются охраняемыми
товарными знаками корпорации Майкрософт в США и других странах. Настоящий документ предоставляется исключительно в ознакомительных целях и отражает текущую
позицию корпорации Майкрософт на дату публикации. Поскольку корпорация Майкрософт должна реагировать на изменение рыночных условий, настоящий документ не
должен интерпретироваться как обязательство корпорации Майкрософт. Корпорация Майкрософт не может гарантировать точность сведений, предоставленных после
даты публикации. КОРПОРАЦИЯ МАЙКРОСОФТ ОТКАЗЫВАЕТСЯ ОТ ЛЮБЫХ ГАРАНТИЙНЫХ ОБЯЗАТЕЛЬСТВ В ОТНОШЕНИИ СВЕДЕНИЙ НАСТОЯЩЕГО
ДОКУМЕНТА, ВКЛЮЧАЯ ЯВНЫЕ, ПОДРАЗУМЕВАЕМЫЕ ИЛИ ПРЕДУСМОТРЕННЫЕ ЗАКОНОМ.
Скачать