Пошаговая инструкция по развертыванию zVirt

Для развертывания zVirt по этой инструкции потребуются следующие компоненты:

1. 3 сервера: будут использоваться в качестве хостов (гипервизоров) в среде zVirt;
2. СХД iSCSI;
3. 1 коммутатор;
4. 1 маршрутизатор;
5. Сервер DNS.

Для этой инструкции DNS-сервер не обязателен, поскольку также рассмотрен вариант развертывания без него. В продуктивной среде рекомендуем использовать DNS.

В продуктивной среде:

• количество серверов подбирается исходя из характеристик серверов, планируемых нагрузок на вычислительные мощности, а также с учетом требований Руководства по предварительному планированию инфраструктуры;
• количество и параметры СХД подбираются исходя из планируемых нагрузок на хранилище, а также с учетом требований Руководства по предварительному планированию инфраструктуры;
• количество и характеристики телекоммуникационного оборудования подбираются исходя из параметров имеющейся сетевой инфраструктуры, планируемых нагрузок на сеть, а также с учетом лучших практик по построению отказоустойчивых масштабируемых сетей.

На рисунке ниже представлены топологические схемы соединения компонентов для этой инструкции.

Рисунок 1. Топология канального уровня

Рисунок 2. Топология сетевого уровня

Топологии представлены исключительно с целью тестирования развертывания системы zVirt.

В продуктивной среде обеспечьте:

1. Наличие резервных линий связи с коммутационным и маршрутизирующим оборудованием.
2. Наличие резервного сетевого оборудования.
3. Наличие многоканального доступа к СХД.
4. Возможность разделения трафика различного типа между сетями. Как минимум следует выделить следующие сети:

• Сеть управления серверами: обеспечивает доступ к консоли управления сервером.
• Сеть управления zVirt: обеспечивает связь между Менеджером управления и хостами с целью управления (по умолчанию после развертывания Менеджера создается ovirtmgmt).
• Сеть миграции: обеспечивает связь между хостами, находящимися в одном кластере. Используется для миграции ВМ между хостами.
• Сеть хранения: обеспечивает связь между хостами и СХД.

Можно использовать как физическое разделение, так и логическое (VLAN). Но имейте в виду, что VLAN хоть и позволяют разделить трафик, но не увеличивают пропускную способность физического канала между объектами инфраструктуры.

5. Возможность увеличения пропускной способности сети с помощью агрегации.

Подробнее об использовании VLAN и bond смотрите в руководстве по предварительному планированию инфраструктуры.

Для корректного развертывания Менеджера управления необходимо, чтобы хосты и Менеджер разрешали имена друг друга в прямом и обратном направлении.

В случае отсутствия DNS-сервера необходимо на всех хостах (после установки zVirt Node), а также на Менеджере управления (после его развертывания) добавить соответствующие сопоставления имен и IP-адресов.

Для этого откройте на редактирование файл /etc/hosts и внесите в него необходимые сопоставления для всех хостов и Менеджера управления в формате:

<ip-address><fqdn>

Повторите операцию на всех хостах, которые планируется использовать в среде.

Создайте на DNS-сервере необходимые зоны прямого и обратного просмотра и внесите в них соответствующие A и PTR записи.

В этом руководстве будут использоваться следующие сопоставления:

Замените FQDN и IP на те, которые будут использоваться в вашей среде.

• Убедитесь, что в BIOS серверов включена поддержка аппаратной виртуализации (Intel VT или AMD-V).
• Рекомендуем также включить аппаратную виртуализацию ввода/вывода MMU (Intel VT- d или AMD-Vi), что позволит в дальнейшем использовать проброс устройств.

4. В меню загрузки выберите Install zVirt Node и нажмите Enter.

‍

5. Выберите язык по умолчанию и нажмите [ Continue ].

Рисунок 3. Окно выбора языка

6. Выберите часовой пояс в разделе Time & Date и нажмите [ Done ].

Рисунок 4. Окно настройки даты и времени

7. Выберите раскладку клавиатуры в разделе Keyboard и нажмите [ Done ].

Рисунок 5. Окно настройки раскладки клавиатуры

8. Выберите устройство, на которое нужно установить ОС, в разделе Installation Destination. При желании включите шифрование. В разделе Storage configuration выберите Custom и разметьте диск с помощью автоматического сценария, кликнув на Click here to create them automatically. После автоматической разметки можете произвести необходимые изменения (изменить пространство для lvm разделов, не затрагивая атрибуты диска), учитывая требования раздела Требования к хранилищу Руководства по предварительному планированию инфраструктуры.

Рисунок 6. Выбор ручного режима разметки

Рисунок 7. Использование инструмента авторазметки

Рисунок 8. Редактирование созданных разделов

Рисунок 9. Запрос подтверждения изменений

• Выберите сетевой интерфейс из раздела Network & Host Name.
• По кнопке [ Configure ] перейдите во вкладку конфигурации сети.

‍

Рисунок 10. Открытие окна настройки сети

• Настройте сеть и нажмите на кнопку [ Save ].

‍

Рисунок 11. Настройка параметров сети

4. Переключите тумблер в состояние ON, находящийся рядом с данными об интерфейсе.

Рисунок 12. Активация интерфейса

• В поле Host Name введите имя хоста и нажмите на кнопку [ Apply ].

Рисунок 13. Изменение имени хоста

2. Запустите утилиту nmtui (команда nmtui).

Рисунок 14. Главное меню утилиты nmtui

4. Введите FQDN устройства.

Рисунок 15. Установка имени хоста

7. Выберите нужный интерфейс и нажмите [ Enter ]

Рисунок 16. Выбор интерфейса из списка

• IP-адрес в формате <address>/<prefix>
• Шлюз по умолчанию
• Адрес DNS-сервера (можно ввести несколько в порядке приоритета, нажимая Add)

Рисунок 17. IPv4 конфигурация интерфейса

• Выделите нужный интерфейс
• Нажмите для деактивации (рядом с интерфейсом пропадёт *)
• Еще раз нажмите для активации (рядом с интерфейсом появится *).

/etc/hosts для обеспечения разрешения имен.

1. На первом сервере виртуализации отредактировать файл /etc/hosts, например следующим образом:

Рисунок 18. Содержимое файла /etc/hosts

scp /etc/hosts root@he-host-2.test-env.local:/etc/hosts

• Проверка прямого разрешения:

dig he-host-2.test-env.local +noall +answer
he-host-2.test-env.local.  3600 IN A 10.252.12.12‍

• Проверка обратного разрешения:

dig -x 10.252.12.12 +noall +answer
12.12.252.10.in-addr.arpa. 3600 IN PTR he-host-2.test-env.local.

Перед развертыванием Менеджера управления и добавлением хостов в среду, необходимо на всех северах виртуализации настроить репозитории.

Далее в некоторых разделах предполагается использование веб-интерфейса Cockpit. На zVirt Node он по умолчанию включен, но если по каким-то причинам соответствующий сервис остановлен, то запустить его можно следующим образом:

systemctl enable --now cockpit

1. В браузере перейдите по адресу (IP или FQDN) сервера виртуализации на порт 9090 для получения доступа в веб-интерфейс Cockpit zVirt Node (например, https://he-host-1.test- env.local:9090/).

Рисунок 19. Страница входа в веб-интерфейс сервера виртуализации

3. Перейдите в раздел Терминал.

Рисунок 20. Вкладка "Терминал" веб-интерфейса Cockpit

4. С помощью команды dnf repolist all проверьте статус репозиториев (ожидаемый статус для репозиториев zvirt – включено (enabled)):

Рисунок 22. Статус репозиториев - включены

zvirt-credentials -u <username> -p <password>

dnf install zvirt-credentials-0.1.1-1.13579.zvirt.el8.noarch.rpm

dnf update -y

<username> и <password> - выдаются при получении лицензии.

Если с хостов нет доступа к репозиториям, данную утилиту можно установить следующим образом:

Перед развертыванием Менеджера управления в режиме Hosted Engine необходимо подготовить хранилище, которое в процессе развертывания будет добавлено в среду как домен hosted_storage для хранения диска виртуальной машины HostedEngine.

Если LUN, который планируется использовать для домена hosted_storage ранее был в использовании, его необходимо очистить:

kpartx -dv /dev/mapper/<LUN_ID>

wipefs -a /dev/mapper/<LUN_ID>

partprobe

В этой инструкции используется СХД на базе iSCSI. Для его подготовки необходимо выполнить следующее:

1. Выделить LUN размером 100 Гб.

Рекомендации по выделению пространства для Менеджера управления смотрите в документе Лучшие практики.

cat /etc/iscsi/initiatorname.iscsi InitiatorName=iqn.1994-05.com.redhat:a2f614dc9ca

iscsiadm --mode discovery --type sendtargets --portal 10.252.12.10:3260 10.252.12.10:3260,1 iqn.2003-01.org.linux-iscsi.data.x8664:sn.40c037a2f63f

Передайте СХД имена инициаторов iscsi, в качестве которых выступают хосты zVirt. Имя инициатора хранится в файле /etc/iscsi/initiatorname.iscsi.

Настройте имя пользователя и пароль для аутентификации.

• На всех серверах и СХД заданы адреса и имена;
• В DNS-сервер внесены соответствующие записи типа A и PTR (или отредактирован и распространен файл /etc/hosts);
• Между всеми серверами, а также между серверами и СХД есть сетевая связность.

1. В браузере перейдите по адресу (IP или FQDN) первого сервера на порт 9090 для получения доступа в веб-интерфейс Cockpit zVirt Node (например https://he-host-1.test- env.local:9090/).

Рисунок 23. Страница входа в веб-интерфейс сервера виртуализации

4. В боковой панели нажмите zVirt и перейдите на вкладку Hosted Engine.

Рисунок 24. Страница установки HostedEngine

• FQDN Менеджера управления (в примере – he-engine.test-env.local).
• Выберите ручной режим сетевой конфигурации.
• Введите IP-адрес Менеджера управления (в примере – 10.252.12.14/24).
• Убедитесь, что от сервера получен шлюз по умолчанию (в примере – 10.252.12.254).
• Введите адрес DNS-сервера, который позволяет разрешать имена в среде (в примере –10.252.3.250).
• Убедитесь, что выбран корректный сетевой интерфейс или бонд (в примере – enp1s0).
• Задайте пароль для пользователя root Менеджера управления.
• Выберите разрешен ли пользователю root доступ по SSH к Менеджеру.
• Задайте количество vCPU для ВМ HostedEngine (минимум 4).
• Задайте размер RAM для ВМ HostedEngine (минимум 4096 Мб).
• Нажмите [ Дальше ].

‍

Рисунок 25. Настройка параметров ВМ HostedEngine

8. Проверьте конфигурацию и нажмите [ Подготовить ВМ ].

Рисунок 27. Сводная информация по конфигурации ВМ HostedEngine

9. Дождитесь успешной подготовки ВМ HostedEngine и перейдите к настройке хранилища для домена hosted_storage, нажав [ Дальше ].

Рисунок 28. Успешное завершение подготовки ВМ HostedEngine

• выберите тип (в примере - iSCSI);
• введите IP-адрес СХД (в примере – 10.252.12.10);
• измените порт, если он отличается от стандартного (в примере используется стандартный порт 3260);
• если для обнаружения целей требуется аутентификация, введите имя пользователя и пароль; нажмите [ Получить список целей ];

Рисунок 29. Настройки хранилища

• подключите соответствующий LUN, который будет присоединен как домен хранения hosted_storage:
• из списка целей выберите нужную;

Рисунок 30. Выбор цели

• из обнаруженных LUN выберите тот, который будет использоваться как домен hosted_storage;

Рисунок 31. Выбор LUN

• разверните группу Дополнительно. При необходимости увеличьте размер диска ВМ HostedEngine;
• введите имя пользователя и пароль, настроенные для подключения к таргету:

Рисунок 32. Дополнительные параметры хранилища

• нажмите [ Дальше ].

11. Убедитесь, что указанная конфигурация верна и нажмите [ Завершить установку ].

Рисунок 33. Сводная информация по конфигурации хранилища

12. Дождитесь успешного окончания установки и нажмите [ Закрыть ].

Рисунок 34. Уведомление об успешном развертывании HostedEngine

13. Для проверки доступности Менеджера управления перейдите в браузере по адресу https://<engine_fqdn> (<engine_fqdn> - FQDN Менеджера управления, заданное на этапе 9. В примере – he-engine.test-env.local).

Рисунок 35. Страница входа на Портал

Войдите на Портал администрирования под пользователем admin с паролем, заданным при развертывании Менеджера управления.

Рисунок 36. Домашняя страница пользователя

• Наличие сетевой связности между Менеджером управления и добавляемым сервером виртуализации (хостом).
• Наличие доступа по SSH от Менеджера управления к добавляемому хосту под пользователем root.
• Менеджер управления должен разрешать FQDN добавляемого хоста в IP-адрес.
• Доступность СХД для хостов.

Ниже описаны шаги для добавления такого хоста в среду.

• Максимальное количество хостов с ролью Hosted Engine в одной инсталляции – 7.

4. В боковой панели нажмите Ресурсы › Хосты.

Рисунок 37. Экран списка хостов

• Выберите кластер, в котором будет размещаться хост. Это должен быть кластер, в котором находятся хосты с ролью Hosted Engine и, соответственно, выполняется ВМ HostedEngine.
• Введите имя хоста (влияет на отображение хоста на Портале).
• (Опционально) Введите комментарий.
• Введите FQDN или IP-адрес хоста, по которому можно к нему подключиться.
• Если на хосте изменен стандартный порт SSH, измените его значение в поле Порт SSH на актуальное.
• Введите пароль пользователя root для подключения к хосту по SSH или укажите публичный ключ SSH.

‍

Рисунок 38. Настройки вкладки Общее

• Активируйте опцию Включить управление питанием.
• Нажмите «+» и введите необходимые параметры устройства управления питанием.
• Нажмите [ Тестировать ], а затем, при успешной проверке связи [ ОК ].

Рисунок 39. Настройки вкладки Управление питанием

назначить ему метки. Подробнее о группах сходства можно узнать в разделе Группы сходства Руководства по управлению виртуальными машинами.

Мы рекомендуем в продуктивной среде разделять стандартные хосты и хосты с ролью Hosted Engine на разные кластеры.

4. В боковой панели нажмите Ресурсы › Хосты.

Рисунок 40. Экран списка хостов

• Выберите кластер, в котором будет размещаться хост.
• Введите имя хоста (влияет на отображение хоста на Портале).
• (Опционально) Введите комментарий.
• Введите FQDN или IP-адрес хоста, по которому можно к нему подключиться.
• Если на хосте изменен стандартный порт SSH, измените его значение в поле Порт SSH на актуальное.
• Введите пароль пользователя root для подключения к хосту по SSH или укажите публичный ключ SSH;

Рисунок 41. Настройки вкладки Общее

• Активируйте опцию Включить управление питанием.
• Нажмите «+» и введите необходимые параметры устройства управления питанием.
• Нажмите [ Тестировать ], а затем при успешной проверке связи [ ОК ].

Рисунок 42. Настройки вкладки Управление питанием

• На вкладке SPM можно определить приоритет SPM для хоста. Подробнее о SPM можно узнать в разделе Настройка параметров для Менеджера пула хранения хоста руководства администратора, а также в разделе Storage Pool Manager (SPM) Технического справочника.
• На вкладке Консоль можно определить параметры SPICE-прокси, применяемые на данном хосте. Подробнее о настройках консоли при создании/редактировании хоста можно узнать в разделе Описание настроек консоли хоста Руководства администратора.
• На вкладке Журналирование можно задать параметры централизованного журналирования, применяемые на уровне хоста. Подробнее о настройках журналирования при создании/редактировании хоста можно узнать в разделе Описание настроек журналирования Руководства администратора.
• На вкладке Ядро можно задать необходимые загрузочные параметры ядра. Подробнее о настройках параметров ядра при создании/редактировании хоста можно узнать в разделе Описание настроек ядра Руководства администратора.
• На вкладке Группы сходства можно добавить хост в группу сходства, а также назначить ему метки. Подробнее о группах сходства можно узнать в разделе Группы сходства Руководства по управлению виртуальными машинами.

• Хосты

Центр данных представляет собой контейнер самого высокого уровня для всех физических и логических ресурсов в управляемой виртуальной среде.

Центр данных может содержать несколько кластеров, которые, в свою очередь, могут содержать несколько хостов; с ним может быть ассоциировано несколько доменов хранения; он может поддерживать несколько виртуальных машин на каждом из своих хостов. Среда zVirt может содержать несколько центров данных: инфраструктура центров данных позволяет поддерживать их раздельную работу.

Управление всеми центрами данных осуществляется через Портал администрирования.

Во время установки zVirt создается центр данных по умолчанию с именем Default. Можно сконфигурировать этот центр данных по умолчанию либо настроить новые центры данных с соответствующими именами.

• Уникальное имя нового центра данных.
• (Опционально) Описание.
• Выберите тип хранилища:

• Выберите версию совместимости.

• Выберите режим квотирования для центра данных:

• (Опционально) Введите комментарий:

Рисунок 43. Пример конфигурации нового центра данных

5. Нажмите [ ОК ].

После нажатия [ ОК ] появится помощник по созданию центра данных. Элементы управления в помощнике подскажут дальнейшие операции по конфигурированию Центра данных.

Обратите внимание, что центр данных останется в состоянии Неинициализированный, пока в него не будет добавлен хотя бы один хост (а значит и как минимум один кластер) и хотя бы один домен данных.

Дополнительная информация:

• Центры данных

Кластер – логическая группа хостов с общими доменами хранения и ЦП одного типа (Intel или AMD). Если модели ЦП хостов относятся к разным поколениям, то используются только те функции, которые присутствуют во всех моделях.

Каждый кластер в системе должен относиться к центру данных, а каждый хост в системе должен относиться к кластеру. Виртуальные машины динамически распределяются между хостами кластера и могут перемещаться между ними в соответствии с политиками, заданными в кластере, и настройками виртуальных машин. Кластер является самым высоким уровнем, на котором могут определяться политики электропитания и разделения нагрузки.

Во время установки zVirt создает кластер Default в центре данных Default, но при необходимости можно создать дополнительный кластер.

Порядок действий:
1. Под пользователем admin войдите на Портал администрирования по FQDN Менеджера управления (в примере - https://he-engine.test-env.local/).
2. В боковой панели нажмите Ресурсы › Кластеры.
3. Нажмите [ Новый ].
4. В окне создания кластера введите следующие данные:
- На вкладке Общие:
- На вкладке Оптимизация можно задать параметры оптимизации. Подробнее о настройках оптимизации кластера можно узнать в разделе Описание настроек оптимизации Руководства администратора.
- На вкладке Политика миграции можно задать правила миграции работающих виртуальных машин в случае сбоя хоста. Подробнее о настройках политик миграции в кластере можно узнать в разделе Описание настроек политик миграции Руководства администратора.https://wiki.orionsoft.ru/ru/zvirt/latest/admin-guide.adoc#migration-pol-config
- На вкладке Политика планирования можно задать параметры использования и распределения виртуальных машин между доступными хостами. Подробнее о настройках политик планирования в кластере можно узнать в разделе Описание настроек политик планирования Руководства администратора.
- На вкладке Консоль можно определить параметры SPICE-прокси, применяемые в кластере. Подробнее о настройках консоли в кластере можно узнать в разделе Описание настроек консоли кластера Руководства администратора.
- На вкладке Журналирование можно определить параметры централизованного журналирования, применяемые на уровне кластера. Подробнее о настройках журналирования в кластере можно узнать в разделе Описание настроек журналирования Руководства администратора.
- На вкладке Политика ограничения можно изменить параметры использования ограждения хостов в кластере. Подробнее о настройках политик ограничения в кластере можно узнать в разделе Описание настроек политик ограничения Руководства администратора.
- На вкладке Пул MAC-адресов можно переопределить диапазон MAC-адресов, применяемый для ВМ в кластере.

После нажатия [ ОК ] появится помощник по созданию кластера. Элементы управления в помощнике подскажут дальнейшие операции по конфигурированию созданного кластера.

• Кластеры

Домен хранения – это набор образов, имеющих общий интерфейс хранения. Домен хранения содержит полные образы шаблонов и виртуальных машин (включая моментальные снимки) или ISO-файлы. Домен хранения может состоять из блочных устройств (SAN - iSCSI или FCP) или файловой системы (NAS - NFS, GlusterFS или иных POSIX- совместимых файловых систем).

В файловых хранилищах все виртуальные диски, шаблоны и моментальные снимки являются файлами.

В SAN (iSCSI/FCP) каждый виртуальный диск, шаблон или моментальный снимок представляет собой логический том. Блочные устройства объединяются в логическую сущность, называемую группой томов, а затем с помощью Менеджера логических томов (Logical Volume Manager, LVM) делятся на логические тома для использования в качестве виртуальных жестких дисков.

Виртуальные диски могут иметь один из двух форматов: QCOW2 или raw. Возможные типы хранилищ: динамически расширяемые (sparse) или предварительно размеченные (preallocated). Снимки всегда имеют формат sparse, но могут создаваться для дисков любого из этих форматов. Для виртуальных машин, совместно использующих один домен хранения, возможна миграция между хостами, относящимися к одному кластеру.

Подробнее о хранилище можно узнать в разделе Хранилище Технического справочника.

В этом разделе рассматривается процедура подключения домена данных на базе iSCSI.

Подробнее о подключении хранилищ другого типа, а также о различных дополнительных настройках доменов хранения можно узнать в разделе Хранилище Руководства администратора.

Предварительные требования:

# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.com.redhat:a2f614dc9ca

#iscsiadm --mode discovery --type sendtargets --portal 10.252.12.10:3260
10.252.12.10:3260,1 iqn.2003-01.org.linux-iscsi.data.x8664:sn.40c037a2f63f

Замените адрес Портала на тот, который используется в вашей среде.

- Нажмите [ Добавить ] напротив нужных LUN.

‍

5. Нажмите [ ОК ]. После нажатия на [ ОК ] домен данных в течение некоторого времени будет находиться в статусе Заблокированный, а затем перейдет в статус Активный.

• Хранилище