Оригинальная статья в блоге компании «Сервер Молл» на сайте Habrahabr.ru расположена здесь

47576edaccd04b6e8e2e5c29fcaf23d21

Чем новее сервер, тем дольше он грузится. Особенно это раздражает при диагностике или в ходе обновления прошивок, поэтому однажды я покопался в закромах Dell и нашел несколько полезных утилит для экономии нервов.

# Автоматическая миграция и самостоятельная прошивка

У Dell есть бесплатный набор инструментов OpenManage Essentials для мониторинга оборудования и обновления прошивок. Для инфраструктуры с физическими серверами это неплохой вариант решения некоторых административных задач:

* Мониторинг любого оборудования через SNMP, IPMI и WMI. Для OpenManage Essentials 2.2 и новее доступен импорт файлов описаний MIB прямо из консоли. Для более старых версий потребуется Dell OpenManage Essentials MIB Import Utility;

* Загрузка и установка новых версий драйверов и прошивок.

Если же у вас виртуальная среда, то пригодится Dell Management Plug-in for VMware vCenter.

d38f88d733e645a2bde304f89b8e36931

Плагин позволяет vCenter своевременно узнавать об аппаратных сбоях, а заодно обновлять прошивки, драйверы и BIOS на хостах с ESXi. Но что оказалось наиболее полезным, с ним vCenter может мигрировать виртуальные машины перед запуском прошивки.

**Миграция при обновлении сервера доступна как для актуальных систем Dell PowerEdge 12 и 13 поколений, так и для восстановленных серверов 11 поколения с контроллером iDRAC.**

Это проприетарный вариант IPMI (Intelligent Platform Management Interface). Фактически, тот же «удаленный доступ к физической консоли и BIOS», но с дополнительными инструментами от Dell. Аналог от HP – iLO (Integrated Lights-Out), от IBM – RSA (Remote Supervisor Adapter).

Сценарий обновления железа на виртуальных хостах теперь выглядит так:

  • 1. Прямо в консоли vCenter я вижу пометки о необходимости обновления – там же можно запустить **FirmWare Wizard**. Мастер может подтягивать обновки как из онлайн-репозитория Dell, так и из местных источников;

52296015a7e54f3ab5499400159cb7611

  • 2. Затем выбираю обновления и указываю удобное время. Обязательно отмечаю BIOS, iDRAC и LifecycleControler, чтобы не получить проблем при установке;
  • 3. Обновление кластера занимает от 30 до 60 минут. Если все пройдет успешно, то машины вернутся обратно на свой хост, а за процессом можно наблюдать через почтовые уведомления или на странице Job Queue.

76c83436379942aabe384aba769e33011

Для автоматического перемещения виртуальных машин на другой хост vSphere должна работать в конфигурации DRS (Distributed Resource Scheduler) с полностью автоматическим режимом.

Без плагина все эти операции выполнялись вручную, включая предварительную миграцию машин, создание загрузочной флешки для обновления, прошивку каждого компонента отдельно и т.п. Разумеется, сидя рядом с сервером, что уже не так красиво и удобно.

Конечно, нечто подобное можно попробовать реализовать на базе Zabbix и набора скриптов. Но почему бы не использовать некоторые удобства, которые обходятся компании в скромные $495 за лицензию на плагин для 5 хостов.

Были некоторые опасения вида «а что, если все пойдет не так, и на следующий день серверы вообще не будут работать». От большинства сложностей есть такой алгоритм:

1. Я получаю оповещение о том, что виртуальные машины успешно или не очень мигрировали. Если миграция не удалась – обновление не начнется, и на следующий день я спокойно разберусь в ситуации;

2. После миграции машин на другой хост наш «пациент» может хоть сгореть, пользователи не заметят. При неудачном обновлении хост не будет пытаться снова и снова загрузиться, а будет спокойно ожидать отката прошивки. Конечно, если не забыть поставить галку **Enable Alarms for Dell Hosts** при настройке OpenManage Integration;

3. Если обновление микро-ПО прошло не слишком удачно, то уже будут готовы журналы перезагрузок и скриншоты консоли в процессе.

Конечно, порой и кластер не панацея, но от всего и не застрахуешься.

К слову о скриншотах – это следующая полезная опция.

# Скриншоты синих и пурпурных экранов

Знаете, как это бывает: добавляешь драйвер на хост, перезагружаешь ESXi и спокойно отключаешься от удаленного управления в ожидании загрузки системы. А она все недоступна и недоступна. Подключаешься снова и видишь пурпурный экран. Понятно, что первым действием будет откат добавленного модуля. А если проблема не в нем?

В таких случаях я сначала перезагружаю хост и наблюдаю за процессом загрузки, его этапами и возникающими сообщениями. Для серверов с модулем iDRAC 7 Enterprise ведется лог сообщений и экранов консоли при загрузке сервера, зависании или возникновении ошибок. То есть, вся диагностическая информация уже под рукой и не требует многократных перезагрузок, каждая из которых у современных систем может длиться более 5 минут.

d19fd7f720bc4e298d20a3ada5d5203e1

Можно просмотреть записи последних трех загрузок. Для работы опции нужна лицензия iDRAC Enterprise за $75.

# Еще немного магии iDRAC

Аппаратный модуль управления Dell может отменить неудачную установку прошивки и вернуть любую прошлую версию. Это полезно, например, при обнаружении бага в новой версии – о подобных вещах как раз была дискуссия в комментариях к [статье про сервисные контракты](https://habrahabr.ru/company/pc-administrator/blog/308830/). Можно просто вернуть «как было» и больше не трогать. Откат прошивок доступен сразу для нескольких компонентов за одну перезагрузку, что здорово экономит время (помним про неспешную загрузку современного железа с десятками ГБ памяти).

Пару лет назад неудачно прошили BIOS в сервере и после перезагрузки любовались такой вот надписью:

ac44f471ad504af98b265ef3310090311

Все, что я сделал после первичной паники – это зашел в Lifecycle Controller со своей станции и выбрал Launch Firmware Rollback для BIOS, который успешно отыграл свою партию.

e10193802d8040a68e919e1a8f82f1391

Мастер восстановления прошивок поддерживает следующие устройства:

* Контроллер iDRAC;
* BIOS;
* Сетевая карта;
* [Блок питания](https://habrahabr.ru/company/pc-administrator/blog/310698/);
* Контроллер RAID.

Из дополнительных полезных удобств iDRAC:

* **Встроенный сервер VNC**. Позволяет подключаться к iDRAC через привычный клиент VNC, без использования браузера или установки стороннего ПО. Требует лицензии iDRAC Enterprise;

* **Прозрачная аутентификация в Active Directory**. До сих пор многие коллеги используют локальный учетные записи в модулях аппаратного управления, что довольно неудобно при смене ответственного за конкретный сервер.

# Мобильная перезагрузка и мониторинг

В наш век модных мобильных технологий даже автомобиль уже можно открыть или запустить с телефона. Нечто подобное есть и от Dell – называется OpenManage Mobile, приложение доступно под Android и iOS.

fa17ad137d3040cc85b54c45eed90f781

Фактически, это урезанный клиент консолей OpenManage Essentials и iDRAC, который можно установить на смартфон или планшет и получить следующие возможности:

* Включение и перезагрузка сервера;
* Просмотр уведомлений iDRAC;
* Чтение журналов событий OpenManage Essentials;
* Запуск подключения через VNC. В приложении есть ссылки на удаленное управление, которые откроются в установленном по умолчанию VNC-клиенте планшета;
* Загрузка документации к оборудованию.

Есть у меня старая дурная привычка: уже после манипуляций с железом или софтом на одной из наших площадок еду в офис и по дороге просматриваю последние состояния «пациентов» через оповещения в почте. OpenManage Mobile вывел привычку на новый уровень и позволил смотреть статус в реальном времени. Конечно, я бы не рискнул вот так просто перезагружать сервер удаленно вне офиса, но просмотр статусов и логов частенько пригождается.

7733acb7d778437caecb6b2f4a3fbd9a1

Использовать приложение логичнее с планшета – тогда можно организовать удобный VNC-доступ и получить своеобразный пульт управления сервером. Разумеется, доступ к сети с интерфейсами iDRAC осуществляется через VPN.

# О земном

Если посчитать стоимость всех этих бонусов **для одного сервера**, то выходит **$174**:

* Dell iDRAC Enterprise обойдется примерно в $75 на каждый сервер;
* Dell Management Plug-in for VMware vCenter – около $99 на хост.

Даже без покупки дополнительных лицензий вы получаете детальный мониторинг всех компонентов PowerEdge «из коробки», вместе с бесплатной системой мониторинга сети и стороннего оборудования OpenManage Essentials.

**А какие инструменты управления скрашивают ваши административные будни?**

Напоследок, несколько полезных ссылок:

* Настройка удаленного мониторинга и обновления прошивок\драйверов Dell;

* [Импорт описаний SNMP (MIB) для сторонних систем в OpenManage Essentials;

* База с файлами описаний MIB для различных систем. Пригодится, если строите мониторинг на базе OpenManage Essentials;

* Настройка записи видео загрузки сервера через iDRAC.

Обсуждение закрыто.