Многим  знаком режим unsupported в ESXi 4 и чтобы войти в данный режим надо было набрать unsupported на клавиатуре в локальной консоли, после этого мы попадали в busybox консоль ESXi.  Еще, наверное, многие помнят, как было немного геморно включать SSH на ESXi 4.  Да и кстати данные вещи официально не поддерживались VMware, так что если что то случилось после работы в режиме unsupported и Вы пошли писать письмо о помощи или с вопросом, то можно было сказать прощай офф. саппорту. Единственными официальными способами работы из командной строки были vSphereCLI и vMA.

Но парни из VMware не стоят на месте и в версии ESXi 4.1 официально появилась поддержка интерфейса командной строки busybox консоли как локально, так и удаленно через SSH и называются они соответственно Local Tech Support и Remote Tech Support . Активация этих режимов стала очень быстрой и удобной.

Существует два вариант активации Tech Support Mode

1. Локально из DCUI консоли ESXi;
2. Через vSphere Client;

Активация через DCUI.

Логинимся и заходим в локальную консоль.

Нас интересует Troubleshooting Options. В этом разделе как раз все и включается, а также и отключается.

Идем туда и видим

Опция Enable Local Tech Support включает локальный интерфейс командной строки.

Опция Enable Remote Tech Support (SSH) включает удаленный доступ к командной строке busybox консоли через SSH.

Опция Modify Tech Support timeout – это время ожидание в минутах при котором оба режима Tech Support  отключаются автоматом. Если есть открытые сессии, то на них эта опция не распространяется. Опция срабатывает только в том случае если нет открытых сессий (локальной и/или удаленных). Чтобы отключить данную опцию необходимо выставить время таймаута в 0.

Активация через GUI vSphere Client.

Идем в раздел Configuration -> Security Profile

Далее Properties.

Тут в принципе все теже опции что и в локальной консоли ESXi. Службы для Local Tech Support и Remote Tech Support (SSH) не запущены.

Выбираем нужный сервис (Local Tech Support/Remote Tech Support (SSH) ) и жмем Options.

Далее жмем кнопку Start дабы сейчас запустить сервис, а затем выбираем в Startup Policy режим автоматического запуска.

После выполнение процедуры видим что статус демонов стоит в Running.

Чтобы включить/отключить/изменить таймаут для автоматического отключения Tech Support Mode (в DCUI опция назывывается Modify Tech Support timeout) в GUI vSphere Client необходимо сделать следующее.

Идем Configuration -> Advansed Settings -> UserVars. Далее параметр UserVars.TSMTimeOut.

Кстати тут время измеряется в секундах, а не в минутах как в опции Modify Tech Support timeout в DCUI ESXi. Чтобы отключить таймаут необходимо просто выставить значение времени в 0. Любое другое значение означает, что таймаут включен.

1. Виртуальное железо должно быть не ниже версии 7.
2. USB Arbitrator
3. USB controller
4. USB устройство или хаб

Все основные моменты по поддержки USB можно прочитать в этом KB или в доке Virtual Machine Administration Guide.

Поддерживаются устройства как USB 2.0 так и USB 1.1. Список  официально поддерживаемых устройств.

Я для тестов брал несколько флешек разных производителей и все они поддерживались и прекрасно работали. К сожалению, под рукой не было алладиновского ключа чтобы и этот вариант опробовать, но думаю работать будет без проблем, если заявлено официально. А вот USB DVD-RW от ASUS так и не заработал, его хосты видеть отказались.

Какие существуют ограничения для проброса USB

Контроллер USB

• 1 ВМ может иметь 1 виртуальный контроллер USB
• USB Arbitrator может работать только с 15 физическими контроллерами USB
• Перед тем как добавить в ВМ USB устройство, нужно в эту же ВМ добавить виртуальный USB контроллер
• Перед тем как удалить виртуальный USB контроллер из ВМ, необходимо удалить все USB устройства

USB устройства

• 1-ой ВМ можно давать несколько устройств USB, максимум 20
• Устройство USB  доступно только 1-ой ВМ к которой оно подключено
• Официально не поддерживаемые устройства (линк на список поддерживаемых девайсов), могут некорректно работать с каким либо функционалом (к примеру с VMotion)
• Перед тем как сделать HotAdd  виртуального железа на ВМ, необходимо отключить все USB устройства, так как при горячем добавление автоматически отключаются от ВМ все USB устройства.
• Если ВМ была suspend, а затем снова продолжала работу, то USB устройства ведут себя, так как будто их отключили и снова включили.

Для устройств USB поддерживается VMotion и DRS. Это наверное самое вкусное. Так как можно спокойно мигрировать машины с хоста на хост и иметь подключенный USB девайс. Кстати DPM не поддерживается, так что на хостах где есть USB девайсы нужно отключить DPM.

Подключение

Тут все просто. Cкажем, берем флешку, вставляем в USB порт хоста, далее идем в консоль vSphere.

Идем в свойства ВМ которой нужно добавить USB устройство.

Так как виртуального USB контроллера нет на ВМ, с начала добавлем его.

Затем уже добавляем USB устройство.

Выбираем из списка нужное устройство. Если необходимо чтобы устройство поддерживало VMotion, ставим галку Support vMotion while device is connected.

Жмем ОК и идем в ВМ смотреть что получилось.

Опа, вот и она, моя флешка уже в ВМ.

Далее я пробовал мигрировать (VMotion) данную ВМ с прокинутой флешкой на разные хосты. Флешка была доступна!

Кстати если открыть свойства ВМ, а затем посмотреть свойства USB устройства то в поле USB Unique ID как раз будет указан хост и путь где подключен девайс.

Итог таков что в версии vSphere 4.1 прокидывание USB есть и оно работает замечательно как с VMotion так и без него. Огорчает правдо не такой внушительный список поддержки USB устройств, но я думаю, в будущем он расширится.

Решил начать с iSCSI Hardware Offloads.

Из релиза известно что

vSphere 4.1 enables 10Gb iSCSI hardware offloads (Broadcom 57711) and 1Gb iSCSI hardware offloads (Broadcom 5709).

Что это и с чем его едят? Собственно теперь сетевые карточки с функцией iSCSI Offload  или Accelerated iSCSI в терминологии HP и некоторых других производителей будут в ESX/ESXi работать как iSCSI HBA и в документации VMware дается обозначение таким адаптерам как Dependent Hardware iSCSI Adapters.

Более точное определение из доков VMware что такое Dependent Hardware iSCSI Adapters (зависимый железный iSCSI адаптер)

A dependent hardware iSCSI adapter is a third-party adapter that depends on VMware networking, and iSCSI configuration and management interfaces provided by VMware.

This type of adapter can be a card, such as a Broadcom 5709 NIC, that presents a standard network adapter and iSCSI offload functionality for the same port. The iSCSI offload functionality appears on the list of storage adapters as an iSCSI adapter. Although the iSCSI adapter is enabled by default, to make it functional, you must set up networking for the iSCSI traffic and bind the adapter and an appropriate VMkernel iSCSI port.

Ура, возрадуйтесь коллеги у кого есть сетевухи построенные на выше перечисленных чипах, раньше данный функционал был доступен только в ОС семейства Windows, RHEL и еще некоторых *nix систем для которых нужно было инсталлировать  драйвер, в ESX/ESXi данной поддержки не было.

Пока официально поддерживаются только два чипа это Broadcom 57711 и Broadcom 5709, не очень много, но все же, хотя думаю, в будущем список расширится.

Супер, пробежала мысль в голове, но мне пока не судьба сейчас попробовать заявленный  iSCSI Hardware Offloads, так как у меня нет хостов с данными чипами, но есть хост с парой сетевых карточек HP NC373T построенных на Broadcom 5708. Чипы 5708 и 5709 почти что похожи, но с некоторыми функциональными отличиями, хотя драйвер используют один и тот же и оба поддерживают iSCSI Offload. Каково мое было удивление, когда после обновления до ESXi 4.1 в разделе Storage adapter я увидел два iSCSI HBA которые как раз и были моими картами на 5708 чипе.

Так как Dependent Hardware iSCSI Adapters не чисто отдельная железная HBA, а сетевуха с функцией iSCSI Offload  то ее необходимо правильно настроить. ESX/ESXi 4.1 видят такую сетевую как два устройства: физ. сетевую карту и физическую iSCSI HBA. В моем примере vmnic2 она же vmhba32 и vmnic3 она же vmhba33.

Для полноты картины приведу рисунок общей конфигурации из доков VMware.

На рисунке в левой части показано подключение через софтверный iSCSI инициатор через две сетевые карты с 2-мя портами VMkernel, а справа через две сетевые карты которые поддерживают iSCSI Offload.

Конфигурация очень похожа чем то на конфигурацию софтверного iSCSI инициатора в ESX/ESXi с небольшими нюансами.  Для информации моя статья о конфигурации  софтверного iSCSI инициатора, а также статья о настройки multipathing и RR для софтверного iSCSI инициатора.

Едем дальше.

Первым делом что нужно сделать это создать порты VMKernel для трафика iSCSI и сделать активными только те сетевые карты, которые соответствуют своим HBA. В моем примере iSCSI1 будет работать через vmnic2, а iSCSI2 будет работать через vmnic3. Для этого я сделаю отдельный vSwitch и делаю все необходимые настройки.

Далее необходимо порты VMkernel  привязать к существующим зависимым адаптерам iSCSI.

Это уже делается из консоли либо локальной (благо теперь уже и у ESXi она тоже официально поддерживается), либо удаленной или через vSphere CLI.

Я удаленно через SSH все сделаю.

esxcli swiscsi nic add -n vmk1 -d vmhba32

esxcli swiscsi nic add -n vmk2 -d vmhba33

Осталось настроить таргеты в свойствах iSCSI HBA (также как и в софтверном инициаторе) и сделать рескан адаптеров.

Добавил 2 LUN. Вот что у меня получилось.

А вот и multipathing до LUN.

На этом все.

И так теорию о iSCSI писать не буду, а переду сразу к делу.

Повторюсь, ПО Starwind это программный iSCSI таргет с отличным функционалом (о нем чуть позже) выступающий как конкурент железным решениям и дает нам возможность виртуализовать хранилища данных, а также в зависимости от версии обеспечить высокую доступность хранилищ. Существует несколько вариантов продукта: free версия с урезанным функционалом, а также несколько коммерческих версий. Более подробно о коммерческих версиях тут.

На днях как раз знакомился и тестировал  полную коммерческую версию продукта. Работает ПО на платформах Windows от XP до 2008.

Собственно с помощью Starwind можно организовать iSCSI таргет за 30 мин (так заявляет  производитель). Забегая вперед скажу действительно можно, я вообще справился с этим делом за 10 мин и это не вызвало больших проблем.

Функционал.

Существует ряд версий отличающихся друг от друга функционалом и доступными фичами.

Доступный функционал.

• Синхронное зеркалирование данных: зеркалирование данных в режиме реального времени через кластер хранения, состоящий из двух узлов.
• Высокая доступность / Автоматическое преодоление отказа: отказоустойчивая технология исключает единую точку сбоя
• Восстановление с быстрой Синхронизацией: восстановление к оригинальному состоянию системы после автоматического восстановления
• Удаленная / асинхронная репликация: воспроизводит систему хранения данных на удаленный узел через сеть интернет
• Точки восстановления и мгновенные снимки (snapshots): создает точку восстановления с неограниченным количеством откатов
• Сервер кластеризации: обеспечивает общее хранилище для кластеризации серверов c высокой доступностью
• Тонкое резервирование: распределяет пространство динамично для высокоэффективного использования дисковых ресурсов

Установка.

Подробно описывать не буду процесс установки, скажу одно, он до безобразия прост, 2 мин и все готово. Далее остается сконфигурировать таргеты. Тут немного по сложнее, но все делается через удобный графический интерфейс.

Подробно работу и настройку всего что есть, не хочу описывать, так как все есть в документации у производителя. Остановлюсь на паре интересных моментов, которые меня больше всего зацепили.

RAID-1

C помощью Starwind можно создать виртуальный RAID-1 массив состоящий из двух дисков – оригинала и зеркало, который может работать как в синхронном режиме, так и в асинхронном.  Главный интересный момент: оригинальный диск и зеркало могут находиться не только на одном  сервере, а также в сети на разных серверах. Благодаря последнему мы получаем виртуальный сетевой RAID-1 массив. Для чего это нужно? Конечно для критически важных данных. Так как второй диск это зеркальное отображение первого диска. И в случае потери первого диска, на втором всегда есть копия информации с первого диска. Если учесть что зеркало лежит на другом сервере, то получаем отказоустойчивое решение, при падение первого сервера, на втором всегда есть копия данных.

На скриншоте Test2-Mirror-Synch как раз таргет с виртуальным сетевым RAID-1. Основное зеркало лежит на первом сервере локально, второе на другом сервере (TSSRV2, таргет Mirror-Test2-dev1).

Принцип работы прост, первый диск (основной) презентуется хосту с ESX/ESXi (второй диск зеркало тоже можно презентовать, но этого делать не стоит, до момента пока не откажет первый диск и Вам не потребуются с него срочно данные) и с ним идет основная работа, когда данные пишутся на этот диск, то одновременно они же и записываются на второй диск (зеркало) в режиме реального времени, только уже посредством самого Starwind’a. Как чуть выше уже упомянул, при каком либо краше основного диска, можно хосту презентовать второй диск, предварительного его сделав основным в консоли Starwind. Затем восстановить сбойнувший диск и сделать принудительную полную синхронизацию.

Starwind HA

Что это и что дает Starwind HA? А все очень просто, отказоустойчивое решение, работающее в режиме Active/Active с синхронизацией данных между двумя нодами. Для этого надо 2 сервера Strawind (основной сервер и сервер партнер в терминологии Starwind, в работе же оба сервера получаются равноправными) и сконфигурированное High Availability device.

Как это работает? И так кластер из двух нод (Starwind), которые всегда активны, ноды между собой постоянно синхронизируются в режиме реального времени при любых операциях I/O к HA кластеру по выделенному каналу для синхронизации. В случае сбоя одной из нод, автоматически весь трафик предназначавшийся сбойнутой ноде перенаправляется на рабочую ноду. При восстановление неработающей ноды, происходит синхронизация данных между двумя серверами, в данной версии ПО (5.3) после сбоя необходимо сделать полную синхронизацию нод в ручную с консоли, в следующей версии все будет работать автоматом.

На скриншоте Test1-HA-Dev1 первый таргет HA кластера на первом сервере, Test1-HA-Dev1-Partner второй таргет, на сервере партнере.

Собственно далее прописываем оба сервера на хосте и получаем два пути к одному и тому же LUN. Кстати если данный LUN настроить в ESX/ESXi на работу с политикой Round Robin, то пути до обоих нод будут активными и операции I/O будут проходить сразу на обе ноды.

Вообще Starwind HA работает по тому же принципу, как и железные хранилища типа SAA.  Кроме отказоусточивости мы еще получаем и распределение нагрузки. Конечно, чтобы это все правильно работало, нужно грамотно сконфигурировать инфраструктуру, данную тему затрагивать не буду, опять же отошлю к доками Strawind’a.

Пару слов о производительности

Собственно решение дает практически максимальную производительность которую может дать то железо (сервер, диски, сеть и д.р.) на котором вы используете данный софт. Детальное тестирование не проводил, но вкратце погонял пару тестов и судя по результатам решение работает очень достойно.

Впечатления

Впечатления очень положительные от Strawind. Легкость установки и настройки. Понравился удобный GUI интерфейс консоли управления. Действительно при HA конфигурации, режим работы нод Active/Active, как это реализовано на железных СХД хайэнд класса. Сетевой RAID-1 для повышения надежности данных и много других вкусностей, как снапшоты и thin provision. Ну и конечно цена решения. Если не брать в учет стоимость лицензий ОС Windows, то получается совсем вкусно и очень конкурентно с железными решениями даже начального уровня. Так что думаю, главной целевой аудиторией продукта будет сектор SMB.

Немного о минусах

Наверное, то что мне бросается в глаза сразу так это то что ПО работает под управление ОС семейства Windows – а это дополнительная трата на лицензии. Хотя представители Starwind говорят, что в этапе бета тестирования VSA версия продукта, так что думаю, в скором времени этот минус отпадет. Конечно, хочется увидеть реализации и на Linux платформах, что даст 10 очков дополнительно этому продукту.

Jumbo Frames – это сетевые кадры размером 9000+ байтов. Обычные кадры, использующиеся в сети имеют размером 1500 байт.  Jumbo Frames работает в сетях 1Гбит и выше. Для чего же нужны большие кадры? Собственно для того чтобы увеличить быстродействие сети при передачи большого числа данных и снизить накладные расходы. Рекомендуется включать Jumbo Frames в сетях, где наблюдается интенсивная пересылка больших объемов данных, например трафик iSCSI. Подробнее тут.

ESX/ESXi 4 имеет поддержку Jumbo Frames и ниже я расскажу как ее включить на примере хоста с ESX 4.

По умолчанию у нас есть коммутатор, который поддерживает Jumbo Frames и на нем уже включена поддержка больших кадров для нужных портов. Также есть хост, на котором уже есть отдельный vSwitch и два порта VMkernel использующийся для трафика iSCSI. Вот как раз на нем я включу поддержку Jumbo Frames.

Все операции по включению Jumbo Frames производятся из консоли. Включать поддержку Jumbo Frames я буду на vSwitch2.

Первым делом идем в консоль и смотрим командой esxcfg-vswitch –l какие у нас есть виртуальные свитчи и какой MTU выставлен. По умолчанию MTU = 1500.

Далее выполняю команду esxcfg-vswitch -m 9000 vSwitch2, тем самым включая поддержку больших кадров на виртуальном свитче vSwitch2.

Теперь остается включить Jumbo Frames для портов VMkernel, которым это необходимо. В моем примере они созданы, так что их придется пересоздавать.

В начале выполняем команду esxcfg-vmknic –d <port_group_name>, этой командой мы удалим VMkernel NIC в порт группе, в моем примере esxcfg-vmknic –d iSCSI1.

Затем выполняем команду esxcfg-vmknic -a -i <IP> -n <network_mask> -m 9000 <port_group_name>, этим действием мы заново создадим порт VMkernel с нужным IP, маской и размером кадра в 9000 байт, в моем примере esxcfg-vmknic –a –i 192.168.10.5 255.255.255.0 –m 9000 iSCSI1.

Тоже самое я проделаю и со вторым портом VMkernel.

esxcfg-vmknic –d iSCSI2

esxcfg-vmknic –a –i 192.168.10.6 255.255.255.0 –m 9000 iSCSI2

Теперь можно посмотреть, что получилось командой esxcfg-vmknic –l.

Все с конфигурацией.

Касетельно ESXi.

Тут есть несколько способов. Через unsupported mode или vSphere CLI или vMA.

Как сконфигурировать хост и сетевую инфраструктуру расскажу на примере одной реальной задачи. И так нужно сделать для ВМ и VMotion быструю сеть, а также обеспечить отказоустойчивость на случай выхода из строя одного канала, причем в наличие есть только две выделенные физические сетевые и один физический коммутатор с поддержкой IEEE 802.3ad.  Плюс ко всему разделить порт группы ВМ по своим VLAN. Особо тут не разгуляешься, и отказоустойчивость можно получить на случай выхода из строя одной из  сетевых плат или патча. В данной конфигурации существует единая точка отказа, это физический свитч. Деваться некуда, так как задача стоит и ее нужно решить. Собственно решение созрело сразу это LA.

Что для этого нужно, это собственно любой физический свитч, поддерживающий LA (IEEE 802.3ad) и VLAN. В ESX/ESXi уже включена поддержка LA, НО с некоторыми оговорками, работает только в режиме 802.3ad static. Почитать подробнее можно в этом KB.

Конфигурация вообще не сложная и поэтому ее подробно описывать не буду, только коснусь важных моментов.

И так у нас есть хост, 2 физические сетевые, свитч HP 2824 и 2 свободных порта на нем и несколько VLAN.

Конфигурация состоит из 2-х этапов.

1)      Конфигурация самого хоста.

2)      Конфигурация физического свитча.

Схема физического подключения.

1. Конфигурация Networking

Первое это нужно создать отдельный vSwitch, на котором будет использоваться LA или использовать существующий и привязать к нему наши две физические сетевые для аплинка. Далее идем в свойства vSwitch вкладка Ports -> vSwitch и на вкладке NIC Teaming необходимо убедиться, что обе сетевые активные.  В поле Load Balancing указываем Route based on ip hash.

Еще одно важное замечание. В поле Network Failover Detection должен быть выбран Link Status only, с beaconing probe работать не будет.

2. Конфигурация физ. свитча.

И так сама конфигурация на примере HP ProCurve 2824. Тут все просто. Заходим в консоль, далее в config и выполняем следующие trunk <port_list> < trk1 … trk60 > trunk

В моем примере патчи от физ. сетевых хоста висят на портах 11 и 12, и я ввожу trunk 11-12 trk1 trunk. После можете посмотреть, что получилось командой show trunk.

Ну осталось еще одно. Нашу группу trk1 пометить как tagged и прокинуть во все vlan. Это легко делается из веб интерфейса управления свитча или же из той же консоли.

Вот и все с конфигурацией.

А да кстати если кто незнает как настроить на работу с VLAN ESX/ESXi, то вот эта статья Вам в помощь.

Существует несколько способов, с помощью которых можно обновить хосты:

1. vSphere Host Update Utility;
2. Утилита esxupdate;
3. vSphere CLI vihostupdate;
4. VMware Update Manager;

1. vSphere Host Update Utility

С помощью данной утилиты можно обновлять(патчить) только хосты с ESXi 4.

Тут все очень просто и легко. Данная утилита устанавливается при установке VMware vSphere  Client (во время установки клиента нужно выбрать соответствующую опцию). Запускаем утилиту, она предложит подключится к репозиторию патчев, соглашаемся.

Далее необходимо добавить хосты. Нажимаем Add Host и забиваем туда имя или IP хоста. При добавление утилита попросит ввести логин и пароль администратора.

Если хостов несколько проделываем туже процедуру для нового хоста.

Затем выбираем нужный хост и жмем Scan for Patches. После утилита просканирует хост на наличие тех или иных обновлений и выдаст результат.

Далее жмем Patch Host и идем наливать себе кофе/чай и ждать успешного завершения. В начале утилита автоматом закачает патчи из интернета, а потом начнет только устанавливать их. Так что в начальном этапе установки может показаться что процесс подвис. Тем кто сидит за проксей и нет NAT’а – решение траблы.

2. Утилита esxupdate

С помощью данной утилиты можно обновлять хосты только на ESX. Данная утилита входит в состав сервисной консоли. Перед тем как начать обновление, необходимо перевести хост в режим Maintenance Mode.

В начале необходимо скачать zip архив с обновлением с сайта VMware. Затем скопировать обновления на доступную для хоста Datastore.

Далее перейти в каталог куда было скопировано обновление и выполнить команду esxupdate –bundle=<имя_файла> update

Полный синтаксис утилиты esxupdate можно посмотреть в доке ESX 4 Patch Management Guide.

3. vSphere CLI – vihostupdate

Еще один способ обновления хостов на ESX 4 и ESXi4. На этот раз через скрипт vihostupdate.pl входящий в состав  vSphere CLI.

Чтобы обновить хост конкретным обновлением необходимо в начале скачать обновление из интернета, затем перевести хост в Maintenance Mode и выполнить команду vihostupdate.pl –server Имя_сервера_или_IP –username имя_пользователя –password Ваш_пароль –bundle путь_имя_файла_обновления –install

Более подробно о синтаксисе и опциях можно узнать в доке vSphere Command-Line Interface manual.

4. VMware Update Manager

Один из самых удобных и моих любимых способов обновления хостов с ESX и ESXi.

Описывать подробно не буду что да как, так как у VMware есть видео по работе с VUM.

В данном примере я буду использовать хост на ESX 4, два физических сетевых адаптера выделенных для работы под трафик iSCSI и СХД HP MSA 2324i с двумя контролерами (что то по серьезней пока нет под рукой для свободного разделывания), работающими в режиме Active-Active ULP.  Конфигурация из этого примера подойдет для настройки ESX/ESXi c другими типами СХД. Тут я затрону только настройку самого ESX, по умолчанию мы уже имеем несколько LUN на СХД(в моем примере 2 LUN).

Описывать настройку портов VMkernel, как и iSCSI инициатора в ESX/ESXi подробно не буду, а сразу перейду к настройки мультипатчинга и Round Robin.

Сама суть конфигурации для обеспечения multipathing в следующем. Каждый физический интерфейс отдаем только под использование 1-го порта VMkernel, в идеале вообще под монопольное использование. Т.е этот же интерфейс не должен быть задействован на другом порте VMkernel, который также будет использоваться для трафика iSCSI.

Есть два варианта конфигурации.

1. С одним vSwitch и несколькими портами VMkernel, а также несколькими привязанными физ. сетевыми к нему.

2. С несколькими vSwitch, в каждом из которых по 1-му порту VMkernel и к каждому привязана 1 физ. сетевая.

Оба варианта дают один и тот же результат. Я предпочитаю первый вариант, сделать отдельный vSwitch под нужды iSCSI трафика, он мне удобнее. Его я и опишу ниже.

Сама железная конфигурация выглядит так.

Далее конфигурируем хост для работы по iSCSI с мультипатчингом.

Создаем vSwitch с двумя портами VMkernel и привязываем к этому vSwitch 2-е физические сетевые карты.

Проделываем следующие: заходим в свойства порта VMkernel в моем примере iSCSI1 (Идем у нужного нам vSwitch в Properties -> выбираем нужный порт -> Edit) и переходим на вкладку NIC Teaming.

Включаем Failover Order, затем выбираем одну из сетевых карт которая будет не использована в данном подключение и перетаскиваем ее с помощью кнопки Move Down в секцию Unused Adapters. Этим действием мы оставили в использование под VMkernel порт только одну сетевую карту.

Далее проделываем тоже самое только с другим портом VMkernel. Разница лишь в том что, другому порту оставляем активной уже другую сетевую карту.

Теперь из консоли нужно выполнить следующую команду esxcli swiscsi nic add -n <port_name> -d <vmhba>, где port_name имя порта VMkernel, а vmhba имя iSCSI адаптера. Этим действием мы привязываем порты VMkernel к iSCSI инициатору хоста.

В моем примере я последовательно добавляю каждый порт

esxcli swiscsi nic add -n vmk1 -d vmhba34

esxcli swiscsi nic add -n vmk2 -d vmhba34

Далее командой esxcli swiscsi nic list -d <vmhba> можно просмотреть привязанные порты VMkernel к iSCSI адаптеру.

Теперь осталось сделать Rescan. Идем Configuration – > Storage Adapters. В правом верхнем углу жмем Rescan. По завершению процедуры у нас появятся 4 пути, по 2 на каждый LUN.

На вкладке Paths это хорошо видно.

По умолчанию для данного типа хранилищ работающих в режиме Active/Active политика multipathing является Fixed.  О политиках multipathing можно прочесть в другой моей заметки.

Возвращаемся на вкладку Devices и щелкаем правой кнопкой мыши по первому LUN и выбираем Manage Paths.

Вот тут как раз и меняем политику multipathing с Fixed на Round Robin.

Затем тоже самое проделываем со следующим LUN.

В итоге у меня получилась вот такая картина.

Вот и все с настройкой.

Из скринов видно что с Round Robin одновременно активны сразу два контролера и оба контролера участвуют во операциях I/O, в отличие от политики Fixed где одновременно активны оба контролера, но в операциях I/O участвует только один контролер.

Для чего нужен multipathing? Основное назначение это поддержка связи между хостом и хранилищем данных по нескольким физическим путям для обеспечения отказоустойчивости, а также для распределения нагрузки. Пример есть внешнее хранилище iSCSI и к нему подключен хост. Если использовать одно физ. подключение (1 порт), то при падение свитча/порта и т.п. мы потеряем связь с хранилищем. Рассказывать не буду чем это может обернуться для среды и для админа. Если же используется для подключения несколько портов, то в случае падения одного из портов технология мультипатчинга найдет другой доступный путь к хранилищу.

В ESX/ESXi 4 существует 3 политики мультипатчинга

• Fixed
• Most Recently Used
• Round Robin

Fixed – это политику рекомендуется использовать для тех хранилищ которые работают в режиме Active/Active. Суть ее в том, что доступ осуществляется по одному фиксированному пути (заранее определенному или выборному автоматически), если он становиться не доступным, то ищется альтернативный маршрут, как только становиться доступным первоначальный путь, хост переходит обратно на работу с ним.

Most Recently Used – данная политика используется с хранилищами, которые работают в режиме Active/Passive. Принцип работы данной политики: при работе с хранилищами используется последний работающий путь, если теряется связь по этому пути, то хост ищет альтернативный путь до хранилища и продолжает работать уже на новом. Если же восстанавливается работа предыдущего пути, хост не переходит на старый, а продолжает работать на том же.

Round Robin – данная политика работает по принципу автоматического выбора из имеющихся уже путей и распределению нагрузки между ними т.е она служит как и для отказоустойчивой работы хоста с LUN’ми, так и для распределения нагузки.

Более подробнее в этом KB о Multipathing policies in ESX 4

Статья о том как настроить multipathing и Round Robin для iSCSI LUN в ESX/ESXi 4.

В этой статье собрал основные моменты и рецепты по конфигурированию VMotion и связанных с этим процессом побочных действий, а также некоторые рекомендации. В свое время, когда  я знакомился с живой миграцией, то столкнулся с некоторыми подводными камнями, пришлось читать много доков и информации.

Поехали!

Функционал VMotion доступен начиная с редакции  vSphere Advanced.

Для VMotion надо:

• vCenter;
• Кластер в vCenter (нужен для активации EVC, если EVC не используется, то можно и без кластера);
• Общее хранилище ВМ (iSCSI, NFS, FC), необходимо чтобы все хосты в кластере с VMotion имели доступ к хранилищу;
• Одинаковая конфигурация виртуальной сети на всех хостах в кластере с VMotion (название порт групп, VLAN ID и т.п.). Не обязательно идентичная должна быть конфигурация сетки. Главное чтобы совпадала конфигурация основных порт групп к которым привязаны мигрируемые ВМ. Ну и порт группы на хостах должны иметь одинаковый доступ к физической сети;
• Процессоры на хостах должны иметь одинаковый набор инструкций и быть близкими друг к другу по функциям и инструкциям. В идеале один тип CPU или же одно поколение и один и тот же набор инструкций (например, линейка Intel Xeon 54XX). Это главное и главный подводный камень. Частота и другие параметры CPU не важны. Также важна основная архитектура и производитель, например, совместить хосты с Intel и AMD CPU не получится;
• Интерфейс VMkernel с включенной опцией VMotion;

Теперь немного о CPU и совместимости.

О совместимости процессоров VMotion CPU Compatibility Requirements for Intel Processors и VMotion CPU Compatibility Requirements for AMD Processors.

Если у Вас одна линейка CPU с одинаковыми инструкциями на всех хостах, то проблем нет. А вот если разные, то тут будут проблемы. При миграции ВМ мастер сразу выдаст предупреждение на несовпадение масок CPU.  Это можно обойти при условии, что CPU находятся близко друг к другу по функциям и инструкциям.

Способ первый.

Официально поддерживаемый VMware – EVC (Enhanced VMotion Compatibility). Суть технологии в том, что EVC автоматически настраивает кластер для совместимости процессоров разных поколений. В разрезе совместимость достигается тем, что на хостах где CPU более новые с новыми инструкциями, отключаются (если быть точным и более правильно, то просто не используются) данные инструкции. Скажем, если есть два хоста с CPU Intel Xeon 54XX и Intel Xeon 55XX, при выборе правильного режима EVC, на хосте с CPU Intel Xeon 55XX не используются инструкции, которых нет в Intel Xeon 54XX. В данном примере просто в кластере ВМ не будут использовать инструкции SSE 4.2.

Основной плюсы EVC то что применяется сразу ко всему кластеру, т.е на все хосты при активации. Недостаток в том, что EVC должны поддерживать сами CPU. Если CPU не поддерживает EVC, тогда смотрим чуть ниже. Плюс ко всему если у вас в кластере были хосты с ВМ в которых идут операции с поддержкой неиспользуемых функций CPU, то их придется переносить в другой кластер.

O поддержке процессоров EVC и режимах прочитать можно тут.

EVC включить очень просто.

Идем в свойства кластера.

Далее в раздел VMware EVC. По умолчанию EVC выключена.

Жмем Change и выбираем нужный режим. Если брать предыдущий пример, то для него нужный нам режим Intel Xeon 45nm Core 2.

При выборе правильного режима и соблюдение всех условий появится подобная картинка

Кстати забыл написать. Главное перед включением EVC необходимо выключить ВМ, на том хосте, который по функциям будет выравниваться. Обычно хост с более новыми CPU выравнивается под более старые CPU другого хоста. Запутано,  возможно, простота в том, что мастер сам вам подскажет на каком хосте нужно вырубить ВМ.

После применения EVC можно спокойно мигрировать машины между хостами в кластере.

Способ второй.

Править вручную маску CPU и ВМ. Основным плюсом можно назвать, что конфигурировать можно более гибко. Например в кластере с разношерстными хостами по CPU и ВМ по функциям. Но и главный недостаток в том, что конфигурировать придется каждую ВМ по отдельности. Плюс ко всему данный способ официально не поддерживается VMware, так что скажем buy сапорту VMware.

И так как править маски CPU у ВМ.

Первое что нужно сделать это прочитать вот этот KB от VMware и еще на английском вот это.

Если с английским плохо, читаем дальше. Опишу, как изменить маску по примеру приведенному выше для CPU x5400 и x5500.

Из KB для Intel CPU дана вот такая таблица.

Отличие инструкций между семействами CPU x5400 и x5500 только в поддержки SSE 4.2 у последнего. Поэтому в маске нужно указать, чтобы не использовались данные инструкции. Все очень просто.

Выключаем нужную ВМ. Идем в ее свойства. Вкладка Options -> CPUID Mask.

Жмем Advanced. Далее исходя из таблички выше нам нужно подправить маску в уровнях 1, строку ecx  и 800000001, строку edx.

Кликаем на нужную строчку, в нашем случае edx строка  и пишем туда следующее —- 0— —- —- —- —- —- —-

Далее находим следующую строчку, и пишем как указано в таблице из KB —- —- 0–0 —- —- —- —- —-

Все применяем нужные изменения. Ждем когда закончится реконфигурация ВМ и запускаем ее. Все теперь данную ВМ можно спокойно мигрировать. Мастер VMotion не должен выдавать предупреждений по поводу несовпадения масок.

Теперь о самой настройки VMotion.

Тут все просто. Выше я уже приводил что необходимо для работы VMotion.

И так у нас есть общий LUN с ВМ, кластере в vCenter. Также настройки сетевой конфигурации идентичны на всех хостах. На всех хостах идентичные CPU по инструкциям или же включено EVC/подправлены маски. Осталось малое, сконфигурировать VMotion для работы.

Первое что нужно сделать это добавить порт VMkernel и при конфигурирование поставить галочку VMotion на всех хостах. Подробно описывать сей процесс не буду, так как уже делал заметку о VMkernel ранее.

В принципе на этом и все с конфигурацией. Далее еще проще. Выбираем нужную ВМ в клиенте vSphere, клик правой кнопкой мыши – >Migrate.

Открывается мастер. Выбираем Change host.

Далее выбираем нужный хост, на который будет переезжать ВМ. При правильной конфигурации, мастер скажет, что валидация успешна.

Далее будут еще две странички мастера. Страничка приоритета VMotion, тут можно оставить то что предлагает мастер, и последняя страница со сводной инфой. Все жмем Finish и ждем когда ВМ мигрируется на новый хост.

Вот и все.

Ах да еще напишу основные рекомендации относительно VMotion.

• Гигабитная сеть, как минимум;
• Хороший коммутатор (физический ) с поддержкой VLAN и хорошей пропускной способностью;
• В идеале выделенный, как минимум один физический сетевой адаптер под нужды VMotion, а лучше два;
• Отдельная сеть со своим VLAN для VMotion;
• Отдельный vSwitch и отдельный порт VMkernel с VMotion. Но это не обязательно, просто я так обычно стараюсь конфигурировать;

Если еще что то вспомню, то обязательно напишу здесь.