Опыт RDS2216

Mon, 28 Apr 2025 17:33:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
Что плохого в тестировании на NFS, по крайней мере до тех пор, пока ROSE нормально не экспортирует iSCSI IQN? Можно же поднять один-два хоста Promox для теста (как я и делаю). (Если не хочешь, я возьму.)
28.04.2025 17:33:00, sirbryan.

Опыт RDS2216

Fri, 25 Apr 2025 16:51:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
Конечно, это то, что Mikrotik мог бы очень легко исправить. (Разрешение этих символов в правилах именования, вероятно, помогло бы). Моя единственная альтернатива — мигрировать 6 ESX-хостов и 40 виртуальных машин на Proxmox, но сейчас у меня нет на это времени. Так что эта зелёная штука, скорее всего, окажется на Ebay. Жаль, что об этом не сказали в блестящих видео.
25.04.2025 16:51:00, ISPIE001.

Опыт RDS2216

Fri, 25 Apr 2025 12:39:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
Мы говорим про iSCSI, а не про NVMe. Но если бы оба варианта работали с VMware — это был бы огромный плюс.
25.04.2025 12:39:00, sirbryan.

Опыт RDS2216

Fri, 25 Apr 2025 07:32:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
Эта проблема, скорее всего, не связана с соглашением об именах IQN. По моим онлайн-исследованиям, ESXi NVMe over TCP требует, чтобы таргет поддерживал NVMe fused command. Возможно, модуль RouterOS TCP NVMe Target (nvmet-tcp) не поддерживает NVMe fused command? В следующей статье упоминается похожая проблема: https://koutoupis.com/2022/04/22/vmware-lightbits-labs-and-nvme-over-tcp/
25.04.2025 07:32:00, CallPut.

Опыт RDS2216

Fri, 25 Apr 2025 04:48:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
MikroTik не использует правильный формат имен IQN (iqn.date.domain:target), который ожидает VMware. Он просто экспортирует имя слота (nvme1), вместо чего-то вроде iqn.1996-06.com.mikrotik:nvme1. Обнаружение через VMware не работает, зато через iscsiadm в Linux (ip.add.ress:3260,1) всё нормально — видны простые имена целей. К сожалению, двоеточия нельзя использовать в именах слотов, чтобы «подделать» формат IQN и заставить VMware принять имена целей. (Проверено на ESXi 6.7.)
25.04.2025 04:48:00, sirbryan.

Опыт RDS2216

Thu, 10 Apr 2025 23:19:00 -0400

Опыт RDS2216 Аппаратное обеспечение в форуме Аппаратное обеспечение.
В последнее время не видел много информации по недавно выпущенной платформе RDS, решил поделиться основными впечатлениями от своего опыта. Извиняюсь за большой объём текста, но, надеюсь, кому-то здесь пригодится моя информация.

В итоге я использовал адаптер m.2 на u.2: https://www.startech.com/en-us/hdd/u2m2e125 — именно по высоте он идеально подходит для установки 20 дисков в RDS2216. Качество сборки в целом хорошее, типичное для Mikrotik, за исключением одного момента. Пластиковые корзины с пластиковыми направляющими показали некоторые проблемы с сборкой. Из двух полученных мной устройств оба требовали доработок. В первом было невозможно использовать нижние два отсека из центральных четырёх, во втором я не мог наладить нормальный контакт с диском, пока не сделал похожие корректировки. Сначала я думал, что порты нерабочие, пока не проверил диск без корзины.

На первом устройстве мне пришлось ослабить 4 винта сверху и снизу корпуса, которые держат четыре центральных отсека, затем вставить корзину с дисками и снова затянуть винты. На втором устройстве проблема была с вторыми справа четырьмя отсеками. После небольшой доработки всё заработало, и по 20 дисков в каждое устройство установились без проблем. Больше никаких проблем с установкой не заметил — так что если у вас возникают сложности с посадкой корзины при установленном диске, возможно, причина в этом.

После включения я заметил пару вещей. Первое — эти устройства довольно шумные. Я заказал вентиляторы Noctua, чтобы проверить, получится ли сохранить аналогичный поток воздуха, но при этом сделать систему тише. В стандартном виде запускать такое дома — сомнительная идея, разве что в хорошо звукоизолированной комнате или шкафу.

Редактирование: Получил вентиляторы Noctua NF-A4x20. Их нужно чуть подправить, чтобы закрепить и предотвратить люфт, так как они тоньше стандартных. Меня беспокоило, что по производительности воздуха они чуть уступают стоковым, но после установки температура корпуса в комнате с 26 °C держится в норме.

Редактирование 2: См. ниже, настройка вентилятора на 15-20% существенно снижает шум — переходить на Noctua на самом деле не обязательно.

При открытии Winbox пришлось возвращаться к блок-схеме, чтобы убедиться, что я не ошибаюсь, но я думал, что здесь стоит чип коммутатора с поддержкой оффлоада. Однако в WebFig и Winbox меню коммутатора нет. В CLI есть /interface/ethernet/switch, и при проверке конфигурации l3hw отображено, что включено, но монитор l3hw показывает, что он не запущен. Полагаю, это будет добавлено позже.

На версии 7.18.2 пока невозможно настроить btrfs через Winbox или WebFig — попытка приведёт к падению программы, как старой, так и новой. Скажу честно, мне нравится, как Mikrotik реализовал логику дисков: возможность разместить образ файла на подготовленном диске, настроить RAID и так далее — всё работает удобно.

Документация https://help.mikrotik.com/docs/spaces/ROS/pages/295239711/Btrfs оказалась нерабочей для работы с более чем двумя дисками. Команды типа

/disk/btrfs/filesystem/add-device [find where present-devs=] device=
/disk/btrfs/filesystem/add-device [find where present-devs=] device=
/disk/btrfs/filesystem/add-device [find where present-devs=] device=

работают только первая, остальные игнорируются. Вместо этого я получил ID для записи с двумя первыми дисками через /disk/btrfs/filesystem/print, а потом добавлял устройства командой

/disk/btrfs/filesystem/add-device number= device= и т.д.

Что касается производительности дисков, я пока не делал масштабных тестов, но на 10Gbe с настроенным btrfs проблем с насыщением канала чтением и записью при больших копированиях по NFS и NVME поверх TCP (с файла на btrfs) не заметил. Правда, NFS заметно «тормозит» с задержками ввода-вывода после интенсивной случайной операции с диском, но спустя пару минут всё нормализуется. В планах — протестировать шаринг отдельных дисков через NVME over TCP на сервер, чтобы проверить, даст ли это прибавку по производительности при нескольких сессиях. Ещё планирую проверить RAID, чтобы понять, уйдут ли некоторые странности в поведении NFS/SMB.

Производительность SMB интересная: при копировании на RDS получается около 5-6 ГБ/с (большие файлы), а при копировании с RDS — всего около 30 МБ/с. В планах попробовать контейнер с Samba, чтобы проверить, изменится ли что-то. Редактирование: проблема оказалась связана с CCR2116 и l3hw — после перезапуска l3hw проблема ушла.

RDS стабильно держит 10Gbit передачи. В целом, мне очень нравятся эти устройства. Для своей цены никто больше не делает такой форм-фактор с такими возможностями — с нетерпением жду, что ещё привнесут в эту модель.
10.04.2025 23:19:00, aglabs.

Mikrotik.moscow [тема: Опыт RDS2216]

Опыт RDS2216

Опыт RDS2216

Опыт RDS2216

Опыт RDS2216

Опыт RDS2216

Опыт RDS2216