[Запрос функции] Поддержка Data Center Bridge

То же самое ^^ «Я согласен с этим запросом, это то, к чему Mikrotik нужно отнестись серьезно. RoCE становится доминирующим в дата-центрах и корпоративных сетях и требует наличия запрашиваемых функций.» Я собираюсь продать свой CRS504-4XQ-IN, как только появится возможность перейти на нормальный коммутатор.

@larsa Я думаю, ты зря тратишь время. Очевидно, что он даже не заинтересован в базовой переработке сети с VXLAN/EVPN (ведь мы говорим про дата-центровые сети). Почему ты думаешь, что он вообще рассмотрит 9k MTU с SMB-Direct?

Я думаю, что в RouterOS 7.15rc добавили аппаратное QoS, смотри https://help.mikrotik.com/docs/pages/viewpage.action?pageId=189497483

Маркетинговые термины обычно вводят клиентов в заблуждение. Всем в индустрии хорошо известно, что DCB означает «Enterprise/Datacenter Gear». Хотя правда, что RoCE v2 можно использовать через обычные коммутаторы/маршрутизаторы на стандартном оборудовании, это вовсе не означает, что оно будет работать. Любое приложение или ОС, проверяющие поддержку RDMA, смотрят на наличие очень конкретных функций и стандартов с обеих сторон, чтобы включить эту возможность. Примером являются Windows Server Storage Spaces Direct, VMWare vSAN, Open-Source Ceph и т.д. Это неполный список сервисов и ОС, которые не активируют RDMA, если эти требования не подтверждены полным тестированием оборудования. Если хоть одна проверка не проходит, они просто не включат RDMA.

Я уже пробовал с коммутаторами Mikrotik и двумя машинами с сетевыми картами Mellanox с поддержкой RDMA. Ни Windows Server, ни VMWare ESXI не включили RDMA при подключении через Mikrotik. Если же переключиться на Dell PowerON и включить/настроить RDMA на портах, обе ОС сразу распознают поддержку. Это не что-то масштабное. Любой современный файловый сервис с SMB на Windows Server может иметь включенное RDMA.

Кроме того, SoC в устройствах Mikrotik — это процессор. То, что они называют «Switch Chip» в блок-схемах, на самом деле ASIC, и по данным производителя чипа, он поддерживает RDMA. На самом деле — нет. RDMA — это не просто способ сэкономить на повторной передаче пакетов. RDMA открывает целый спектр возможностей, например удалённый прямой доступ к GPU. И это преимущество скорее для конечных устройств, а не для посреднических, вроде коммутаторов или маршрутизаторов. RDMA снимает всю сетевую нагрузку с CPU, переводя её на сетевую карту, что даёт огромный прирост производительности и экономию затрат. Приложение может напрямую выделять буферы в памяти сетевой карты, обходя ядро и всю стэковую нагрузку на процессор — это даёт порядок величины лучших результатов, так как устраняются проблемы с планировкой ввода-вывода из-за загрузки CPU.

Это не правда (видимо, относится к IB). Крупные облачные провайдеры, такие как AWS и Azure, сильно инвестировали в RDMA с RoCE благодаря этим преимуществам. В Azure, например, есть исследования, показывающие, что более 80% их сетевого трафика приходится на RDMA с RoCE, что для них означает более 60% экономии CPU-ресурсов и энергии на соответствующих нагрузках. Сомневаюсь, что в течение следующего десятилетия что-то это заменит.

Кроме того, ситуация с CXL сейчас — полный хаос, ни один крупный производитель NIC не хочет поддерживать этот стандарт. Поддержка в основных ОС практически отсутствует. Не стоит на это особенно рассчитывать.

Если есть надежные источники — поделитесь, я мог бы поверить, но... Broadcom? Шутки в сторону. В любом случае, с точки зрения железа у Mikrotik есть всё, чтобы это реализовать. С точки зрения рынка — у них есть целая новая индустрия от малого до среднего бизнеса, который мог бы использовать преимущества RDMA и экономию, но зачастую вынужден работать без коммутаторов (что в целом плохо) или покупать дорогие коммутаторы типа Dell Power, которые иногда стоят дороже их собственных систем хранения или вычислений. Из-за этого либо переходят на беспереключательную схему (опять же плохо), либо отказываются от RDMA и недополучают выгоду.

Это не нишевая или «массовая» дата-фича, как вы сказали. Это просто очень оптимизированный способ организации сети, который подходит для клиентов любого размера, особенно потому, что не требует лицензий и патентных отчислений.

Спасибо за ответ, @DarkNate. Дело в том, что мы не можем все вручную настраивать и менять такие вещи, как Windows Server или ESXI. Они поддерживают RDMA, так как это широко используемый стандарт, и на него опираются приложения. Также учтите, что хотя функция называется «Datacenter Bridge», это вовсе не означает, что она подходит только для крупных сценариев. Как я уже говорил, малый и средний бизнес может (и хочет) использовать её из-за экономии и относительно недорогих инвестиций в сетевые карты. Единственное дорогое сейчас — это проклятый коммутатор, поэтому я считаю, что коммутаторы Mikrotik были бы отличным решением в таких случаях, ведь они относительно недорогие по сравнению с Dell, Cisco и другими крупными брендами. Но, повторюсь, дело не только в «сетях» как таковых. Я понимаю, что VXLAN был бы классным решением с точки зрения сети и инфраструктуры. Но преимущества RDMA выходят далеко за эти рамки. Приложения получают выгоду от поддержки RDMA в сетевых картах, как я уже говорил. И да, в итоге это UDP без повторной передачи, где ожидается отсутствие потерь.

О, конечно, я знаю про альтернативы. Я просто хочу сказать, что существуют широко используемые операционные системы, которые его используют и требуют. Польза от этих специальных сетевых карт выходит далеко за рамки только сетевых функций, как я уже говорил. При их использовании есть (большие) преимущества для процессора. Всё, что я хочу сказать — мы не сможем изменить это в ближайшее десятилетие, потому что эти ОС не откажутся от этого, а даже если и откажутся, они всё равно потеряют главный плюс (по крайней мере для меня) — экономию процессорных ресурсов и энергии.

@galvesribeiro RoCE работает с любыми обычными коммутаторами и роутерами. Однако, как я уже говорил, эффективность по задержкам, управлению потоками и буферизации будет, конечно, зависеть от конкретной среды. RoCE просто передаёт обычные Ethernet-кадры на другую сетевую карту по L2/L3. Драйвер устройства принимающей сетевой карты должен поддерживать RDMA и, вероятно, использовать аппаратную реализацию для оптимальной производительности. SMB-Direct не зависит от протоколов и не требует RoCE. Remote DMA (RDMA) — это общий принцип, который расширяет DMA через межсоединение. Его можно реализовать разными технологиями на уровнях L1/L2/L3, такими как IB, OP, CXL, RoCE, iWARP, SMB-Direct и так далее. Консорциум InfiniBand, Gen-Z, OpenCAPI и многие другие объединились, чтобы создать единый стандарт ультрабыстрых межсоединений под названием CXL. На рынке уже есть высокопроизводительные продукты на базе CXL. Хотя RoCE/IB скорее всего будут использовать ещё какое-то время ради сохранения инвестиций клиентов, в долгосрочной перспективе им, вероятно, на смену придёт CXL. Не могли бы вы уточнить, о каком именно SoC (чипе коммутатора) идёт речь, который якобы поддерживает «RDMA»? Mikrotik может реализовывать механизмы управления потоками и перегрузками (PFC, ECN, ETS, DCTCP и др.) для RoCE лишь в случае, если SoC поддерживает эти функции, а производитель предоставляет соответствующие драйверы.

Я явно «оскорбляю» сам стандарт «Data Centre Bridge» (который даже не человек), а не ТЕБЯ как личность, но ты, похоже, слишком зациклен на себе и решил, что это про тебя. Удачи с сетями второго уровня и отказом внедрять нормальную сетевую архитектуру, просто потому что ты не хочешь иметь собственных сетевых инженеров или MSP, управляющего сетью «уровня дата-центра».