Mikrotik.moscow [тема: CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]]

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Wed, 29 Mar 2023 08:02:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Всем привет! Я правильно понял, что в RouterOS v6 эта проблема (низкая скорость между VLAN) так и не была исправлена, и мне нужно обновиться до RouterOS v7?
29.03.2023 08:02:00, thomsen.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Wed, 02 Feb 2022 13:44:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Проблема была исправлена в последней бета-версии v7.2rc3.
*) bridge — добавлена поддержка FastTrack для быстрого маршрутизирования между VLAN при включённом vlan-фильтровании;
После включения fast-path я могу достичь полной скорости передачи данных при меж-VLAN фильтровании. Маршрутизация тоже стала значительно быстрее…
Так что считаю эту проблему РЕШЁННОЙ.
Пользователям с меж-VLAN фильтрованием РЕКОМЕНДУЮ обновиться до беты.
Огромное спасибо команде Mikrotik и сообществу.
02.02.2022 13:44:00, ffries.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sun, 26 Dec 2021 14:57:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Общая проблема с использованием bonding на устройствах без коммутатора, поддерживающего bonding, в том, что добавляется ещё один уровень абстракции, который обрабатывается и так загруженным процессором… через который должны проходить все пакеты. Иногда использование bonding даже снижает производительность, и тогда единственное преимущество — избыточность соединения. При этом общая производительность маршрутизации большинства MT-устройств не впечатляет при тестировании одной высокой пропускной способности соединения. Особенно на устройствах с несколькими ядрами процессора (то есть на всех современных) настоятельно рекомендуется запускать несколько параллельных потоков тестирования (например, использовать «-P 8» при запуске iperf3 в режиме TCP). Так пакеты разных соединений будут обрабатываться разными ядрами процессора, и пропускная способность возрастёт. Кстати, в реальных условиях, когда роутер обслуживает многих клиентов, каждый из которых общается с множеством серверов, роутер обрабатывает гораздо большее количество одновременных TCP-соединений и фактически работает именно так, как в предложенном тесте (iperf3 с несколькими параллельными TCP-потоками).
26.12.2021 14:57:00, mkx.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sun, 26 Dec 2021 11:34:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Спасибо за разъяснение. Я настроил агрегированный канал на CCR2004, и теперь маршрутизация внутри VLAN стала еще хуже:

[ ID] Интервал Передано Скорость
[ 5] 0.00-3.78 сек 0.00 байт 0.00 бит/с отправитель
[ 5] 0.00-3.78 сек 516 Мбайт 1.15 Гбит/с получатель

1.15 Гбит/с на одном потоке и 2.5 на двух потоках между vlanA и vlanB. 1.15 Гбит/с звучит так, будто CCR2004 ограничен гигабитной маршрутизацией внутри VLAN. Очень странно. Жду поставки дополнительного оборудования, чтобы провести больше тестов.
26.12.2021 11:34:00, ffries.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sun, 26 Dec 2021 09:24:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
SFP обычно являются интерфейсами с полной дуплексной связью, что теоретически означает возможность передачи на полной скорости в обоих направлениях одновременно. Для маршрутизации между VLAN это значит, что можно одновременно принимать трафик со скоростью 10 Гбит/с из исходного VLAN и отдавать трафик со скоростью 10 Гбит/с в целевой VLAN. То, что вы пишете насчёт обратного трафика для TCP-потоков, правда: ACK-пакеты из VLAN назначения конкурируют с прямым трафиком из исходного VLAN по одному физическому каналу в одном и том же направлении, а задержка ACK-пакетов снижает общий сквозной throughput больше, чем того требует “сырая” пропускная способность для этих ACK. Этот эффект можно обойти, используя UDP для тестирования реальной скорости маршрутизации/связи, а применение (большого количества) параллельных TCP-потоков тоже помогает в некоторой степени. Что касается использования объединённых (bonding) интерфейсов: большинство стратегий передачи в bonding предполагает использование одного и того же физического интерфейса для всего трафика между двумя хостами. Теоретически может быть разный физический интерфейс для разных направлений и/или VLAN, но это вопрос удачи. Единственный способ разделить трафик двух VLAN — использовать два канала, настроенные по одному на VLAN. При росте количества VLAN такая стратегия становится неудобной. Значит, bonding — это оптимальный выбор, но он может не увеличить скорость (по крайней мере для некоторых соединений… даже с L3+L4 Tx hash параллельные соединения не всегда равномерно распределяются между всеми участниками bond). Однако, с определённой удачей использование агрегации каналов может позволить тестеру обнаружить узкие места на устройстве-партнёре.
26.12.2021 09:24:00, mkx.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sun, 26 Dec 2021 09:08:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Маршрутизация между VLAN — это всё равно маршрутизация, которая на подавляющем большинстве устройств (включая CCR2004 и пока что RB5009) задействует процессор. То, что большинство чипов коммутаторов делают отлично — это пересылка пакетов внутри VLAN (иначе говоря, коммутирование).
26.12.2021 09:08:00, mkx.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sat, 25 Dec 2021 23:36:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Судя по схеме, существует два полнодуплексных канала по 25 Гбит/с, соединяющих CPU с портовым расширителем. Если трафик проходит через CPU, максимальная теоретическая скорость маршрутизации между VLAN ограничена 25 Гбит/с. Это также говорит о том, что CCR2004 — не подходящее оборудование для управления межвлановой маршрутизацией, так как у него нет коммутаторного чипа. Маршрутизация между VLAN всегда должна выполняться на самом коммутаторе, а не на CCR2004. Исправьте меня, если я ошибаюсь.
25.12.2021 23:36:00, ffries.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sat, 25 Dec 2021 22:09:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
В моих тестах есть методологические проблемы: возможно, ограничение связано с моей сетевой картой (оптоволокно), которая показывает 6 Гбит/с в одной VLAN (то есть прямое соединение через коммутатор Mikrotik). Может, ограничение на стороне другого хоста, может, нужно увеличить MTU (джамбо-кадры), точно не знаю. Скоро получу новое 10-гигабитное устройство, тогда смогу провести дополнительные тесты на подходящем оборудовании.

Я подключаюсь к коммутатору, который связан с CCR2004 через один SFP+ 10 Гбит/с оптический модуль. Трафик должен идти на CCR2004 и обратно к другому хосту. То есть связь двунаправленная, и два потока не могут одновременно выдавать 10 Гбит/с, максимум — по 5 Гбит/с каждый. Конечно, волокон два, но при TCP всегда идут и входящий, и исходящий потоки одновременно. Поэтому для правильных тестов нужно либо напрямую подключаться к CCR2004, либо использовать бондинг минимум из двух каналов. DAC-кабель не подойдёт, потому что коммутатор слишком далеко от CCR2004.

Короче говоря: для тестирования маршрутизации между VLAN-ами каналы между CCR2004 и коммутатором должны быть связкой хотя бы из двух интерфейсов.

Я купил RB5009UG+S+IN именно чтобы сравнить скорость между VLAN-ами. Но RB5009UG+S+IN никогда не сможет дать скорость 10 Гбит/с между VLAN-ами, потому что у него только один SFP+ интерфейс. Поправьте меня, если я ошибаюсь.
25.12.2021 22:09:00, ffries.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Sat, 25 Dec 2021 19:21:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
У меня те же скорости. Конфигурация: CCR2004 в дата-центре, работает на версии 6.47.10 с 10Gbps интернетом на одном порту и VLAN-фильтрованным бриджем, который подключен к PTP-ссылке вниз к магазину — это радиоканал на 6Gbps с задержкой меньше 500 мкс. В магазине CCR2004 с версией 7.1.1, тоже с VLAN-фильтрованным бриджем. На сервере в дата-центре запущен Speedtest.net, а мой ноутбук в магазине с 10GbE адаптером. Тесты скорости между ноутбуком и сервером показывают максимум около 1.2Gbps, загрузка CPU — 70–80%. Встроенные тесты скорости между CCR2004 (по выделенному VLAN) дают максимум 6Gbps, как для TCP, так и UDP в одном направлении. CPU загружен на 80–90%. Счётчики Fasttrack вообще не растут, и меня это заставляет задуматься, сколько именно CPU уходит на меж-VLAN маршрутизацию на CCR2004. В обсуждении по серии CRS300 и аппаратному разгрузке упоминалось, что fasttrack между VLAN на VLAN-фильтрованных бриджах пока не работает в версии 7.x, но над этим работают. В то же время я бы ожидал, что в RouterOS 6 это должно работать. Один из комментаторов на Reddit заметил, что ROS 6 на CCR2004 запускается виртуализировано (или эмулируется, 32-битная ОС на 64-битной платформе), отсюда и плохая производительность железа.
25.12.2021 19:21:00, sirbryan.

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено]

Thu, 02 Dec 2021 16:56:00 +0300

CCR2004-1G-12S+2XS медленная маршрутизация между VLAN [Исправлено] RouterOS в форуме RouterOS.
Всем привет! Короче, у меня обычная связка: роутер CCR2004-1G-12S+2XS <=> коммутатор CRS312-4C+8XG-RM с VLAN <=> устройства с 10 Гбит (оптика или RJ-45). Тестировал через iPerf3, вот результаты для одного потока (один TCP-стрим):

VLAN A — интернет: 2 Гбит/с и больше (оптика ограничена до 2,5 Гбит/с). На 10G оптоволокне, думаю, будет ещё быстрее.
VLAN A — VLAN B: 1,2 Гбит/с
VLAN A — VLAN A: 6 Гбит/с
VLAN B — VLAN B: 6 Гбит/с

У меня около 25 правил с включённым fasttrack. Хочу использовать роутер CCR2004 для маршрутизации между VLAN, чтобы все правила были в одном месте и было безопаснее. Не понимаю, почему между VLAN скорость такая низкая. Это из-за того, что у CCR2004-1G-12S+2XS нет чипа коммутатора? Когда покупал CCR2004, смотрел блок-схему и видел 2x25Gbit full-duplex к CPU. Так что не ожидал, что меж VLAN будет всего 1 Гбит/с. Может, что-то не так?

С уважением, FFries
02.12.2021 16:56:00, ffries.