+7 495 320-55-52
- Назад
- Телефоны
- +7 495 320-55-52
- Заказать звонок
info@mikrotik.moscow
г. Москва, ул. Бакунинская, 84
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Производительность Mikrotik v7 на x86 — выбор процессора x86

Производительность Mikrotik v7 на x86 — выбор процессора x86, Аппаратное обеспечение

lmatys

Guest

05.09.2023 15:56:00

Привет. У меня задача сосредоточиться на трафике и пропускной способности пакетов при работе Mikrotik V7, установленном напрямую на «голом» железе. Какой процессор x86 будет лучше для маршрутизатора с полной таблицей BGP: Intel Xeon 2690 V4 с 14 ядрами на 2,60 ГГц или Intel Xeon 2699 V4 с 22 ядрами, но на 2,20 ГГц? Время сходимости BGP важно, но не главное.

Я склоняюсь к мысли, что больше ядер смогут обрабатывать больше одновременных потоков трафика, но не уверен в архитектуре V7 и в том, как распределяется трафик между ядрами процессора. Возможно, более низкая тактовая частота ядра может привести к снижению пропускной способности одного потока? Но насколько это критично? Каким опытом вы можете поделиться?

Спасибо.

rpingar Guest	#2 0 15.02.2025 11:45:00 В моём устройстве можно отключить NUMA в настройках BIOS. При использовании MT невозможно проверить /proc/cpuinfo (physical id).

PortalNET

Guest

15.12.2023 14:03:00

Привет! Можешь, пожалуйста, поделиться RouterOS V7? CHR? Или BareMetal? Какие SFP+ NIC у тебя используются? У меня проблемы с старым R620 на процессорах E5-2697v2, 128 ГБ ОЗУ и Intel X520. Начинаю получать RX-ошибки при низком трафике, в среднем 130 Мбит/с. Раньше я запускал тест пропускной способности с двух ccrs1036 через коммутатор crs317 в режиме switchOS — передавал более 8 Гбит/с TCP трафика на WAN-порт сервера, и за 30 минут подряд ни одной RX-ошибки не было. Но как только я запустил pppoe-server и подключил клиентские устройства, то при 130 Мбит/с на WAN-порту сразу начали появляться RX-ошибки.

Я уже обновил прошивку Intel NIC с сайта Dell до последней версии на апрель 2023. Идей уже не осталось. Использую bare metal v7.12.1. Кстати, проблема не в процессоре, потому что этот же сервер с Mellanox MCX455 100G картой в режиме Ethernet и R420 с Mellanox картой на другой стороне показали в бенчмарке суммарный трафик 64 Гбит/с — это максимум для PCIe 3.0 8x. При этом шло более 3 миллионов пакетов в секунду, загрузка CPU была около 30%, и ни одной RX-ошибки.

Как только ставим Intel карты, сразу начинаются проблемы на WAN стороне. Проверяли обе карты на Dell сервере. По поводу узких мест в серверах Mikrotik — я пришёл к выводу, что для полноценной работы PCIe слотов и их непосредственного общения с CPU нужна достаточно большая оперативная память. Начинал с 16 ГБ на сервере, и с 100G картами не мог пропускать больше 15 Гбит/с в тестах пропускной способности. После апгрейда до 128 ГБ, установленных в правильные слоты, на обоих серверах снова запустили тест — получили полные 64 Гбит/с через PCIe 100G в режиме Ethernet.

Слышал, что PCIe 3.0 x16 слот может достигать 128 Гбит/с полной пропускной способности, но у меня одна 100G карта в x16, а на другой стороне стоит Mellanox 40 Гбит/с карта в PCIe 3.0 8x слоте. В итоге обе машины связаны каналом 40 Гбит/с.

Larsa

Guest

15.12.2023 14:28:00

Предлагаю начать с концентрации внимания на сетевом интерфейсе, который обычно является самым важным компонентом — будь то «голое железо» или виртуальная сетевая карта (vNIC) в CHR. Хорошо проработанный драйвер — это тоже обязательное условие, и именно он может стать главным препятствием, определяющим, можно ли использовать сетевую карту (NIC) с IO-SRV и так далее. Всё остальное — это просто сырая вычислительная мощность CPU, которой обычно хватает независимо от модели, ведь обычно внутри пропускная способность значительно выше, чем у самих сетевых карт. Думаю, лишним будет говорить, что тестирование в условиях продакшена — это, конечно, необходимость.

jspool

Guest

15.12.2023 17:45:00

Я использую baremetal с сетевыми картами Mellanox ConnectX-5. Сначала пробовал новые карты Intel, но появились странные проблемы. Поддержка сказала, что с драйвером Intel есть проблемы, поэтому я перешёл на Mellanox и с тех пор никаких проблем не было. Ещё важно учитывать NUMA. Я заменил свои два процессора на более мощный один и переставил сетевые карты в соответствующие слоты, которые подключены к установленному процессору. С тех пор всё работает стабильно. С двумя процессорами я так и не смог добиться нормальной производительности, потому что система постоянно использовала шину QPI, что сильно ухудшало скорость.

PortalNET

Guest

16.12.2023 03:41:00

Привет. IO-SRV отключен, потому что мы решили работать на "голом" железе на HDD, без VMware и CHR. У меня есть пара карточек Broadcom BCM57xxx с двумя SFP+, завтра попробую — сниму мезанин-карту i350 Dell с двумя SFP+ Intel и уберу x520da2. Поставлю две Broadcom dual SFP+ просто для теста.

PortalNET

Guest

16.12.2023 03:43:00

Интересно, я тоже попробую dual SFP+ карту Mellanox. Думаю, у меня одна есть на складе на всякий случай. Нужно разобраться с этой странной проблемой и почему она просто так выдает rx-errors. А после 200 тысяч ошибок карты просто падают.

PortalNET

Guest

01.01.2024 19:19:00

Привет! Во‑первых, с новым годом! Только сейчас удалось зайти и посмотреть сообщения. Ты упомянул NUMA в начале — ты имел в виду NVIDIA NUMA GPU? Если не сложно, скажи, какой у тебя однопроцессорный CPU? У меня есть пара E5-2699V4, лежат без дела, сейчас ищу хороший и недорогой сервер R630 или R730 на eBay, чтобы их поставить и протестировать. Это будет плохая идея — использовать две E5-2699V4 вместе? Есть ли процессоры с большим количеством ядер и более высокой частотой, чем E5-2699V4, которые стоит попробовать? Я видел AMD EPYC с 64 ядрами и 128 потоками, но не уверен, поддерживает ли их Mikrotik.

rpingar

Guest

15.02.2025 08:24:00

Привет, Jspool! В версии 7.18beta5 MT исправили проблему с GREv1 в ICE драйвере. Можешь рассказать подробнее про NUMA? У меня есть несколько серверов с двумя процессорами x86, и у них возникают проблемы, когда нагрузка превышает 5Mpps. Спасибо!

mkx

Guest

#10

15.02.2025 10:49:00

Современные процессоры имеют встроенный контроллер памяти, поэтому банки памяти подключены напрямую к CPU. В мультипроцессорной системе банки памяти равномерно распределены между всеми процессорами, так что каждый CPU управляет своей частью памяти. Когда процесс, выполняющийся на одном CPU, обращается к памяти, контролируемой этим же CPU, он делает это напрямую. Если же обращение идет к памяти, контролируемой другим CPU, то доступ проходит через межпроцессорную шину (QPI) и контроллер памяти другого CPU. Такой доступ увеличивает задержки и может снижать пропускную способность памяти (зависит от скорости QPI и от того, насколько сильно не совпадают память и выполнение процессов). Современные ядра (включая Linux) пытаются свести к минимуму это несоответствие, стараясь запускать процессы ближе к той памяти, с которой они работают, но это не всегда возможно или сталкивается с ограничениями по производительности CPU (например, когда множество процессов имеют память, контролируемую одним и тем же CPU, и конкурируют за время его работы). Та же логика относится к DMA и IRQ: оборудование (например, сетевые интерфейсы) отображается в адресное пространство памяти и IRQ-линии конкретного CPU, и если процесс, работающий с этим оборудованием, запущен на другом CPU, взаимодействие опять выходит на QPI и контроллеры другого CPU. Поэтому, если нет острой необходимости в большом числе ядер, часто лучше выбрать один процессорный пакет. И я говорю именно о процессорном пакете — он может содержать много ядер, что нормально. Для таких задач, как у нас (маршрутизация, файрвол), обычно эффективнее использовать меньшее количество более быстрых ядер.

rpingar

Guest

#11

15.02.2025 10:56:00

Так Numa должен быть отключён или включён — не понимаю. А если у меня 2 сокета, как мне отделить, какой процессор относится к socket1, а какой к socket2? Я вижу список из 72 ядер, где у меня 2 сокета по 36 ядер каждый. Как назначить нужные irq/очереди, чтобы избежать QPI?

ConradPino

Guest

#12

15.02.2025 11:04:00

Википедия говорит, что неравномерный доступ к памяти (NUMA) — это архитектура памяти для многопроцессорных систем, где время доступа к памяти зависит от её расположения относительно процессора. При NUMA процессор может обращаться к своей локальной памяти быстрее, чем к нелокальной (памяти, принадлежащей другому процессору или разделяемой между процессорами). NUMA полезна для задач с высокой локальностью памяти и низкой конкуренцией за блокировки, потому что процессор может работать с частью памяти, которая в основном или полностью находится в его собственном кэше, что снижает нагрузку на шину памяти.

mkx

Guest

#13

15.02.2025 11:07:00

Если в системе установлены 2 процессорных блока, включается режим NUMA. При установке одного процессорного блока (даже если материнская плата поддерживает два или больше) NUMA отключена. И нельзя включить или отключить её по своему желанию. Единственное, что можно выбрать — это количество установленных процессорных блоков. В зависимости от ОС/ядра... в Linux информация о расположении ядер CPU отображается в /proc/cpuinfo (physical id). После этого выбор того, как сопоставить аппаратные ресурсы (DMA, IRQ) с конкретными ядрами CPU (а значит и с процессорными блоками), очень ограничен. Точно так же выбор закрепления конкретных процессов за определёнными ядрами CPU тоже ограниченный.

mkx

Guest

#14

15.02.2025 12:25:00

Так что, возможно, стоит отключить эту функцию и посмотреть, как всё будет работать потом. Также советую посмотреть документацию к вашему устройству, чтобы понять, на что именно влияет эта настройка. К сожалению, это действительно так. Вы запускаете ROS напрямую на «железе» устройства или как CHR через виртуализацию? Если второй вариант, то платформа виртуализации сама будет влиять на NUMA, и с этим мало что CHR сможет сделать.

rpingar Guest	#15 0 15.02.2025 13:18:00 bare metal

mkx Guest	#16 0 15.02.2025 15:50:00 Мне было бы интересно узнать о вашем опыте работы ROS на вашем устройстве с отключённым NUMA.

rpingar Guest	#17 0 15.02.2025 19:27:00 Почти то же самое, никаких заметных различий. С уважением.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры