Mikrotik.moscow [тема: Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением]

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Tue, 18 Jul 2023 17:59:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Пока я убрал мост, так что интерфейс объединения используется напрямую (с VLAN-интерфейсами сверху). Это также отключило аппаратное ускорение. Поскольку офис сейчас закрыт, проверить, решена ли проблема, стало сложнее.
18.07.2023 17:59:00, pe1chl.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Tue, 18 Jul 2023 17:34:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
@pe1chl Наверное, когда это происходит и нагрузка достаточно велика, результатом становится потеря пакетов из-за переполнения буфера? Можешь попробовать то, что предложил @gavinj — hw=no?
18.07.2023 17:34:00, wiseroute.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Tue, 18 Jul 2023 16:39:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Похоже, что я тоже столкнулся с этой проблемой на интерфейсе bonding 802.3ad на роутере CCR2004-16G-2S+. Я бы не сказал, что потери пакетов «огромные», но потери, без сомнения, есть. Иногда наблюдаются задержки трафика порядка 500–700 мс, например, при пинге фиксированного адреса. Возможно, когда это происходит, и нагрузка высокая, возникает потеря пакетов из-за переполнения буфера? В течение рабочего дня, подключаясь по VNC к рабочему столу через роутер, заметил, что сессия иногда замирает на пару секунд, а потом продолжается. Также были жалобы на «сбои вызовов» у пользователей WiFi звонков (в помещении 4G покрытие слабое, поэтому телефоны используют именно WiFi). Создаётся впечатление, что трафик иногда на некоторое время «затаивается». Включал RSTP на мосту — эффекта нет. Но до этого статус 802.11ad уже показывал OK с обеих сторон (роутер и коммутатор Aruba). Есть ли какие-то успехи в решении этого вопроса, @EdPa?
18.07.2023 16:39:00, pe1chl.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 21 Jun 2023 12:07:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
@edpa, согласен. Лаборатория на виртуальной машине не отражает реальную производительность железа. Но если внимательно посмотреть на ошибки/потери tx-rx между мостовым bonded-интерфейсом и обычным bonded-интерфейсом, думаю, что ошибки и потери будут довольно значительными при высокой нагрузке трафика. Опять же, я просто использую balance-rr, про результаты других вариантов ничего не знаю.
21.06.2023 12:07:00, wiseroute.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 21 Jun 2023 11:50:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
@wiseroute спасибо, но, похоже, мы обсуждаем разные вещи. Изменение настройки «hw=yes/no» на CHR мостах ни на что не повлияет. Небольшие колебания в килобитах в секунду и появление сбоев в очереди передачи, скорее всего, связаны с достижением максимального лимита интерфейса в 1 Мбит/с.
21.06.2023 11:50:00, EdPa.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 21 Jun 2023 10:08:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
@edpa думаю, что эти авторы @unlikely и @iamgavinj, возможно, правы — добавление bond-интерфейса в мост вызывает потерю пакетов. Но, честно говоря, я не уверен насчёт их конфигурации и потерь в производительности, в то время как @ourplan — режим bond всё ещё под вопросом?

Вывод — balance-rr без моста, на v7.9:

[admin@sw2] > /tool/bandwidth-test 192.168.2.1 direction=both user=admin password=admin duration=5m

3-минутный тест no-bridge-bond1

[admin@sw1] > /interface/monitor-traffic bond1
имя: bond1
входящих пакетов в секунду: 83
входящих бит в секунду: 1005.2...
fp-входящих пакетов в секунду: 0
fp-входящих бит в секунду: 0bps
потеря входящих пакетов в секунду: 0
ошибок при приёме в секунду: 0
исходящих пакетов в секунду: 85
исходящих бит в секунду: 997.1kbps
fp-исходящих пакетов в секунду: 0
fp-исходящих бит в секунду: 0bps
потеря исходящих пакетов в секунду: 0
потеря очереди передачи в секунду: 0
ошибок при передаче в секунду: 0

С bond внутри моста:

[admin@sw1] > /interface/bonding/print detail
Флаги: X - отключён; R - запущен
0 R имя="bond1" mtu=1500 mac-адрес=50:00:00:01:00:00 arp=enabled arp-timeout=auto слейвы=ether1,ether2
режим=balance-rr primary=none мониторинг-ссылки=mii интервал-arp=100ms arp-ip-цели="" интервал-mii=5s
задержка-понижения=0ms задержка-повышения=0ms lacp-rate=30secs transmit-hash-policy=layer-2 min-links=0

[admin@sw1] > /interface/bridge/print detail
Флаги: X - отключён, R - запущен
0 R имя="bridge-bond1" mtu=auto actual-mtu=1500 l2mtu=1500 arp=enabled arp-timeout=auto mac-адрес=50:00:00:01:00:00
protocol-mode=rstp fast-forward=yes igmp-snooping=no auto-mac=yes ageing-time=5m priority=0x8000
max-message-age=20s forward-delay=15s transmit-hold-count=6 vlan-filtering=no dhcp-snooping=no

[admin@sw1] > /interface/bridge/port print
Столбцы: ИНТЕРФЕЙС, МОСТ, HW, PVID, ПРИОРИТЕТ, PATH-COST, ВНУТРЕННИЙ-PATH-COST, HORIZON
# ИНТЕРФЕЙС МОСТ HW PVID ПРИОРИТЕТ PATH-COST ВНУТРЕННИЙ-PATH-COST HORIZON
0 bond1 bridge-bond1 да 1 0x80 10 10 нет

[admin@sw1] > /interface/monitor-traffic bridge-bond1
имя: bridge-bond1
входящих пакетов в секунду: 83
входящих бит в секунду: 996.0kbps
fp-входящих пакетов в секунду: 0
fp-входящих бит в секунду: 0bps
потеря входящих пакетов в секунду: 0
ошибок при приёме в секунду: 0
исходящих пакетов в секунду: 73
исходящих бит в секунду: 884.1kbps
fp-исходящих пакетов в секунду: 0
fp-исходящих бит в секунду: 0bps
потеря исходящих пакетов в секунду: 0
потеря очереди передачи в секунду: 88596
ошибок при передаче в секунду: 0

-- [Q выход|D дамп|C-z пауза] rstp активирован. Это было на виртуалке, так что не отражает производительность железа.

— редактирование: да, @gavin был прав — отключение hw-offload вроде временно решило проблему с ошибками и потерями.

[admin@sw1] > /interface/bridge/port print detail
Флаги: X - отключён, I - неактивен; D - динамический; H - hw-offload
0 интерфейс=bond1 мост=bridge-bond1 приоритет=0x80 путь-стоимость=10 внутренняя-путь-стоимость=10 edge=auto
point-to-point=auto learn=auto horizon=none hw=no auto-isolate=no restricted-role=no restricted-tcn=no pvid=1
frame-types=admit-all ingress-filtering=yes unknown-unicast-flood=yes unknown-multicast-flood=yes
broadcast-flood=yes tag-stacking=no bpdu-guard=no trusted=no multicast-router=temporary-query fast-leave=no

[admin@sw1] > /interface/monitor-traffic bridge-bond1 duration=1m
имя: bridge-bond1
входящих пакетов в секунду: 80
входящих бит в секунду: 960.0kbps
fp-входящих пакетов в секунду: 0
fp-входящих бит в секунду: 0bps
потеря входящих пакетов в секунду: 0
ошибок при приёме в секунду: 0
исходящих пакетов в секунду: 82
исходящих бит в секунду: 993.1kbps
fp-исходящих пакетов в секунду: 0
fp-исходящих бит в секунку: 0bps
потеря исходящих пакетов в секунду: 0
потеря очереди передачи в секунду: 0
ошибок при передаче в секунду: 0
21.06.2023 10:08:00, wiseroute.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 21 Jun 2023 08:30:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Не видел твою конфигурацию, но у тебя отключен RSTP на мосту CCR2004-16G-2S+? Можешь проверить, исчезает ли потеря пакетов, когда RSTP включен?
Правка: LACPDUs используют MAC-адрес назначения 01:80:C2:00:00:02, который не пересылается мостами, совместимыми со STP. Мое предположение — что «protocol-mode=none» вместе с аппаратным ускорением на чипах коммутатора 88E6393X, 88E6191X, 88E6190 неправильно их обрабатывает, из-за чего сбоит согласование LACP. При стандартном «protocol-mode=rstp» такие непересылаемые пакеты всегда направляются на CPU.
21.06.2023 08:30:00, EdPa.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 19 Jul 2023 09:36:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Похоже, что проблема решилась после этого изменения. Я и собирался внести эту правку, так как EdPa раньше уже объяснял, что аппаратное ускорение для bonding-интерфейса вряд ли сильно поможет: Is 802.11ad bonding interface (by itself) hw offloaded? - #6 by EdPa. Тем не менее, это всё равно баг, который нужно исправить, потому что он приводит к потере времени на отладку. Если не работает — просто отключайте эту функцию (аппаратное ускорение).
19.07.2023 09:36:00, pe1chl.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 21 Jun 2023 01:17:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Интересно, сначала создал простой BOND с двумя ETH, с настройками по умолчанию (ARP включён), и всё работало нормально. Потерь пакетов не было. Потом создал BRIDGE, добавил в него BOND, перенёс IP-адрес с BOND на BRIDGE, и потери пакетов вернулись. Может проблема в работе STP на уровне моста? Ведь работа STP противоположна работе bond/lacp? Похоже, у меня та же проблема. После настройки bonding, когда я добавляю его в мост, приём (rx) в порядке, а передача (tx) вызывает проблемы. Трафик загружен полностью. Например: eth0 = 100 Мбит/с, eth1 = 30 Мбит/с. Хм... какой режим bonding ты использовал? CCR2004-16G-2S+ с одним мостом и двумя bond в качестве двух портов участников (sfp+1&2, eth1&2). Когда hw offload включён на bonding из eth1+eth2, замечаю значительные потери пакетов с обоих bond. У меня нет CCR. По техническим характеристикам — какой максимальный пропускной уровень? Может, процессор перегружается логикой bonding и количеством проходящего трафика? — Кстати, пробовал ли ты сделать 2 bond с одинаковой скоростью портов? Например, 2 по 2 порта по 100 Мбит/с или 1 с 4 портами по 100 Мбит/с?
21.06.2023 01:17:00, wiseroute.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Tue, 20 Jun 2023 21:23:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Думаю, у меня такая же проблема. CCR2004-16G-2S+ с одним мостом и двумя бондами в качестве двух портов (sfp+1&2, eth1&2). Когда включена аппаратная разгрузка для бонда, собранного из eth1+eth2, я замечаю сильную потерю пакетов в обоих бондах. Сегодня начал это замечать, хотя сознательно в конфигурации бондов, VLAN и прочего ничего не менял. Есть новости?
20.06.2023 21:23:00, unlikely.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 10 May 2023 17:27:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
До сих пор CCR2004-16G-2S+ — единственный продукт, использующий коммутирующий чип 88E6191X. Возможно, вы нашли баг.
10.05.2023 17:27:00, chechito.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Wed, 10 May 2023 16:51:00 -0400

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Похоже, у меня такая же проблема. После установления агрегации, когда я добавляю её в мост, приём работает нормально, а с передачей возникают проблемы — трафик забивается. Например: eth0 — 100 Мбит/с, eth1 — 30 Мбит/с. Поскольку eth0 работает на 100 Мбит/с на двух интерфейсах, это влияет на общий трафик, когда достигается максимальная пропускная способность.
10.05.2023 16:51:00, ourplan.

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

Tue, 31 Jan 2023 23:11:00 -0500

Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением RouterOS в форуме RouterOS.
Привет! Я относительно новичок в ROS и, похоже, у меня есть пробелы в понимании, поэтому буду очень благодарен, если кто-нибудь объяснит, где я ошибаюсь.

У меня есть CCR2004-16G-2S+. У меня настроен BRIDGE с BOND (802.3ad) в качестве порта-члена, который, в свою очередь, содержит два ETH-интерфейса в режиме slave, подключённых вверх по цепочке к Unifi USW-8. Все настройки в основном по умолчанию (включая ARP и HW Offload).

Когда LAG поднялся, я заметил сумасшедшее количество потерь пакетов. При мониторинге BOND я видел, как флаги © и (D) постоянно срабатывают и сбрасываются. Отключение одного из slave-ETH устранило потери пакетов.

BRIDGE <--> BOND <--> ETH01 <--> USW-8
<--> ETH02 <-->

Потом я нашёл эту статью [ https://help.mikrotik.com/docs/display/ROS/Layer2+misconfiguration#Layer2misconfiguration-LAGinterfacesandloadbalancing ], где говорится про ARP и HW Offload, и решил заново настроить конфигурацию на другой стороне моего устройства, которая была полностью пустой — то есть без конкурирующих конфигов, использующих коммутаторный чип или HW Offload.

Сначала я создал базовый BOND с двумя ETH, с настройками по умолчанию (ARP включён), и всё работало отлично — потерь пакетов не было. Потом создал BRIDGE и добавил туда BOND, перенёс IP-адрес с BOND на BRIDGE, и потери пакетов вернулись. Когда я отключил HW Offload для портов моста (BOND), всё снова стало нормально.

Может кто-нибудь объяснить, что происходит в коммутаторном чипе с моей конфигурацией и почему отключение HW Offload решает проблему? И есть ли способ правильно перенастроить стек, чтобы использовать HW Offload без проблем?

Большое спасибо!
31.01.2023 23:11:00, iamGavinJ.