Braintrust, на этой неделе я обновил интернет от Frontier (США) до 2Гб/2Гб. Они немного перераздают, так что не редкость видеть скорости передачи в районе 2200MB/сек. Я использую MikroTik уже 20 лет, так что с новым роутером это обновление должно было пройти просто. Они выдают ONT с портом RJ45 на 10Гб.
Я добавил Mikrotik “r2” SFP+ to RJ45, который показывает температуру, предупреждения по линку и согласованную скорость, чтобы подключиться к ONT с роутера CCR2004-16S-2S+ по SFPPLUS2, и кабель Mikrotik S+DA0001 на SFPPLUS1 для подключения к ПК в тесте или к CRS328-4C-20S-4S+ CRS. Конфигурация заводская, после сброса (чтобы исключить влияние моего обычного конфига с кучей настроек). Без дополнительных правил фаервола, без очередей, «фабричная». Получаем DHCP от провайдера с sfpplus2, раздаём IP из сети 88.x на порт LAN sfpplus1. Fast track включён.
Оба порта работают на 10Гб с полным дуплексом (сверхскоростных проблем на интерфейсах, как обсуждают с 5009 и портом 2,5Гб, нет). Сделал тест скорости — полной скорости толком не получить. Примерно на 10% меньше, чем при прямом подключении ПК к ONT через RJ45 SFP и карту Mellanox Pro 3. Во время теста загрузка CPU по загрузке достигает около 13%, по отправке около 9%, при этом никаких скачков нагрузки нет, места в запасе достаточно.
Смотрю статистику интерфейса и думаю, знаю в чём проблема. В RX Stats RX Drop прыгает партиями по 500-1500 за раз, а целый тест Ookla выдаёт около 30 000 падений пакетов на интерфейвах в обе стороны. Пробовал настроить очередь, использовал cake и fc_codel в диапазоне 1500-1800MB/сек — чуть меньше максимальной скорости. В итоге скорость упала ещё на 20%, а падения замедлились, но не перестали — решение не сработало.
Включил Flow Control, падения сократились сильно — может 30 на тест, при этом вижу TX-паузы по интерфейсам. Но при этом скорость упала аж до 20% от того, что могу получить при прямом подключении к ONT. В форумах видал обсуждения CCR2004, где говорят, что размер буфера в очереди на железе маловат, и другие моменты, но ни одного реального решения.
Проблема возникает только при большой нагрузке. При скорости ниже 1Гб/сек падения практически нет, или очень мало. Тесты bufferbloat от Waveform прямо на ПК выдаёт оценку A, через роутер — B или C. Потеря 200Мб в скорости — не так много для домашней лаборатории, но из-за падений происходит потеря пакетов при загрузке.
Есть идеи или предложения? Могу предоставить больше информации? Надеялся, что CCR2004 уже достаточно отточен и стабилен. Настройки выкладывать не буду — это заводской сброс и стандартный конфиг.
Спасибо, Дэйв
Я добавил Mikrotik “r2” SFP+ to RJ45, который показывает температуру, предупреждения по линку и согласованную скорость, чтобы подключиться к ONT с роутера CCR2004-16S-2S+ по SFPPLUS2, и кабель Mikrotik S+DA0001 на SFPPLUS1 для подключения к ПК в тесте или к CRS328-4C-20S-4S+ CRS. Конфигурация заводская, после сброса (чтобы исключить влияние моего обычного конфига с кучей настроек). Без дополнительных правил фаервола, без очередей, «фабричная». Получаем DHCP от провайдера с sfpplus2, раздаём IP из сети 88.x на порт LAN sfpplus1. Fast track включён.
Оба порта работают на 10Гб с полным дуплексом (сверхскоростных проблем на интерфейсах, как обсуждают с 5009 и портом 2,5Гб, нет). Сделал тест скорости — полной скорости толком не получить. Примерно на 10% меньше, чем при прямом подключении ПК к ONT через RJ45 SFP и карту Mellanox Pro 3. Во время теста загрузка CPU по загрузке достигает около 13%, по отправке около 9%, при этом никаких скачков нагрузки нет, места в запасе достаточно.
Смотрю статистику интерфейса и думаю, знаю в чём проблема. В RX Stats RX Drop прыгает партиями по 500-1500 за раз, а целый тест Ookla выдаёт около 30 000 падений пакетов на интерфейвах в обе стороны. Пробовал настроить очередь, использовал cake и fc_codel в диапазоне 1500-1800MB/сек — чуть меньше максимальной скорости. В итоге скорость упала ещё на 20%, а падения замедлились, но не перестали — решение не сработало.
Включил Flow Control, падения сократились сильно — может 30 на тест, при этом вижу TX-паузы по интерфейсам. Но при этом скорость упала аж до 20% от того, что могу получить при прямом подключении к ONT. В форумах видал обсуждения CCR2004, где говорят, что размер буфера в очереди на железе маловат, и другие моменты, но ни одного реального решения.
Проблема возникает только при большой нагрузке. При скорости ниже 1Гб/сек падения практически нет, или очень мало. Тесты bufferbloat от Waveform прямо на ПК выдаёт оценку A, через роутер — B или C. Потеря 200Мб в скорости — не так много для домашней лаборатории, но из-за падений происходит потеря пакетов при загрузке.
Есть идеи или предложения? Могу предоставить больше информации? Надеялся, что CCR2004 уже достаточно отточен и стабилен. Настройки выкладывать не буду — это заводской сброс и стандартный конфиг.
Спасибо, Дэйв
