Я купил Mikrotik CCR2004-1G-2XS-PCIe и хочу использовать её в своём сервере Proxmox. Карта настраивается через управляющий порт с помощью Winbox. Порты SFP28-1 и 2 подключены к Mikrotik CRS309-1G-8S+ двумя кабелями XS+DA0001. Железо состоит из материнской платы MSI B550-A PRO, M.2 накопителя и видеокарты Nvidia Quadro A2000 в первом PCIe слоте, а Mikrotik CCR2004-1G-2XS-PCIe стоит во втором слоте, всё подключено к шине PCIe.
Изначально при подключении кабелей XS+DA0001 у меня постоянно терялось соединение Winbox с управляющим портом Ether1. Чтобы переподключиться, приходилось отключать DAC-кабели. После обновления RouterOS и прошивки до версии 7.14 я перестал успешно подключать порты SFP28 с passthrough по ether-pcie — Winbox зависает на 5 секунд, потом настройки passthrough пропадают. В Proxmox сетевые адаптеры отображаются как enp33s0f0 - enp33s0f3.
В системе Proxmox также появились ошибки:
dmesg | grep atl1c
[ 1.354453] atl1c 0000:21:00.0: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354468] atl1c 0000:21:00.0: cannot map device registers
[ 1.354504] atl1c: probe of 0000:21:00.0 failed with error -5
[ 1.354546] atl1c 0000:21:00.1: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354551] atl1c 0000:21:00.1: cannot map device registers
[ 1.354579] atl1c: probe of 0000:21:00.1 failed with error -5
[ 1.354616] atl1c 0000:21:00.2: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354621] atl1c 0000:21:00.2: cannot map device registers
[ 1.354648] atl1c: probe of 0000:21:00.2 failed with error -5
[ 1.354687] atl1c 0000:21:00.3: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354692] atl1c 0000:21:00.3: cannot map device registers
[ 1.354720] atl1c: probe of 0000:21:00.3 failed with error -5
Настройки типа этих двух:
GRUB_CMDLINE_LINUX_DEFAULT=“quiet splash amd_iommu=on pci=realloc pci=noaer”
или
GRUB_CMDLINE_LINUX_DEFAULT=“quiet amd_iommu=on”
вызывали проблемы вроде:
users
[ 0.545844] pci 0000:21:00.0: [1969:1083] type 00 class 0x020000
[ 0.545867] pci 0000:21:00.0: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.545922] pci 0000:21:00.0: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.545988] pci 0000:21:00.0: PME# supported from D0
[ 0.546044] pci 0000:21:00.0: 31.504 Gb/s доступной пропускной способности PCIe, ограничено восьмитрассовым PCIe x4 с 8.0 GT/s на 0000:00:02.1 (возможна скорость 63.008 Gb/s с PCIe x8 8.0 GT/s)
[ 0.546134] pci 0000:21:00.1: [1969:1083] type 00 class 0x020000
[ 0.546156] pci 0000:21:00.1: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546210] pci 0000:21:00.1: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546270] pci 0000:21:00.1: PME# supported from D0
[ 0.546387] pci 0000:21:00.2: [1969:1083] type 00 class 0x020000
[ 0.546410] pci 0000:21:00.2: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546463] pci 0000:21:00.2: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546523] pci 0000:21:00.2: PME# supported from D0
[ 0.546642] pci 0000:21:00.3: [1969:1083] type 00 class 0x020000
[ 0.546664] pci 0000:21:00.3: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546718] pci 0000:21:00.3: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546778] pci 0000:21:00.3: PME# supported from D0
На шине PCI три устройства, но согласно инструкции MSI, слот 1 с 16 линиями можно использовать для видеокарты, первый слот M.2 — для накопителя, а второй слот — для другой PCIe карты. Я использую amd_iommu=on, чтобы пробросить видеокарту в виртуальную машину.
Я уже совсем в отчаянии и хотел переустановить Proxmox, но во время установки опять получаю ошибки при инициализации сетевых адаптеров. На самой карте только один управляющий порт получает настройки через DHCP, а в остальном всё так же, как после сброса на «no default config».
Изначально при подключении кабелей XS+DA0001 у меня постоянно терялось соединение Winbox с управляющим портом Ether1. Чтобы переподключиться, приходилось отключать DAC-кабели. После обновления RouterOS и прошивки до версии 7.14 я перестал успешно подключать порты SFP28 с passthrough по ether-pcie — Winbox зависает на 5 секунд, потом настройки passthrough пропадают. В Proxmox сетевые адаптеры отображаются как enp33s0f0 - enp33s0f3.
В системе Proxmox также появились ошибки:
dmesg | grep atl1c
[ 1.354453] atl1c 0000:21:00.0: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354468] atl1c 0000:21:00.0: cannot map device registers
[ 1.354504] atl1c: probe of 0000:21:00.0 failed with error -5
[ 1.354546] atl1c 0000:21:00.1: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354551] atl1c 0000:21:00.1: cannot map device registers
[ 1.354579] atl1c: probe of 0000:21:00.1 failed with error -5
[ 1.354616] atl1c 0000:21:00.2: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354621] atl1c 0000:21:00.2: cannot map device registers
[ 1.354648] atl1c: probe of 0000:21:00.2 failed with error -5
[ 1.354687] atl1c 0000:21:00.3: can’t ioremap BAR 0: [??? 0x00000000 flags 0x0]
[ 1.354692] atl1c 0000:21:00.3: cannot map device registers
[ 1.354720] atl1c: probe of 0000:21:00.3 failed with error -5
Настройки типа этих двух:
GRUB_CMDLINE_LINUX_DEFAULT=“quiet splash amd_iommu=on pci=realloc pci=noaer”
или
GRUB_CMDLINE_LINUX_DEFAULT=“quiet amd_iommu=on”
вызывали проблемы вроде:
users
[ 0.545844] pci 0000:21:00.0: [1969:1083] type 00 class 0x020000
[ 0.545867] pci 0000:21:00.0: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.545922] pci 0000:21:00.0: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.545988] pci 0000:21:00.0: PME# supported from D0
[ 0.546044] pci 0000:21:00.0: 31.504 Gb/s доступной пропускной способности PCIe, ограничено восьмитрассовым PCIe x4 с 8.0 GT/s на 0000:00:02.1 (возможна скорость 63.008 Gb/s с PCIe x8 8.0 GT/s)
[ 0.546134] pci 0000:21:00.1: [1969:1083] type 00 class 0x020000
[ 0.546156] pci 0000:21:00.1: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546210] pci 0000:21:00.1: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546270] pci 0000:21:00.1: PME# supported from D0
[ 0.546387] pci 0000:21:00.2: [1969:1083] type 00 class 0x020000
[ 0.546410] pci 0000:21:00.2: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546463] pci 0000:21:00.2: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546523] pci 0000:21:00.2: PME# supported from D0
[ 0.546642] pci 0000:21:00.3: [1969:1083] type 00 class 0x020000
[ 0.546664] pci 0000:21:00.3: reg 0x10: [mem 0x00000000-0x0000ffff 64bit]
[ 0.546718] pci 0000:21:00.3: [Firmware Bug]: disabling VPD access (не удаётся определить размер нестандартного VPD формата)
[ 0.546778] pci 0000:21:00.3: PME# supported from D0
На шине PCI три устройства, но согласно инструкции MSI, слот 1 с 16 линиями можно использовать для видеокарты, первый слот M.2 — для накопителя, а второй слот — для другой PCIe карты. Я использую amd_iommu=on, чтобы пробросить видеокарту в виртуальную машину.
Я уже совсем в отчаянии и хотел переустановить Proxmox, но во время установки опять получаю ошибки при инициализации сетевых адаптеров. На самой карте только один управляющий порт получает настройки через DHCP, а в остальном всё так же, как после сброса на «no default config».
