MetalLB BGP ECMP

Привет, Саймон, ты случайно не нашёл решение этой проблемы? У меня та же ситуация с Mikrotik BGP + MetalLB, и я тоже застрял на этом этапе.

Я недавно тоже пытался настроить примерно то же самое — metallb на физических машинах у себя дома, чтобы публиковать сервисы в домашней сети. Моя первая попытка прошла довольно просто: я использовал настроенный AS в Mikrotik (routing - bgp - interfaces) и настроил пира, используя свой ASN для metallb и IP-адреса нод (несколько пиров для всего кластера k8s, все с одинаковым AS). Все появлялось как опубликованное, я даже видел маршрут (в ip - routes). Он отображался с distance 20. И когда я пытался зайти по этому IP с машин в сети, получилось — правда, первые пару раз было очень медленно, загрузка страницы nginx по умолчанию занимала 5-6 секунд. Но потом, я ничего особо не менял, и это перестало работать. При этом в Mikrotik всё выглядит так же, маршрут виден, но зайти на опубликованный сервис уже не получается. Интересно, кто-нибудь из вас с тех пор что-то продвинул в этом плане? Мне гораздо больше нравится подход через BGP, а не ARP, ведь читал, что при переключении на резервный путь он работает гораздо быстрее.

Последние пару выходных пробиваюсь лбом об эту проблему. BGP устанавливает соединение, для каждого устройства создаются отдельные маршруты в ip/routes, и вроде всё работает. НО я не могу достучаться ни до чего за IP metallb из устройств моей домашней сети. Их не пингуется, и в arp-scan их нет. Зато устройства за metallb нормально пингуют устройства моей домашней сети. В режиме уровня 2 всё работает как надо.

--------
ip address print  
Flags: X - отключён, I - недействителен, D - динамический  
#   ADDRESS            NETWORK         INTERFACE  
0   10.10.0.1/20       10.10.0.0       lan-bridge  
1 D public-ip/24    public-ip     ether1  

--------
/ip route print  
#      DST-ADDRESS        PREF-SRC        GATEWAY            DISTANCE  
0 ADS  0.0.0.0/0                          public-ip               1  
1 ADC  10.10.0.0/20       10.10.0.1       lan-bridge                0  
2 ADb  10.10.2.1/32                       10.10.2.10               20  
3 ADb  10.10.2.10/32                      10.10.2.10               20  
4 ADb  10.10.2.100/32                     10.10.2.10               20  
5 ADC  public-ip/24     public-ip    ether1                    0  

--------
/routing bgp instance print  
Flags: * - по умолчанию, X - отключён  
0 *X name="default" as=60000 router-id=0.0.0.0 redistribute-connected=no redistribute-static=no redistribute-rip=no redistribute-ospf=no redistribute-other-bgp=no out-filter="" client-to-client-reflection=yes  
     ignore-as-path-len=no routing-table=""  

1    name="k3s" as=400 router-id=10.10.0.1 redistribute-connected=no redistribute-static=no redistribute-rip=no redistribute-ospf=no redistribute-other-bgp=no out-filter="" client-to-client-reflection=yes  
     ignore-as-path-len=no routing-table=""  

--------
/routing bgp peer print detail  
Flags: X - отключён, E - установлено соединение  
0 E name="metallb" instance=k3s remote-address=10.10.2.10 remote-as=500 tcp-md5-key="" nexthop-choice=force-self multihop=no route-reflect=no hold-time=3m ttl=default in-filter="" out-filter="" address-families=ip  
    default-originate=always remove-private-as=no as-override=no passive=no use-bfd=no  

--------
/routing bgp network print  
Flags: X - отключён  
#   NETWORK              SYNCHRONIZE  
0   10.10.2.0/24         yes  

--------
/routing bgp advertisements print  
PEER     PREFIX               NEXTHOP          AS-PATH            ORIGIN     LOCAL-PREF  
metallb  0.0.0.0/0            10.10.0.1                            igp  

--------
metallb-bgp-config

apiVersion: v1  
kind: ConfigMap  
metadata:  
 namespace: metallb-system  
 name: config  
data:  
 config: |  
   peers:  
   - peer-address: 10.10.0.1  
     peer-asn: 400  
     my-asn: 500  
   address-pools:  
   - name: mikrotik  
     protocol: bgp  
     avoid-buggy-ips: true  
     addresses:  
     - 10.10.2.0/24  

--------
metallb-l2-config

apiVersion: v1  
kind: ConfigMap  
metadata:  
 namespace: metallb-system  
 name: config  
data:  
 config: |  
   address-pools:  
   - name: mikrotik  
     protocol: layer2  
     avoid-buggy-ips: true  
     addresses:  
     - 10.10.2.0/24  

ОБНОВЛЕНИЕ: Всё, что мне пришлось сделать — это поставить metallb в другую подсеть, чтобы всё заработало. Если бы Mikrotik ещё поддерживал ECMP-пакеты, было бы вообще супер.