Load Balancing/File-Over

[Стоян Иванов]

Здравейте! Предполагам ви е писнало от въпроси относно балансинга, но тъй като ми се налага да направя такава конфигурация търся съвет. Правил съм и преди ECMP/PCC. и самата конфигурация е последното нещо което ме притеснява. Този начин на балансиране според мен е проблемен. Могат да се очакват проблеми с https, ssl, проблеми с натнати усроиства като dvr-ри или дори една съвсем проста RDP връзка. Въпроса ми е, някой успял ли е да конфигурира balancing/fail-over където да са избегнати тези проблеми или поне да не са толкова силно изразени. Може и да не ми обяснявате лично тук, ако нямате време. Просто споделете някакво линкче и аз ще прочета това, което ми трябва. Надявам се да има някакво по-стабилно решение вече. И още един въпрос: - Някой ползвал ли е dual wan ( balancing/fail-over рутер) и какви са впечатленията ви от тях. Имаt ли същите проблеми? Благодаря на отзовалите се.

[v3ctor]

Може и така да е, но защо продължава да няма трафик през етх2 който е интерфейса му?

Не е лте:

s  jun-mx960.bg.bulsat.com [46.40.64.1]

 

Булсатски рутер, т.е основната ми връзка.

Редактирано сряда в 15:21 от v3ctor

[JohnTRIVOLTA]

преди 2 минути, v3ctor написа:

Може и така да е, но защо продължава да няма трафик през етх2 който е интерфейса му?

Пусни си спийдтест и виж!

[v3ctor]

И със speedtest.net пробвах многократно, трафика си минава през етх1 всеки път.

Това се оказа булсат рутер не е лте:

jun-mx960.bg.bulsat.com [46.40.64.1]

 

Друго което ми направи впечатление е че в момента като си спра етх1 времезакъсненията през лте-то са доста високи стигат до 200мс и повече има и малко загуби заради лошото време явно, да не би заради това да не го ползва?

 

От рутера като се опитам да пингна абв.бг през етх2 няма отговор, като го пингвам през етх1 си отговаря.

Редактирано сряда в 15:40 от v3ctor

[JohnTRIVOLTA]

Искаш да кажеш, че трафика си излиза през 2ри доставчик като адрес, но физически минава през 1ви?

преди 22 минути, v3ctor написа:

И със speedtest.net пробвах многократно, трафика си минава през етх1 всеки път.

Това се оказа булсат рутер не е лте:

jun-mx960.bg.bulsat.com [46.40.64.1]

 

Друго което ми направи впечатление е че в момента като си спра етх1 времезакъсненията през лте-то са доста високи стигат до 200мс и повече има и малко загуби заради лошото време явно, да не би заради това да не го ползва?

 

От рутера като се опитам да пингна абв.бг през етх2 няма отговор, като го пингвам през етх1 си отговаря.

Рутера говори по подразбиране с основната си рутиг таблица. Нещо не схващам хем LTE, хем е Булсат рутер ти е втори доставчик, понеже LTE дават адрес от тяхната CGNAT мрежа, не че няма платена възможност и за публичен адрес!

[v3ctor]

Трафика си излиза през цялото време през етх 1 булсат. При мен си плащам за публичен статичен адрес през лте и го получавам. Не знам от къде дойде объркването, булсата си ми е първия доставчик на оптика, всичко минава сега през него, не иска да мине нищо през мобилната лте свързаност която е на етх2.

В лога за 2ри път ми излиза тази грешка:

script error: action timed out - try again, if error continues contact MikroTik support and send a supout file (13)

Редактирано сряда в 16:06 от v3ctor

[JohnTRIVOLTA]

LTE на Вива ли е? Тогава какъв бе този вивакомски адрес на ether1 - 91.139.199.***?

Какви са сегашните адреси на ether1/isp1/ и ether2/isp2/?

[v3ctor]

Те булсат са виваком вече, може би това те обърква.Реално аз им казвам булсат защото бяха до преди месеци булсат, но вече са си виваком. Лте е А1.

Редактирано сряда в 16:11 от v3ctor

[JohnTRIVOLTA]

преди 1 минута, v3ctor написа:

Те булсат са виваком вече, може би това те обърква.Реално аз им казвам булсат защото бяха до преди месеци булсат, но вече са си виваком. Лте е А1.

Ясно, всеки път получаваш различен адрес и гейт!

[v3ctor]

Не, адресите и през 2-те свързаности са си едни и същи всеки път и са тези:

 

5 D 151.251.192.172/29  151.251.192.168  ether2           
6 D 91.139.199.220/21   91.139.192.0     ether1   

Гейтовете също не се променят.

 

Редактирано сряда в 16:15 от v3ctor

[JohnTRIVOLTA]

преди 8 минути, v3ctor написа:

Не, адресите и през 2-те свързаности са си едни и същи всеки път и са тези:

 

5 D 151.251.192.172/29 151.251.192.168 ether2 6 D 91.139.199.220/21 91.139.192.0 ether1

5 D 151.251.192.172/29  151.251.192.168  ether2           
6 D 91.139.199.220/21   91.139.192.0     ether1   

Гейтовете също не се променят.

 

46.40.64.1 от къде се взе този адрес тогава?

[v3ctor]

Някаква обърквация от рутера на булсат(вива) и аз незнам как се появява. Един път е през него един път през правилния гейт 192.1 Направих и един рестарт с ъпгрейд до последна версия фърм и софт на рутера, не помага.

Редактирано сряда в 16:26 от v3ctor

[JohnTRIVOLTA]

Преди 2 часа, v3ctor написа:

Някаква обърквация от рутера на булсат(вива) и аз незнам как се появява. Един път е през него един път през правилния гейт 192.1 Направих и един рестарт с ъпгрейд до последна версия фърм и софт на рутера, не помага.

Да не тестваш от устройство което е свързано хем по етернет, хем и безжично?

Мисля, че има нещо друго което бърка нещата. Дай пак да видим с ip/route/print detail , какво финално се е получило!

[v3ctor]

Компа от който тествам е само на кабел, ето route:

 

ip/route/print detail 
Flags: D - dynamic; X - disabled, I - inactive, A - active; 
c - connect, s - static, r - rip, b - bgp, o - ospf, i - is-is, d - dhcp, v - vpn, m - modem, y - bgp-mpls-vpn; 
H - hw-offloaded; + - ecmp 
 0  As   dst-address=0.0.0.0/0 routing-table=main gateway=8.8.8.8 immediate-gw=91.139.192.1%ether1 check-gateway=ping distance=1 
         scope=30 target-scope=11 suppress-hw-offload=no 

 1   s   dst-address=0.0.0.0/0 routing-table=main gateway=1.1.1.1 immediate-gw=151.251.192.173%ether2 check-gateway=ping 
         distance=2 scope=30 target-scope=11 suppress-hw-offload=no 

   D d   dst-address=0.0.0.0/0 routing-table=main gateway=151.251.192.173 immediate-gw=151.251.192.173%ether2 distance=4 scope=30 
         target-scope=10 vrf-interface=ether2 

   D d   dst-address=0.0.0.0/0 routing-table=main gateway=91.139.192.1 immediate-gw=91.139.192.1%ether1 distance=3 scope=30 
         target-scope=10 vrf-interface=ether1 

 2  As   ;;; isp2
         dst-address=1.1.1.1/32 routing-table=main gateway=151.251.192.173 immediate-gw=151.251.192.173%ether2 distance=1 
         scope=10 target-scope=10 

 3  As   ;;; isp1
         dst-address=8.8.8.8/32 routing-table=main gateway=91.139.192.1 immediate-gw=91.139.192.1%ether1 distance=1 scope=10 
         target-scope=10 

   DAc   dst-address=10.1.10.0/24 routing-table=main gateway=bridge-guest immediate-gw=bridge-guest distance=0 scope=10 
         target-scope=5 local-address=10.1.10.1%bridge-guest 

   DAc   dst-address=91.139.192.0/21 routing-table=main gateway=ether1 immediate-gw=ether1 distance=0 scope=10 target-scope=5 
         local-address=91.139.199.220%ether1 

   DAc   dst-address=151.251.192.168/29 routing-table=main gateway=ether2 immediate-gw=ether2 distance=0 scope=10 target-scope=5 
         local-address=151.251.192.172%ether2 

   DAc   dst-address=192.168.5.0/24 routing-table=main gateway=bridge-LAN immediate-gw=bridge-LAN distance=0 scope=10 
         target-scope=5 local-address=192.168.5.1%bridge-LAN 

   DAc   dst-address=192.168.6.0/24 routing-table=main gateway=wireguard-server1 immediate-gw=wireguard-server1 distance=0 
         scope=10 target-scope=5 local-address=192.168.6.1%wireguard-server1 

   DAc   dst-address=192.168.10.0/24 routing-table=main gateway=bridge-vlan10 immediate-gw=bridge-vlan10 distance=0 scope=10 
         target-scope=5 local-address=192.168.10.1%bridge-vlan10 

   DAc   dst-address=192.168.20.0/24 routing-table=main gateway=vlan20-HA immediate-gw=vlan20-HA distance=0 scope=10 
         target-scope=5 local-address=192.168.20.1%vlan20-HA 

 4   s   dst-address=0.0.0.0/0 routing-table=isp2 gateway=1.1.1.1 immediate-gw=151.251.192.173%ether2 check-gateway=ping 
         distance=2 scope=30 target-scope=11 suppress-hw-offload=no 

 5  As   dst-address=0.0.0.0/0 routing-table=isp2 gateway=8.8.8.8 immediate-gw=91.139.192.1%ether1 check-gateway=ping distance=1 
         scope=30 target-scope=11 suppress-hw-offload=no 

 6   s   ;;; isp2
         dst-address=0.0.0.0/0 routing-table=isp2 gateway=151.251.192.173 immediate-gw=151.251.192.173%ether2 distance=3 
         scope=30 target-scope=10 

 7   s   ;;; isp1
         dst-address=0.0.0.0/0 routing-table=isp2 gateway=91.139.192.1 immediate-gw=91.139.192.1%ether1 distance=4 scope=30 
         target-scope=10 

 8  As   ;;; isp1
         dst-address=1.1.1.1/32 routing-table=isp2 gateway=91.139.192.1 immediate-gw=91.139.192.1%ether1 distance=1 scope=10 
         target-scope=10 suppress-hw-offload=no 

 9  As   ;;; isp2
         dst-address=8.8.8.8/32 routing-table=isp2 gateway=151.251.192.173 immediate-gw=151.251.192.173%ether2 distance=1 
         scope=10 target-scope=10 

10  As   dst-address=91.139.192.0/21 routing-table=isp2 gateway=ether1 immediate-gw=ether1 distance=1 scope=10 target-scope=10 

11  As   dst-address=151.251.192.168/29 routing-table=isp2 gateway=ether2 immediate-gw=ether2 distance=1 scope=10 target-scope=10 

12  As   dst-address=192.168.5.0/24 routing-table=isp2 gateway=bridge-LAN immediate-gw=bridge-LAN distance=1 scope=10 
         target-scope=10 

13  As   dst-address=192.168.10.0/24 routing-table=isp2 gateway=bridge-vlan10 immediate-gw=bridge-vlan10 distance=1 scope=10 
         target-scope=10 suppress-hw-offload=no 

14  As   dst-address=192.168.20.0/24 routing-table=isp2 gateway=vlan20-HA immediate-gw=vlan20-HA distance=1 scope=10 
         target-scope=10 suppress-hw-offload=no 

 

Редактирано сряда в 21:49 от v3ctor

[JohnTRIVOLTA]

Смени дистънса на 4ти маршрут да е 1, а 5ти да е 2 сега е обратната:

 4   s   dst-address=0.0.0.0/0 routing-table=isp2 gateway=1.1.1.1 immediate-gw=151.251.192.173%ether2 check-gateway=ping 
         distance=2 scope=30 target-scope=11 suppress-hw-offload=no 

 5  As   dst-address=0.0.0.0/0 routing-table=isp2 gateway=8.8.8.8 immediate-gw=91.139.192.1%ether1 check-gateway=ping distance=1 
         scope=30 target-scope=11 suppress-hw-offload=no 

това ти е грешката!

[v3ctor]

Разбрах къде бъркам с pcc и сега работи със скрипта от горния линк . Остава ми обаче как да накарам определен хост от частната мрежа да излиза само през етх1 ван порта,пробвах така:

/ip firewall address-list
add list=stat-isp1 address=192.168.5.34

/ip firewall mangle
add action=mark-routing chain=prerouting comment="Mark STATIC route to ISP1" disabled=yes dst-address-list=!local \
    dst-address-type=!local in-interface-list=LAN new-routing-mark=to_ISP1 passthrough=yes src-address-list=stat-isp1

Не сработва,правилото трупа пакети на броячите си но пак си ми излиза ту през единия ту през другия интерфейс.

 

Май ми се получиха нещата след модификация на мангъл правилото:

 

/ip firewall mangle
add action=mark-routing chain=prerouting comment="for LAN address output from isp1 5.0" dst-address=!192.168.5.0/24 \
    new-routing-mark=to_ISP1 passthrough=no src-address-list=stat-isp1

За сега изглежда работещо, ще тествам известно време и ще пиша дали е ок.

 

Нещо не ми харесва как работи цялото това с лоад баланса в дългосрочен план. Като се браузва в интернет на моменти не зарежда страници и се чуди явно през кой гейт да излезе, трябва по няколко пъти рефреш за да зареди сайт-а. На спийдтест си ползва 2-та капацитета на връзките заедно, обаче много бавно започва теста и зарежда страницата. На мобилни устройства през wifi, доста често казва че няма интернет и не зарежда страници, както и не сваля файлове от интернет. Иначе който и доставчик да спре със загубата на 1-2 пакета преминава на другия и работят нещата там. Wireguard vpn също не работи с тази схема на isp1. Ако спра етх2 си работи, иначе не.

 

За сега разкарах конфига и си минах на вариант-а с различните дистанси на 2-та доставчика и мобилната свързаност да е само за бекъп ако отпадне резервната. Не ми хареса как работят нещата с лоад баланса и това забавяне на страниците в интернет, и неработещия впн. Предимството е само ползването на общия трафик през 2-та доставчика и бързото прехеърляне между свързаностите без много загуби на пакети. Но много се усложнява схемата.

 

С тази промяна всичко започна да излиза през етх2, точно обратното на това което беше. През етх1 не минава нищо.

Сега е така:

 

4  As   dst-address=0.0.0.0/0 routing-table=isp2 gateway=1.1.1.1 immediate-gw=151.251.192.173%ether2 check-gateway=ping
         distance=1 scope=30 target-scope=11 suppress-hw-offload=no

 5   s   dst-address=0.0.0.0/0 routing-table=isp2 gateway=8.8.8.8 immediate-gw=91.139.192.1%ether1 check-gateway=ping distance=2
         scope=30 target-scope=11 suppress-hw-offload=no

 

 

Tracing route to abv.bg [194.153.145.104]
over a maximum of 30 hops:

  1     1 ms     1 ms    <1 ms  192.168.5.1
  2     2 ms     2 ms     1 ms  151.251.192.173
  3     *        *        *     Request timed out.
  4     *        *        *     Request timed out.
  5   132 ms    39 ms    23 ms  178.132.83.22
  6   109 ms   146 ms   159 ms  178.132.83.18
  7   390 ms   151 ms   166 ms  178.132.80.65
  8   152 ms   153 ms   167 ms  94.72.148.139
  9   250 ms    25 ms    31 ms  194.153.145.104

 

  Започнах да губя надежда с този начин.

Ще се върна май на схемата по долу само да разбера защо ми спира достъпа това правило до мрежа 20.0:

На 25.12.2024 г. at 13:48, v3ctor написа:

Пробвах и такъв тип конфиг:

Цък

 

Почти работи при мен, само дето ми спира достъпа едно от правилата до мрежа 192.168.20.0/24 където ми е хоум автоматизацията.

Мисля че това ми спираше достъпа на хоум асистента до мрежа 20.0:

add action=mark-routing chain=prerouting connection-mark=ISP1_conn in-interface-list=LAN new-routing-mark=to_ISP1 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=ISP1_conn in-interface-list=LAN new-routing-mark=to_ISP1 passthrough=yes

 

 

Редактирано вчера в 10:58 от v3ctor