MIKROTIK CCR1072-1G-8S+ за Firewall или Standalone машина с MikroTik OS (RouterOS)

[EnderWiggin]

Здравейте,

Обръщам се към вас и търся мнението ви, кое е по-подходящо за Firewall от изброените варианти.

Обмисляме покупката на MIKROTIK CCR1072-1G-8S+  или Standalone machine  (Ryzen 9 3900, 16GB  RAM), която да се използва като рутер (firewall) с MikroTik OS (RouterOS) и правила за филтрация на специфична DDoS атака на Layer 4 TCP SYN. Понастоящем разполагаме с Huawei Firewall (Net***a) и допълнително Voxility, което се грижи за защита от DDoS атаки по международната свързаност, но не справят особено добре със спецификата на атаката. Сигурни сме, че ще успеем да филтрираме атаката чрез правила на RouterOS. По наши изчисления Standalone машината с посоченият процесор би се справила по-добре заради тактовата честота на процесора и по-добрият single core performance. Вариантите, които обмисляме при Standalone машината са два:  

uplink (10 Gbps) > Standalone (RouterOS) > Main switch > Servers като за нас това е най-удачният вариант. 

uplink (10 Gbps) > Main switch > Standalone (RouterOS) > Servers като в този случай всички връзки на сървърите ще са свързани в суича, а за gateway ще използват Standalone (RouterOS) 

DDoS атаките генерират над 50К PPS от различни спуфнати IP адрес от цял свят. Моля, да споделите мнение, кое от двете решения е по-подходящо откъм performance. 

 

Благодаря предварително!

 

 

Редактирано 1 Септември, 2021 от EnderWiggin
edited

[gbdesign]

CCR1036 заради по-високата тактова честота на процесора и по-ниската цена. Иначе ако атакуващите са достатъчно упорити, само доставчика ти на свързаност те спасява, ако има разбира се оборудване за целта, че големите съндици на Palo Alto не са по джоба на нашенските доставчици. TCP SYN, TCP ASK, TCP-RESET и подобни са противни атаки,  но CCR1036 се справя добре с тях, до като не станат милиони атакуващите машини. Естествено, всичко зависи от това как са построени правилата във файеруола, че грешките излизат скъпо. Веднъж зададох да ми прави статична, а не динамична листа с адресите на атакуващите, която да дропя в RAW таблицата и за 30 мин. се натрупаха над 20 милиона реда, рутера се сгъна и после трих редовете с часове. Не лоша идея е използване на платен сървиз от CloudFlare, но не е евтино. 

[EnderWiggin]

1 hour ago, gbdesign said:

CCR1036 заради по-високата тактова честота на процесора и по-ниската цена. Иначе ако атакуващите са достатъчно упорити, само доставчика ти на свързаност те спасява, ако има разбира се оборудване за целта, че големите съндици на Palo Alto не са по джоба на нашенските доставчици. TCP SYN, TCP ASK, TCP-RESET и подобни са противни атаки,  но CCR1036 се справя добре с тях, до като не станат милиони атакуващите машини. Естествено, всичко зависи от това как са построени правилата във файеруола, че грешките излизат скъпо. Веднъж зададох да ми прави статична, а не динамична листа с адресите на атакуващите, която да дропя в RAW таблицата и за 30 мин. се натрупаха над 20 милиона реда, рутера се сгъна и после трих редовете с часове. Не лоша идея е използване на платен сървиз от CloudFlare, но не е евтино. 

 

CCR1036 го разгледахме като вариант, но той няма SFP+ 10 Gbps портове. При нас ъплинка е 10G и съответно част от сървърите ни също, като планът за вбъдеще ни е всичко да е на 10G SFP+ и не се вписва в инфрастуктурата ни. Доставчикът има оборудването за целта, но hardware firewall-а им филтрира и чист трафик по време на атака, а ние пряк достъп до него нямаме и нещата с писане на имейли и прилагане на нови правила чрез принципа проба-грешка се случват много бавно. За платеният сървиз на CloudFlare практиката на наши клиенти показва, че и него успяват да го свалят и то без особени усилия. При защитите за "масово" използване винаги е така - постоянно излизат bypasses и след  това patches и така до безкрай, два дни атаките афектират, три дни не афектират  Щом споменавате тактовата честота на процесорите  като плюс за CCR1036, а не броят на ядрата, вероятно идеята ни за Standalone машина, която е с MikroTik OS (RouterOS) и процесор AMD 3900X или Intel i7 би свършила по-добра работа, защото там говорим за 4GHz+ на ядро. Благодаря за мнението!

Редактирано 1 Септември, 2021 от EnderWiggin

[111111]

А защо десктоп а не сървър решение?

Честотата на ядро няма никаква полза когато настройките не са оптимални.

Клиента ако не знае какво му е предизвикало DDOS атаките, може да прави каквито си иска гимнастики и да няма успех.

Може да се почне с няколко малки мрежи зад BGP.

[Самуил Арсов]

1. Аз имам два ccr36 с по 2 sfp+ и за тях 50K pps не са нищо, през единия върви около 100К pps и е на 10%.
2. Не можеш да сравняваш Intel I7 с ccr72 с RouterOS - I7 ще смачка ccr.
3. Дескоп процесор е по добрия избор защото има по малко ядра, по малко кеш и по малко споделяне.
4. Ако отделиш прекъсванията на интерейс по ядро вероятно ще постигнеш още по големи резултати.
5. Пак да поясним, че става въпрос за много pps а не Mbits, защото ако е флууд който пълни канала няма значение какво го посреща.

Любопитен съм с какви правила ги улавяте атаките, икакво пазите, предполагам услуга, уеб сървър или стриим ?

Сега да покажа и CCR1072 - при 190K pps CPU е на 4% - може тази информация да ви помогне за избора.

Редактирано 1 Септември, 2021 от samyil

[niki6]

Така първо ясно да се каже 1036 има и във варянта с sfp+. Второ винаги казвам по добре сървар отколкото десктоп .(имай предвид значителната разлика в тока който се консумира) Ако те устройва рутер по добре е такъв отколкото сървар . И трето както са казали колегите ако се запълва канала то добре е да имаш активно комюнити с провайдера инак нищо друго няма да те спаси.

[kokaracha]

Ако можете да определите вида и типа на зловредния трафик,би могло да се изфилтрира прозрачно или да се подава листа със хостовете на ъпстрима ви.Малко вероятно е Vox да не могат да се справят със атаката,отделно разполагате и със hw стена . Да отивате на решение базирано на MT в случая е безмислено. По добре наемете специалист да ви ревизира мрежата и съответно предложи решение.

[EnderWiggin]

Привет!

Искам да благодаря на всички за проявеният интерес към темата, съветите и препоръките! 

Ще се опитам да отговоря на всички въпроси в тази публикация. 

Нямаме проблем със запълването на капацитета и не пълним канала. При постъпила атака се генерират едва 30-40 Mbps трафик,  което е нищожно в сравнение с капацитета с който разполагаме. Главно проблемът идва от това, че по време на атака генерират твърде много PPS на определен порт TCP SYN и ACK и съответно сървиза не може да отговори на всичко и крашва с грешка "too many open files". Реално интернета на оборудването не се афектира, а само сървиза на порта към който е насочена атаката. Voxility ни пази само международната свързаност, а за българската имаме Huawei Firewall, но Huawei-а често ни филтрира и чистият трафик по време на атака и не можем да намерим адекватно решение чрез него и затова търсим лично такова. Атаките са предимно от чужбина от спуфнати IP адреси имитиращи чист трафик и това е в основата на нещата да не може да се филтрира толкова лесно. Blackhole на международната свързаност далеч не е решение за нас, а забраната на държави/региони/континенти също, тъй като след като атаката е спуфната трафика не се знае от къде точно идва. Накратко трябва ни филтрация на определен тип пакети с определен length, строго определени флагове и ratelimit на кънекциите, който да сработва много бързо. 

[gbdesign]

Хардуерните рутери са със специализирани процесора, а пък в CCR дори и мрежовите карти са вградени в тях, та едва ли PC базиран би ги бил по производителност, когато говорим за рутиране и файеруол. Атаките от своя страна са многообразни и от личен, при това богат опит знам, че към различните типове се търси различен подход. Примерно за класически UDP флуд, само наистина големите доставчици на свързаност, имат адекватни защити, които са перманентни, но обикновено се плащат допълнително и на месец и струват, колкото един CCR рутер. За CloudFlare и аз бях скептичен, имайки опит само с безплатният им сървиз, но се оказа, че платеният им е съвсем друга история. За съжаление и той далеч не е евтин. Плаща се на трафик и не е, като да не се е случвало проблем от тях, да се прехвърли на потребителите им. Но в крайна сметка, особено при по-сериозна честота на атаките е наистина добро решение. Не ми се влиза в детайлни примери, заради конфиденциалност, но вярвайте ми, така е. Иначе, ако атаката е целенасочена и поръчителят и разполага с достатъчни финансови ресурси и е мотивиран да Ви навреди, нищо, ама нищо не може да Ви спаси. Спомням си за случай, в който сайт с огромни ресурси и многомилионни месечни приходи го държаха почти месец свален. При мен, в най-тежките случаи, специалистите на GTT в Германия успяха да го овладеят  за около 2 часа, до нива с които да мога да се справя. А ако правилно си спомням, те са 3-тият най-голям доставчик на свързаност на Земята и се предполага, че разполагат и с най-мощното съществуващо оборудване за борба с атаки. Тогава ме държаха почти месец непрекъснато зад файеруолите им, като по принцип, след приключване на атака сървиса се изключва, защото ползването му е адски скъпо. Също има значение и какво точно ще пазите. Ако е просто сайтове, даващи уеб контент на 2 порта, за крайни потребители е лесно. Когато обаче става дума за множество комуникации и сървиси, за разнотипно съдържание е доста по-сложно. 

[Самуил Арсов]

Аз не знам какъв опит имам, беден ли е богат ли е - относително понятие е, нямам самочувствието, че ги разбирам нещата. Но се грижа за ccr от всичките модели, нямам нужда да предполагам или да тествам защото имам I3 с Intel 10G мрежови карти който видимо работи по добре от ccr1072, особено на малки по големина pps (всяка карта е отделена със smp affinity да работи само с определено ядро). Процесора е четириядрен с изключен hyper threading. Всъщност ако гледате рекламата на ccr2004 ще разберете за какво говоря, самите MikroTik твърдят, че спрямо енергията която изразходва 4-ри ядрения и процесор вади зверска мощ (в рекламата пише звяр - хаха  )

 

Хората обаче които са работили и с други производители на мрежова техника знаят, че MikroTik си е софтуерен рутер, директно свързани карти, оптимизиран, fast track трикове, какво ли не, но си е софтуерен рутер. Хардуерните или така наречените offload рутери/защитни стени които могат да работят и прозрачно, са си техниката която пълни критично важните шкафове в големите дейта центрове.

 

Затова аз попитах за правилата които ще се използват в RouterOS, и как ще прихващат/филтрират/разделят чистия от зловредния трафик. Да не се окаже, че това е невъзможно, и ако не е, предполагам, че всички сме на едно мнение тук, че те ще имат нужда от Next Generation Firewall (NGFW) и по специално deep packet inspection (DPI) и intrusion prevention system (IPS) каквито в MikroTik няма. И не, няма да правя реклама на Cisco, FortiNet, Palo Alto, Juniper и Huawei, не съм и търговски представител и не харесвам финансовите политики на всяка една от тези фирми за малкия бизнес (то там връзка няма никаква)

 

Дайте пример в RouterOS как мислите да филтрирате трафика и аз ще го приложа на един от моите рутери за да видим как работи

 

[111111]

Преди 12 часа, EnderWiggin написа:

При постъпила атака се генерират едва 30-40 Mbps трафик,  което е нищожно в сравнение с капацитета с който разполагаме. Главно проблемът идва от това, че по време на атака генерират твърде много PPS на определен порт TCP SYN и ACK и съответно сървиза не може да отговори на всичко и крашва с грешка "too many open files". Реално интернета на оборудването не се афектира, а само сървиза на порта към който е насочена атаката. 

Я го фанете за ушичките тоз дет е писал софтуера или е настройвал NGINX-a да си оправи бакиите.

https://www.nginx.com/blog/mitigating-ddos-attacks-with-nginx-and-nginx-plus/

https://hexadix.com/slowloris-dos-attack-mitigation-nginx-web-server/

[kokaracha]

преди 35 минути, samyil написа:

Дайте пример в RouterOS как мислите да филтрирате трафика и аз ще го приложа на един от моите рутери за да видим как работи  

Пробвай това правило,примерно пакети с размер от 99,971 до 99,985 байта да се дропят

 

blockquote приставка

[EnderWiggin]

2 hours ago, 111111 said:

Я го фанете за ушичките тоз дет е писал софтуера или е настройвал NGINX-a да си оправи бакиите.

https://www.nginx.com/blog/mitigating-ddos-attacks-with-nginx-and-nginx-plus/

https://hexadix.com/slowloris-dos-attack-mitigation-nginx-web-server/

 

Атаките са към гейм сървъри и не са HTTP заявки, че да използваме nginx proxy.

[111111]

iptables -A bad_tcp_packets -p tcp --tcp-flags SYN,ACK SYN,ACK -m state --state NEW -j REJECT --reject-with tcp-reset

https://www.redhat.com/en/blog/mitigate-tcp-syn-flood-attacks-red-hat-enterprise-linux-7-beta

на дали няма и Layer7 описание.

Фанете някой да ви направи микро впн, през който да са ви достъпни услугите.

[Самуил Арсов]

На 1.09.2021 г. at 9:21, gbdesign написа:

Веднъж зададох да ми прави статична, а не динамична листа с адресите на атакуващите, която да дропя в RAW таблицата и за 30 мин. се натрупаха над 20 милиона реда, рутера се сгъна и после трих редовете с часове.

Не е нужно да триеш с часове, може да го направиш глобално с една команда.

/ip firewall address-list remove [/ip firewall address-list find list="blacklist"]

Редактирано 3 Септември, 2021 от samyil

[gbdesign]

На 3.09.2021 г. at 19:10, samyil написа:

Не е нужно да триеш с часове, може да го направиш глобално с една команда.

/ip firewall address-list remove [/ip firewall address-list find list="blacklist"]

/ip firewall address-list remove [/ip firewall address-list find list="blacklist"]

За съжаление не се получава. Командата успява да изтрие някакъв малък процент от записите, след което заема твърде много ресурси и ядрото убива процеса. А през WinBox пък беше абсолютно невъзможно да се отвори раздела с адресните листи, камо ли да се трие. От тогава си знам... динамична листа с къс живот. Динамичната листа дава възможност и за почистване с рестарт на рутера, ако друго не помогне.