Мрежови възможности на BSD и Linux

[mysticall]

Здравейте,

първо искам да кажа, че целта на тази тема е не да образува два блока - за BSD или за Linux.

 

От доста години използвам не професионално Debian и нямам почти никакъв опит с BSD. От скоро започнах да търся някаква алтернатива на Debian или на Linux като цяло. В полезрението ми попадана FreeBSD. Прочетох доста статии за разликите между BSD и Linux. И забелязах, че едните казват само BSD, а другите само Linux.

 

Интересуваме какви предимства и какви недостатъци имат BSD и Linux в мрежовите решения. Под мрежови решения имам предвид, примерно:

- граничен маршрутизатор за крайни потребители

- маршрутизатор за корпоративни клиенти

- плюсове и минуси на шейпърите в BSD и Linux

- производителност, стабилност и чупливост

 

Ако може да споделите опита си и се обосновете с аргументи, защо предпочитате точно това, ще съм ви благодарен.

[111111]

Почти идентични възможности разлика само в имплементацията и разбира се билинг/менаджмент решенията.

[MiPSus]

Debian forever! Има ли електричество , всичко е наред

[Самуил Арсов]

Приятел, в света на pfsense, mikrotik и vyatta защо искаш да си усложняваш живота не разбирам.

 

Сега естествено трябва и да се обосновя. В BSD мрежовия стек е по лек поради много причини, нещата там са по прости на кернел ниво. В следствие на което пропускливата способност е малко по голяма и shaper е малко по лек. В BSD и firewall работи добре само, че на base rules, опрат ли нещата малко до по висш пилоташ изпитваш крештяща нужда от iptables и това рано или късно се случва. Linux има така да се каже доста по модерно ядро, с повече вериги и многократно повече фунции. Документацията е в пъти повече но е по трудно смилаема заради обема и основно се състой от две неща: man iptables и man tc. В Линукс ако искаш да правиш high availability router без да си направиш къстъм ядро си обречен на епичен провал. Така и не разбрах защо ipset и equal cost multipath ги няма в стандартното ядро а и не само те (да не споменавам и за patch-o-matic). Мисля, че няма нужда да продължавам нататък опитваики се да обясня, че готовото решение обмислено, написано и изтествано от толкова много хора е мъдрата постъпка пред безсънни нощи копиране на скриптове, преправяне на същите, търсейки в кой ред на bash е грешката да си играеш с нервите на клиентите.

 

pfsense - е безплатен BSD с красив интерфейс и малко странна навигация. Без да се заровиш в сайта им поне за ден няма да направиш нищо повече от така и така стандартната конфигурация. На много места се ползва от малки и полусредни доставчици на Интернет но истината е, че главната му фунцкия е по скоро shaper отколкото router. Dinamyc Routing няма. Policy Base Routng, Load Balance и Failover са на сравнително добро ниво но не е лека задача.

 

Vyatta - (и нейните форкове - EdgeOS, Brocade Vyatta и Vyatta Core която е базплатна) от самото си създаване гони Sisco и Juniper главно от към dinamic routing фунционалност както и policy routing, load balance и failover. Това в pfsense и mikrotik (без dinamic routing за mikrotik) някак си го няма развито. В mikrotik да направиш Load Balance и той да работи след това е нещо като да нарисуваш копие на картина на Леонардо Давинчи. Във Vyatta това се прави с 10-на реда. Също така Vyatta е единствения рутер който съм виждал да работят метриките (distance) правилно предполагам заради Quagga-та. В pfsense става бозава работа а в mikrotik от reachable става unreachable и до там. В Vyatta в ip route показва inactive и новия gateway които ползва. Тези които имат 10-на маршрута не ги интересува но когато имаш няколко мрежи с няколко рутера и стотина маршрута, рязане на маски и т. н. просто е рай. Недостатък на Vyatta е shaper. Не искам да го коментирам (добре, че има ifb в последната версия, че спасява работата)

 

Mikrotik - Никъде посвета няма такъв router за такива пари с тази фунционалност. В ниския и полу средния клас рутери просто си намери първото място и в скоро време не виждам алтернатива. Като започнем от HotSpot, Radius, добрe развит shaper и firewall интегриран с address-list комбинирайки ги заедно е най голямото оръжие na mikrotik. Поддържа всички видове VPN и тунели, bridging и switching и какво ли още не. Имаш пълна функционалност през web, windbox и терминал едновременно. И така нататък бла, бла ... 

 

Представи си го всичко това как ще го направиш в един гол Debian или в едно Free BSD

 

- граничен маршрутизатор за крайни потребители

Незнам какво влагаш в това, ако примера е от 10 до 100 клиента за NAT, DNAT, DHCPD, shaper, Failover, филтриране на IP и MAC адреси, маркиране на определен вид трафик, ограничаване на конекции или proxy филтър това е само Mikrotik 2011 или 1100H.  

 

- маршрутизатор за корпоративни клиенти

С пари Sisco и Juniper - но тъй като това не е темата Разбира се Vyatta която всъщност е Debian. Нямам наблюдение върху CCR10XX защото и двата който поддържам играят фунция хотспот а и не са в България но може би е алтернатива Самият аз имам Граничен маршрутизатор с Intel Xeon с BGP и Mikrotik който върти 300Mbits full dublex над 150-200 000 pps и 200 000 connection в conntrack - средно натоварване на четирите ядра 35-45%. Ако и CCR се държи така много добре макар, че парите са едни и същи като Xeon-a.

 

- плюсове и минуси на шейпърите в BSD и Linux

BSD - по просто, по лесно, по леко работи.

Linux - по сложно, многократно по функционално и съответно харчи повече ресурси (изключвам Queue Tree на Mikrotik което е революция в Linux shaper)

 

- производителност, стабилност и чупливост

И трите дистрибуции pfsence, Vyatta и Mikrotik са софтуерни решения с изключение на EdgeOS който има хардуeрно ускорение. След като са софтуерни решения те разчитат единствено хардуера си. Ако имаш впредвид софтуерна стабилност - нещата толкова много са изчистени, че не знам на някой да му е забил рутера ей така ... единствения кръвожаден сериен убиец си остава тока !

 

Троловете вече може да започват да умуват

Редактирано 29 Ноември, 2013 от samyil

[kokaracha]

Доста си написал по темата,похвално е ,но за съжаление си написал доста неверни и погрешни становища .

Общо взето freebsd ( ipfw/dummynet)  е по лек,прекарва повече трафик,по стабилен ( особенно е екстрамни ситуаций като flood ) в сравнение в Linux.

Като минус мога да отбележа по слаба производителност при НАТ , липса на маркиране ( dscp/tos), но липсата на последните е компенсиране с други приоми.

За pfsense моха да кажа,че  поддържа и работи с  Dinamyc Routing,но просто не е прдукт който може да са сравнава с  Mikrotik/Vyatta по простата причина че е ориентиран към soho сегмента и с отворен код,макар че е многофункционален и с широко приложение.

Друга интересна и многофункционална заслужаваша интерес и внимение  ОС е openbsd.Еднакво удобно както за домашни така и за фирменни нужди.

Редактирано 30 Ноември, 2013 от kokaracha

[mysticall]

Vyatta - ... от самото си създаване гони Cisco и Juniper главно от към dinamic routing фунционалност както и policy routing, load balance и failover. 

 

Никога не бях пробвал Vyatta, лесно се инсталира, ако имате два хард диста предлага да създаде софтуерен райд. Много интересна дистрибуция, конзолата е подобна на Cisco IOS.

Дали Vyatta е стабилна колкото Cisco IOS?

Редактирано 1 Декември, 2013 от mysticall

[Самуил Арсов]

Интерфейса е подобен на JunOS (Juniper OS) Sisco CLI е доста различен. Първоначалната идея на Vyatta е да си намери място в Dinamic routing маршрутизаторите (които естествено са много скъпи) и като правят форк от друга дистрибуция XORP но незнайно защо изведнъж взимат друга посока. Вместо демона xorp от първите версии (2006-2007 година) те сменят софтуера с Quagga за routing daemоn и Debian като дистрибуция. Мега странното е, че дори Microsoft са част от групата на спонсорите (само в началото), предполагам идеята е да се инсталира на виртуалните и машини ако има нужда от bgp, ospf или rip. Въпреки всичко за 5-6 години Vyatta се разви достатъчно за да излезе от лабораторните условия но тъй като е безплатна (идеята беше да печелят от support-a и тази идея не проработи добре) се продаде миналата година на Brocade които ясно показаха, че ще я разработват в затворен вид само за себе си.

 

Оказа се обаче, че Vyatta е под GPL лиценз и community-то и може да я разработва под друго име. Така се родиха две безплатни версии Vyatta-core и VyOS. Но и двете се поддържат по скоро любителски отколкото професионално. В края на миналата и началото на тази година Ubiquiti хвърлиха лимонката, че ще произведат рутер за 100$ през който могат да минат милион пакети. Всички се смяхме, включително и на рекламния клип:

 

 

Но в интерес на истината това се оказа почти вярно. Защото Ubiquiti сключва договор с Cavium за доставка на процесори с хардуерно ускорение и драйвера за него който естествено е затворен. За операционна система ползва Vyatta под името EdgeOS. Аз имам два такива рутера и съм с малко смесени чувства. От към функционалност сравнение с Mikrotik, EdgeMax е като дървена каручка с железни колела движеща по калдъръмени павета. Другото неприятно нещо е, че хардурното ускорение се изключва при kонфигуриран shaper, policy routing и mangle правила в firewall. Въпреки, че е с двуядрен Cavium Octeon процесор 2x500 Mhz без хардуерно ускорение работи малко добре от 2011-ската на Mikrotik. От друга страна с включено хардуерно ускорение което позволява dinamic routing, source routing, NAT, VLAN's и base firewall направо мачка RB1100AH2 на микротик (и такъв имам). За тези които не вярват както аз в началото:

 

http://www.youtube.com/watch?v=H6NymwV0x8E

 

Тъй като EdgeOS (тоест Vyatta) в момента няма нужната фунционалност Ubiquiti сериозно са се заели с това да я разработват. community-то започва да става сериозно и се вижда светлинка в тунела.

 

http://community.ubnt.com/t5/EdgeMAX/bd-p/EdgeMAX

 

С една сериозна серия от мейли вече съм член на бета форума на  Ubiquiti и активно следя какво се случва там. Прави ми приятно впечатление обаче, че не тръгнаха да имират Mikrotik функционалност която безпорно е на най високо ниво а се втурнаха да оправят бъгове и да доразработват load balancing, failover, policy base routing и най вече съвместимост и взаймозаменямост с Sisco i Juniper.  В новата версия която сега е бета и ще излезе след месец два в load balance вече можеш да създаваш и групи, failover-a може да пингва по 3 ip адреса на gate които ти си избереш, така дори да се загуби свързаноста с две а третото ip се пингва gate не пада. Всичко това с няколко реда и подобаваща история логове кой gate кога е падал и кога се е вдигал.

[slevin]

 

Интерфейса е подобен на JunOS (Juniper OS) Sisco CLI е доста различен. Първоначалната идея на Vyatta е да си намери място в Dinamic routing маршрутизаторите (които естествено са много скъпи) и като правят форк от друга дистрибуция XORP но незнайно защо изведнъж взимат друга посока. Вместо демона xorp от първите версии (2006-2007 година) те сменят софтуера с Quagga за routing daemоn и Debian като дистрибуция.

 

 

 

Не по темата, но ще внеса малко корекция.

 

Защо от XORP за преминали на Quagga може да разбереш като прочетеш развитието в меил листата тук --> http://lists.quagga.net/pipermail/quagga-users/2008-April/009513.html

 

До колкото си спомням проекта vyatta стартира с debian + XORP. 

A между другото в екипа на XORP имаме и българин --> http://www.linkedin.com/in/pavlinradoslavov

 

Edit: Лека корекция, бил е до март 2009 в XORP. Отдавна не съм следил развитието на XORP, но гледам работил е и по *BSD групата.

Редактирано 2 Декември, 2013 от slevin

[Самуил Арсов]

Да, така е, просто написах всичко по спомени без да проверявам дати. А в мейлистата изчетох цялата тема

 

През 2007 доставчика ми един ден ми заяви, че трябва да имам BGP иначе няма да ми даде четирите /24 мрежи които исках. Тъй като BGP тогава за мен звучеше нещо като да управлявам "кораба союз в открития космос" а и не разпогалах с нужните средства за Sisco или Juniper инсталирах Debian с Quagga. supporta на доставчика ми като чу Quagga тотално ме отсвири и с помощ от тук от там нещата тръгнаха. С течение на времето обаче на тази машина се нароиха 3-4 VLAN-а, 7-8 gre тунела и 300-400 правила в iptables които с ipset ги докарвах до 10. През 2010 свърших невероятната глупост да ъпгрейдна Debian-a, естествено смени се кернела и се оказа, че няма ipset за този кернел. За една нощ изтеглих, инсталирах и конфигурирах Vyatta на нова машина с дъно supermicro, CPU Quad Xeon и всичко заспа. В края на 2012 обаче един приятел ми прати от Испания една flash с преход SATA с лицензиран MIkrotik L5. Не издържах на иазкушението, уж само да тествам но функционалноста на RouterOS надделя. В началото на тази година трябваше да отделя една мрежа със стотина потребителя и един колега ми предложи EdgeMax като ме предупреди, че е "голям боклук" (купил го защото се подлъгал по рекламата). Е откакто сложих EdgeMax-a не е мръднал, само го упгрейдвам когато има нова версия. В момента в този сегмент има 130-150 клиента онлайн, трафика вечер стига до 150Mbits и 30-40 000 connection в conntrack таблицата. Не сам го виждал досега повече да лоудва от 35-40% CPU. Вярно е, че неговата функция е само да рутира и няма правила в firewall, само 20-на маршрута. Но за 100$ и смешна консумация на ток си е далавера.

 

Написах всичко това за човека пуснал темата. Аз минах по този път, първо със Slackware после с Debian но неволята сама ме докара до готови решения като Mikrotik, Ubiquiti и Juniper.

 

Нека направя едно сравнение с EdgeMax и PC

 

1. Цена 100$

2. консумация на ток 7W

3. Малка кутийка, малко по голям е от 450G

4. Отворена система, достъп до bash и perl

5. Инсталиране на софтуер, ползва хранилище на Debian

6. Никакви въртящи части

7. Безшумен

8. Голяма пропускателна способност

9. web интерфейс (макар и основен)

10. хардуерно усккорение

 

http://dl.ubnt.com/datasheets/edgemax/EdgeRouter_DS.pdf

 

Хайде да ги мерим сега с едно PC

Редактирано 2 Декември, 2013 от samyil

[mysticall]

Написах всичко това за човека пуснал темата. Аз минах по този път, първо със Slackware после с Debian но неволята сама ме докара до готови решения като Mikrotik, Ubiquiti и Juniper.

 

Не се занимавам професионално с администриране на мрежи, всичко е като хоби, но ми харесва да научавам нови неща свързани с администрирането. Основната ми работа е свързана с изграждането на оптична мрежа. В момента изграждаме оптична мрежа с много голям капацитет (директни оптични влакна до всички крайни точки, предимно на гигабит и високи скорости до 90Mbit на клиент, които се събират в сървърното), понякога възникват проблеми и ако нямам никаква представа от администрирането, мога да обикалям по мрежата, за да търся проблеми, които не са свързани с оптиките.

Преобладаващите суичове са Cisco 3560G и за някои точки 2950, работят отлично. Спомена, че си използвал Juniper, какви са впечатленията ти. На времето бях питал за Juniper, но впечатленията бяха противоречиви. Мисля, че софтуера на Juniper беше на базата на BSD.

[kokaracha]

Как да ги мерим като сметките не излизат както и да смяташ .То е ясно че няма как да мериш боклуци и устройства от нисък клас предназначени за домашни потреба с други предназначени за професионани нужди. Кое произведено от Mikrotik,Ubiquiti може да се мери или сравнява с професионалната техника ? Просто и ясно,който има пари купува профи техника,работи  и не се занимава с глупусти,другото е само компромиси.Нямаш пари,вартиш смяташ умуваш и пак опираш на процесори,чипсети,въртящи части,карти и т.н.

 

Juniper излиза по евтино сметнато на база порт в сравнение с Cisco.

 

При скорости от порядъка на 5-6 до 8Gb/s  и  5K потребителя на рутер не излизат много верни сметките без бюджет,слагаш си бсд-то  и си кротваш докат се осерат нещата или техниката.

Поне така ми изглеждат на мен погледнати от моя балкон

uname -isr
FreeBSD 9.1-RELEASE GENERIC

uptime
8:56PM  up 323 days, 23:19, 2 users, load averages: 0.62, 0.65, 0.60

top -SPHI

ast pid: 41562;  load averages:  0.70,  0.67,  0.61                                                                                                                                  up 323+23:19:51 20:57:34
141 processes: 5 running, 93 sleeping, 3 stopped, 40 waiting
CPU 0:  0.0% user,  0.0% nice,  0.8% system, 16.9% interrupt, 82.3% idle
CPU 1:  0.0% user,  0.0% nice,  0.4% system,  5.5% interrupt, 94.1% idle
CPU 2:  0.0% user,  0.0% nice,  0.0% system,  8.3% interrupt, 91.7% idle
CPU 3:  0.0% user,  0.0% nice,  0.0% system, 14.2% interrupt, 85.8% idle
Mem: 262M Active, 2123M Inact, 1069M Wired, 824M Buf, 4427M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     155 ki31     0K    64K CPU2    2 7013.6 96.92% idle{idle: cpu2}
   11 root     155 ki31     0K    64K RUN     1 7092.7 93.02% idle{idle: cpu1}
   11 root     155 ki31     0K    64K CPU0    0 6981.4 84.81% idle{idle: cpu0}
   11 root     155 ki31     0K    64K RUN     3 6999.7 84.52% idle{idle: cpu3}
   12 root     -92    -     0K   640K WAIT    3 415.0H 13.09% intr{irq277: em1:rx 0}
   12 root     -92    -     0K   640K WAIT    0 416.6H 12.21% intr{irq274: em0:rx 0}
   12 root     -92    -     0K   640K WAIT    3  34.6H  4.49% intr{irq267: ix0:que }
   12 root     -92    -     0K   640K WAIT    2  31.6H  4.35% intr{irq266: ix0:que }
   12 root     -92    -     0K   640K WAIT    1  31.4H  4.05% intr{irq265: ix0:que }
   12 root     -92    -     0K   640K WAIT    0  34.1H  3.76% intr{irq264: ix0:que }
   12 root     -92    -     0K   640K WAIT    2 328.4H  2.93% intr{irq280: em2:rx 0}
32064 root      20    0   544M   528M select  1  33.7H  0.78% bgpd
   12 root     -92    -     0K   640K WAIT    0  36.0H  0.20% intr{irq278: em1:tx 0}
   12 root     -92    -     0K   640K WAIT    2  34.0H  0.20% intr{irq275: em0:tx 0}
   12 root     -92    -     0K   640K WAIT    3  31.5H  0.15% intr{irq281: em2:tx 0}
61911 root      20    0 43368K  9896K select  2 167:39  0.05% snmpd




netstat -hw1 -I lagg0
            input        (lagg0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      101k     0     0       133M        63k     0        25M     0
      125k     0     0       161M        90k     0        62M     0
      115k     0     0       149M        82k     0        56M     0
      112k     0     0       146M        76k     0        46M     0
      112k     0     0       145M        77k     0        47M     0
      116k     0     0       149M        82k     0        57M     0
      104k     0     0       136M        70k     0        39M     0
       90k     0     0       117M        58k     0        26M     0
       82k     0     0       110M        45k     0       7.5M     0
       83k     0     0       112M        46k     0       7.5M     0

[Велин]

Интересна тема се заформи, браво на участниците за споделения опит...  поне аз не се бях замислял дори за някои неща.

[MiPSus]

 

При скорости от порядъка на 5-6 до 8Gb/s  и  5K потребителя на рутер не излизат много верни сметките без бюджет,слагаш си бсд-то  и си кротваш докат се осерат нещата или техниката.

 

Колега , много ти се радвам на ентусиазма, но май забрави че във форума сме  "досавчици" за които 100-200 мегабита са "таман" , а 5000 абоната не си ги представяме сори за Juniper/Cisco

[computer]

днес 100, утре 1000.

Преместването на няколко хиляди абоната от една система към друга винаги е "забавно", за това е добре да придобиваш опит отрано

 

Аз предпочитам freebsd и го ползвам навсякъде където мога. Разликата от FreeBSD до Циско до сега не съм я видял в друго освен в пари (специално за рутер).

[MiPSus]

Разбирам и се радвам на ентусиазма ви , но пак казвам за нашите нужди 500, 1000, 2000 абоната, каквото и *овно да служиш ще служи вярно

А инак ebay е пълен със Cisco/Juniper и който го кефи може отрано да си изгради мрежата с тях ...