мнение за сървър

[terminated]

Supermicro PT8L Chassis Mounting Rails 1 бр.

Supermicro SNK-P0036, 1U Passive Heatsink UP 1 бр.

Western Digital 320GB SATA II RAID Edition 1 бр.

Kingston 1GB DDR3 1333MHz 3 бр.

Intel® Xeon Quad-Core E5620 2.40 GHz 1 бр.

Supermicro X8STi-LN4 1 бр.

Supermicro CSE-512L-260 1 бр.

Stinger Сървър 1 бр.

скорост: 1g

клиенти: 3-4к (активните едва ли са над 2к)

Ще се ползва за nat и queue .. може би ще сменя хард диска с компакт флаш понеже не ми трябва дисково пространство и незнам дали да разчитам на вградените мрежови карти или да се ориентирам към външни такива.

[promind]

Току ще каза нещо, което ме смая....

ipfw откога е "благинка" спрямо linux iproute2?

FreeBSD интел драйверите не знаех, че са по-добри от тези на линукс...

[Drag0]

Току ще каза нещо, което ме смая....

ipfw откога е "благинка" спрямо linux iproute2?

FreeBSD интел драйверите не знаех, че са по-добри от тези на линукс...

Не желая да навлизам в спорове и излишен хейт. Спрямо iproute2 надали има по-голяма "благинка" благинка е за шейпване. В смисъл, че не пишеш 100 реда за да шейпнеш един клиент и не се занимаваш с imq което за мен си жив та**к.

Относно драйверите търся да изровя нещо и ще ти отговоря след това.

Та както казах зациклил съм сигурно се е случвало на всички вас, а не тръгвам да споря за каквото и да е

[Mile]

Kато зацикля ползвам старото и достопочтенно правило "хардуерните излишъци преодоляват софтуерните ограничения". Слагаш 2-ри рутер и делиш юзерите между двата. Къф му е проблема на решението с imq? Бута си 600 и нагоре mbps. Щом имаш няколко доставчика вероятно си имаш и бордер. Предполагам не правиш all-in-one.

[Drag0]

Специално тук е all-in-one трафика е около 150-200Mbit в по натоварено време. Проблема ми не е в хардуерно ограничение, а по-скоро не ми се слага imq и търся алтернативно решение. Специално в този случай на този етап трябва така да го избутам, а след известно време ще имплементирам по сложни решения.

[Mile]

E 200mbps са нищо ебаси. Ето ти снимки на cpu load + трафика точно с imq

Дъно Asus server board с 3200 чипсет + 2 карти Broadcom 5721, проц quad 9650

Накачени са около 200 vlan-a, 750 клиента ъптиме има около 200 дни. Сложено и забравено.

[Самуил Арсов]

Ма защо само с  imq ? С "tc" има поне 5 начина да ограничиш скороста в двете посоки без imq

ingress

MARK

CLASSIFY

IPMARK

IPCLASSIFY

IFB

hash

Това са все варианти различни от imq и за да не кажеш, че говоря празни приказки специално за теб ще дам няколко примера:

INGRESS

tc qdisc add dev eth0 root handle 1 htb default 10

tc class add dev eth0 parent 1: classid 1:10 htb rate 10Mbit burst 1Mbit quantum 60000

tc qdisc add dev eth0 parent 1:10 sfq

tc filter add dev eth0 parent 1: protocol ip prio 1 u32 match ip dst 192.168.1.10 classid 1:10


tc qdisc add dev eth0 handle ffff: ingress

tc filter add dev eth0 parent ffff: protocol ip prio 20 u32 match ip src 192.168.1.10 police rate 10Mbit burst 1Mbit action drop flowid :10

MARK

tc qdisc add dev eth0 root handle 1: htb default 10

iptables -t mangle -A POSTROUTING -d 192.168.1.10 -j MARK --set-mark 0x10

tc class add dev eth0 parent 1: classid 1:10 htb rate 10Mbit ceil 10Mbit burst 1Mbit

tc filter add dev eth0 parent 1: protocol ip prio 1 handle 0x10 fw classid 1:10

tc qdisc add dev eth0 parent 1:10 handle 0x10: sfq perturb 10


tc qdisc add dev eth1 root handle 1: htb default 10

iptables -t mangle -A PREROUTING -s 192.168.1.10 -j MARK --set-mark 0x11

tc class add dev eth1 parent 1: classid 1:11 htb rate 10Mbit ceil 10Mbit burst 1Mbit

tc filter add dev eth1 parent 1: protocol ip prio 1 handle 0x11 fw classid 1:11

tc qdisc add dev eth1 parent 1:11 handle 0x11: sfq perturb 10

CLASSIFY

tc qdisc add dev eth0 root handle 1: htb default 1

iptables -t mangle -A FORWARD -d 192.168.1.10 -j CLASSIFY --set-class 1:10

tc class add dev eth0 parent 1: classid 1:10 htb rate 10Mbit quantum 60000

tc qdisc add dev eth0 parent 1:10 sfq perturb 10


tc qdisc add dev eth1 root handle 1: htb default 1

iptables -t mangle -A FORWARD -s 192.168.1.10 -j CLASSIFY --set-class 1:11

tc class add dev eth1 parent 1: classid 1:11 htb rate 10Mbit quantum 60000

tc qdisc add dev eth1 parent 1:11 sfq perturb 10

А в мейл листата на LARTC има един пример в който се твърди, че шеипи 6000 потребителя с IPMAPK. Отне ми малко време да го разгадая но наистина кърти. Дори има такъв Български проект FLAT_TC от който разбрах всъщност как работи но трябва да си пачнеш кернела. Ще ти го копирам във вид на скрипт направо от моя машина защото преобразува адресите в шеснаисетичен код. IPMARK

DEV1=vlan100

SPEEDIN=30Mbit

CEIL=1000Mbit

BURSTIN=2Mbit


tc qdisc del dev $DEV1 root

tc qdisc add dev $DEV1 root handle 1 htb default 1

tc filter add dev $DEV1 parent 1:0 protocol ip prio 1 fw


iptables -A POSTROUTING -t mangle -d 93.155.130.0/24 -j IPMARK --addr=dst --and-mask=0xff --or-mask=0x10100

IP=`grep -v \# /etc/ipclient | grep speed1 | cut -d":" -f2 | grep 93.155.130 | cut -d"." -f4  | sort -nu`;

for IP in $IP; do

offset=$(printf "%d" 0x100)

id=$(printf "%x" $(($offset+$IP)))

tc class add dev $DEV1 parent 1:10 classid 1:0${id} htb rate $SPEEDIN ceil $CEIL burst $BURSTIN

tc qdisc add dev $DEV1 parent 1:0${id} handle 0${id} sfq perturb 10

done;

Така, че варианти има във всяка една OS, въпроса е имаш ли желание да започнеш въобще ...

Ако питаш мен аз лично ползвам CLASSIFY и IPMARK ...

[Самуил Арсов]

@Mile

С тоя хардуер и ремарке да закачиш пак ще го влачи ...

[Drag0]

@samyil примерите които си ми дал са хубави лично аз имам подобни решения на 2 места едното влачи около 6000 потребителя, а другото около 2500. Но при горните 2 имам по един бордер отпред и съответно на машината където са шейпърите BG peer ми идва на vlanX и Интернета на vlanY и всичко спи. Но в конкретния случай проблема идва от това, че е all in one както каза Mile. Тоест имам 3 vlan за бг пиър и 2 за интернет, а за тоя трафик не си заслужава да слагам втора машина като се има предвид, че тази е core i3 quad 3GHz и има още доста потенциал. Още повече трафика е изцяло web,mail,ftp,ssh,dns няма грам торент, скайп и подобни извращения.

@promind за драйверите не съм прав явно е било доста късно като съм чел случва ми се често

[Mile]

Виж руснаците за драйверите. Гледам те с подобни оптимизации превъртат. nag.ru

Вариант е да сложиш Л3 свич да ти крепи пиърите, рутера да шейпи... А другите фрее портове на свича да ти събират трафика от клоновете. Елегантно е.

[Drag0]

Относно imq незнам защо, но някак си не ми харесва идеята може и да не съм прав щом Mile казва, че има машина на +200 дни която бачка и не мърда ... но въпреки всичко пак говорим за пачване на kernel и т.н. ...

ingress също не ми се нрави поради липса на буфери. Както казах зациклил съм здраво почвам да се плаша, че незнам какво искам и търся оптималния вариант.

[Mile]

Нещо от сорта на това се получава с Л3

svoge-core#sh ip bgp summ

BGP router identifier xxx.xxx.xxx.0, local AS number 47285

BGP table version is 713297, main routing table version 713297

5680 network entries using 664560 bytes of memory

11359 path entries using 590668 bytes of memory

2 multipath network entries and 8 multipath paths

5611/721 BGP path/bestpath attribute entries using 785540 bytes of memory

1522 BGP AS-PATH entries using 42932 bytes of memory

3 BGP community entries using 72 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 2083772 total bytes of memory

BGP activity 100598/94918 prefixes, 376806/365447 paths, scan interval 60 secs


Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

10.255.255.4    4 34224  390728  256102   713297    0    0 23:06:00     5670

10.255.255.5    4 34224  405746  256116   713297    0    0 23:05:40     5674

87.121.7.233    4 34224 10432871  190388   713297    0    0 8w4d            1

87.121.83.89    4 34224  283147  265555   713297    0    0 9w4d            1

212.73.144.25   4 34224  283227  255585   713297    0    0 23:06:02        1

212.73.144.26   4 34224  283267  255591   713297    0    0 23:06:01        1

212.73.144.33   4 34224  283184  255585   713297    0    0 9w2d            1

212.73.144.34   4 34224  283241  255592   713297    0    0 9w2d            1

212.73.144.41   4 34224  210672  190072   713297    0    0 23:05:47        1

212.73.144.42   4 34224  210613  190074   713297    0    0 23:06:03        1

212.73.144.49   4 34224  210621  190078   713297    0    0 8w4d            1

212.73.144.50   4 34224  210610  190078   713297    0    0 8w4d            1

212.73.144.52   4 47285  257606  256005   713297    0    0 9w4d            1

[Самуил Арсов]

Ами с моя скромен опит без да пачваме кернела на Debian Squeeze:

INGRESS - Е точен но товари много CPU, при мен на XOEN 3400 на 700 потребителя и 400Mbits направо мачка. Определено не е за хиляди потребители.

МАРК - Изглеждат много правила заради iptables но в същата ситуация имаме поне 30% по малко натоварване.

CLASSIFY - Също не изисква пачване на кернела и по дброто му от MARK е, че спестяваш реда filter в tc и имаш с по два реда по малко на клиент. Тук аз спечелих още поне 10% по малко натоварване. Тоест разликата между INGRESS и CLASSIFY e 40% по малко натоварване в полза на CLASSIFY.

На друга машина за която бях помолен да помогна преди време но с доста по слаб хардуер да не говорим за CPU след всичкото горе което не помогна конфигурирах IPMARK. Разликата е много голяма нещо като simple queue и PCQ в Mikrotik. Всичко се основава на това, че като влезе пакет в машината не преглежда всички хиляди правила подред за да си намери съдбата а преглежда само няколко правила което се отразява с много по малък товар на CPU.

[promind]

Ето трафика, който върви през моя бордер.

Linux gentoo uClibc 2.6.31+esfq.

Supermicro X7LN4+ или нещо подобно.

CPU: E7200

HDD: 128MB IDE Flash Transcend.

BGP+OSPF+iptables mark rules.

Процесора не качва повече от 40% при пълно натоварване на канала.

[Тодор Лазаров]

ако не искаш да пачваш ползвай IFB

ако търсиш оптимизация ползвай u32 hashing filter - http://vcalinus.gemenii.ro/?p=9

между другото да попитам микротик как правят shepar на няколко интерфейса /т.е. какво ползват img или ifb/

гледам че имат някакви виртуални интерфeйси /globul-in, globul-out, globul-total/

http://wiki.mikrotik.com/wiki/File:Packet_flow.png

[kokaracha]

@Drag0 правилно си се насочил към freebsd/ipfw.От софтуерните рутери само freebsd/ipfw може да работи и шейпи 4-5К онлайн усера със сегашните скорости на интернета,така го виждам виждам аз положението.За интелските драйвъри на руснаците правилно си чул,има доработка при тях  http://people.yandex-team.ru/~wawa/

Ако си решил да позваш това решение и ако ти е нужна някаква помощ,пиши ми.