Натоварен ли е сървера ???

[Тодор Лазаров]

колеги обръщам се за малко помощ

Имам следната ситуация:

при превишаване на трафика над 150Mbit почва НЕТ-а да лагва.

От доставчика взимам 200Мбит така че не би трябвало да съм стигнал тaвана.

Нета го взимам по оптика.

Схемата е следната

- 1 сървер (Dell PowerEdge 1750 cpu 2 x Xeon 3Ghz 2G RAM) с 2 lan cart (Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet)

по едната лан идва НЕТА другата е вързана към VLAN switch Ruby GS-2108C

- 1 switch Ruby GS-2108C

http://www.videomaxa...idProduct=88719

прикачвам и малко статистика

натоварване на cpu

натоварване на трафика

протокол статистика

латенция към dir.bg

на сървера e с Debian 5.0.8

kernel 2.6.26-imq-xt-l7 има:

- apache2 - не е натоварен

- mysql

- shaper - 100 опашки - ползвам htb с ifb

- bind9

- cacti, smokeping

та въпроса е дали машинката е слаба и не издържа

Редактирано 23 Декември, 2012 от Тодор Лазаров

[gbdesign]

Ако дъното ти поддържа smp_affinity пробвай да разхвърляш натоварването по всичките ядра. Инсталирай htop за да следиш в реално време кой процес, колко CPU взима. Инсталирай вmon, за да виждаш колко трафик минава в реално време, без да товариш CPU-то. Пусни Smokeping до няколко дестинации, на вътре и навън в мрежата ти, за да знаеш ти или доставчика ти се дъните.

[master]

Аз точно това мислех, сигурен ли си в доставчика си ?

[Велин]

или препълваш БГ-то или ИНТернешънала ..

[Тодор Лазаров]

Ако дъното ти поддържа smp_affinity пробвай да разхвърляш натоварването по всичките ядра. Инсталирай htop за да следиш в реално време кой процес, колко CPU взима. Инсталирай вmon, за да виждаш колко трафик минава в реално време, без да товариш CPU-то. Пусни Smokeping до няколко дестинации, на вътре и навън в мрежата ти, за да знаеш ти или доставчика ти се дъните.

разхвърлил съм натоварването погледнете графиката на cpu-то

въпроса ми беше при този хард колко може да се пренесе

[NetworkPro]

Наскоро видях проблем такъв да е от доставчика.

Тествай моля те до всеки хоп латенцията по пътя, за да имаш видимост къде е добре и къде става зле.

П.С. по-нов кърнъл дали няма да ти намали ЦПУ графиката ?

Редактирано 23 Декември, 2012 от NetworkPro

[111111]

Имаш проблем с ланикте или от праисторическия кърнел или от зле компилиран такъв

на последната графика дори ти пише че имаш хардуерни грешки

инсталирай рестриктед пакета с фирмовете

[gbdesign]

E той е с пачван кернел с imq. Ако не го е правил сам, ако обнови кернела, ще загуби шейпъра...

[kokaracha]

Свали си шейпъра и пробвай в почивните дни без него,като си следиш пак трасетата.

Този трафик е много малко за тази машина.

За да можеш да разпределяш товара по карти и ядра ти трябва кернел 2.6.38 и нагоре.

[Тодор Лазаров]

Свали си шейпъра и пробвай в почивните дни без него,като си следиш пак трасетата.

Този трафик е много малко за тази машина.

За да можеш да разпределяш товара по карти и ядра ти трябва кернел 2.6.38 и нагоре.

но с изпълнявайки това:

#Bind eth to CPU

echo 8 > /proc/irq/16/smp_affinity # bind CPU1 eth0

echo 2 > /proc/irq/17/smp_affinity # bind CPU3 eth1

натоварването се разпределя.

           CPU0       CPU1       CPU2       CPU3

  0:		 66		  0		  0		  0   IO-APIC-edge	  timer

  1:		  2		  0		  0		  0   IO-APIC-edge	  i8042

  6:		  3		  0		  0		  0   IO-APIC-edge	  floppy

  8:		  2		  0		  0		  0   IO-APIC-edge	  rtc0

  9:		  0		  0		  0		  0   IO-APIC-fasteoi   acpi

11:		  0		  0		  0		  0   IO-APIC-fasteoi   ohci_hcd:usb1

12:		  4		  0		  0		  0   IO-APIC-edge	  i8042

14:		  0		  0		  0		  0   IO-APIC-edge	  ide0

15:		 84		  0		  0		  0   IO-APIC-edge	  ide1

[b]16:	2217074		  0		  0 1457049240   IO-APIC-fasteoi   eth0[/b]

[b]17:	1084367  489151015		  0		  0   IO-APIC-fasteoi   eth1[/b]

18:  337140964		  0		  0		  0   IO-APIC-fasteoi   megaraid

NMI:		  2		  0		  0		  0   Non-maskable interrupts

LOC: 2185391460 3604206534  674192115 1325237716   Local timer interrupts

RES:  490765347  631526574  486264160  786168079   Rescheduling interrupts

CAL:	 785125	 972070	1035279	1081777   function call interrupts

TLB:  111694165   97793909  118175699  112281854   TLB shootdowns

TRM:		  0		  0		  0		  0   Thermal event interrupts

SPU:		  0		  0		  0		  0   Spurious interrupts

ERR:		  0

MIS:          0

Иначе и при ядра 2.4 има SMP IRQ Affinity https://cs.uwaterloo...MP-affinity.txt ето и какво друго съм добавил:

echo "1743087" > /proc/sys/net/nf_conntrack_max

echo "1743087" > /proc/sys/net/ipv4/netfilter/ip_conntrack_max

echo "16777216" > /proc/sys/net/core/rmem_max

echo "16777216" > /proc/sys/net/core/wmem_max

echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmem

echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_wmem

echo "4096" > /proc/sys/net/core/netdev_max_backlog

echo "4096" > /proc/sys/net/ipv4/tcp_max_syn_backlog

echo "255" > /proc/sys/net/ipv4/ip_default_ttl

echo "15" > /proc/sys/kernel/panic

echo "1" > /proc/sys/kernel/panic_on_oops

Редактирано 25 Декември, 2012 от 111111

[Networker]

Изглежда прекалено натоварена машина само от този трафик. Предполагам, че проблма е от шейпър частта (маркиране/ifb) - инсталирай си oprofile и виж кои процеси колко ти вземат (натоварване).

Пробвал ли си с imq за шейпъра (с ifb не съм пробвал). Как насочваш трафика по опашките (mark или)?

Пробвай да си добавиш едно програме - irqbalance - балансира прекъсванията (има ефект при многопроцесорни машини).

[kokaracha]

разхвърлил съм натоварването погледнете графиката на cpu-то

въпроса ми беше при този хард колко може да се пренесе

Около 3 пъти повече,ако действително е BCM5704 pci-x.

Конкретно от тези съм нямал и незная точно pci или pci-x e. Имам BCM572x и нагоре,pci-e са,стари евтини и работещи.При достигане на 350-mb/s почваха леко да дропят,в границите на допустимото.Оказа се бъг в драйвъра,които после остраниха и заради слабия процесор при мен.

Със smp_affinity/irqbalance правиш разпределение по процесорите само.

От 2.6.35 нагоре има нови техники за разпределениЯ. На тебе ти трябва минимум 2.6.38 за да се възползваш от всички тези нововъведения,отделно по драйвъра е доработено.

Кардинално си решаваш проблема с X9SCI-LN4F ,4x1gb 82574L,евтин процесор.

http://kernelnewbies.org/Linux_2_6_35#head-94daf753b96280181e79a71ca4bb7f7a423e302a

http://lwn.net/Articles/362339/

http://lwn.net/Articles/382428/

http://kernelnewbies.org/Linux_2_6_38#head-3f9849b9abd6e516d0d7f037bff3ce64984ffdd5

[MiPSus]

Процесорите под Дебиан ги решаваш автоматично с

apt-get install irqbalancer

Проблем две ще се реши предполагам със

sysctl net.ipv4.netfilter.ip_conntrack_max=256000

Предполагам е пуснат Проблем три ще го решиш със

hardware Ruby GS-2108C remove

[gbdesign]

irqbalancer както и ръчно сетване на smp_affinity ще имат ефект, само ако се поддържат от дъното и ядрото. С неговото няма да стане. Сложили сте копи/пейст от Ваши конфигурации без да предупредите човека че трябва да се съобрази с определени неща. Примерно irq-тата при него ще са най-вероятно с други номера. После, размера на контракс таблицата зависи от наличната памет, която не е кой знае колко голяма и ако просто е така плясне сетване на sysctl или писане в /proc/sys/net/ipv4... само може да си събори цялата система. Хубаво е питащият да качи iptables-save дъмп, за да може да се види какъв е проблема. Също и част от кернел лога, като интересно е, дали се вдигат софтуерни irq-та, които ще обяснят недвусмислено CPU лоада. С кой драйвер работи мрежовата карта? Оригиналните, но древни атероски или tg3?

Редактирано 24 Декември, 2012 от gbdesign

[MiPSus]

Е те толко глупости на едно место не бех очаквал Жоре съпри се бе, личи си че не работиш с Дебиан и че не си минал 2000 абоната преди да напуснеш.

А и спомних си , че ти имаше по-големи проблеми от колегата при подобно "натоварване" и се купуваха едни "комбайни" като за НАСА

И не аз нямам конфигурации, всичко се пише при старта на рутера и при нужда от нещо , след което си остава с RAM-а , разчитаме на ъптайм Просто пишем наново когато купим нов рутер , винаги има и нещо ново да се добави, и нещо да се забрави.

Редактирано 24 Декември, 2012 от MiPSus