И с'я ко праи'м ?!

[Соколов]

Ще минат накрая всички по тунелите и тогава не ми е ясно какво логване ще искат...

[SS7]

ДОбре де, доколкото виждам КРС иска единствено да им се изпрати адрес и човек за контакти. Нищо друго.

Тълкуването на закона е друго , доколкото аз узпявам да го изтълкувам, никакъв лог на целия тряфик не трябва да се прави ( то това граничи с невъзможното)

Нещото, което трябва да осигуриш в последствие, е кат доядат милиционерите и кажат " я да видим тоя ип адрес на кой е" , ти да можеш да им отговориш. И то с отговор можещ да служи като доказателство (те това не го виждам как ще стане ама.....)

Освен да се очаква поредната простотия и техника за няколко к. лева  .....  Пробвах да логна трафика за 1 мин на изходящия интерфейс /tcpdump/ - 115МБ лог и то в ненатоварено време .Изобщо не ми е ясна тая цялата идея ,но както и да е ......

[byte]

Това дето го искат КРС, тука минаха директно БОБ-аджийте и си го поискаха.

Пратихме телефон, който ще се дига 24ч. в денонощието.

Относно това какво искат да им казваме, отговориха ... не знаем ...

[Тодор Лазаров]

ДОбре де, доколкото виждам КРС иска единствено да им се изпрати адрес и човек за контакти. Нищо друго.

Тълкуването на закона е друго , доколкото аз узпявам да го изтълкувам, никакъв лог на целия тряфик не трябва да се прави ( то това граничи с невъзможното)

Нещото, което трябва да осигуриш в последствие, е кат доядат милиционерите и кажат " я да видим тоя ип адрес на кой е" , ти да можеш да им отговориш. И то с отговор можещ да служи като доказателство (те това не го виждам как ще стане ама.....)

Ми ето и моята проба

ipcad за сонда на Дебиан

nfdump за събиране на трафика също на Дебиан-а

пуснал съм го на интерфейс със средно натоварване 40-50 мбит-а

за времето от 2010-08-05 20:52 до 2010-08-06 15:07 - приблизително 18 часа

данните са около 600Мбит-а

формата е nflow v5

../bin/nfdump -R /usr/local/nfdump/cache -n 20 -s proto

Date first seen          Duration Proto          Protocol    Flows(%)    Packets(%)      Bytes(%)        pps      bps  bpp

2010-08-05 20:52:05.951 65586.979 UDP                  17  21.3 M(71.2)  137.2 M(32.0)  70.9 G(24.4)    2092    8.6 M  516

2010-08-05 20:52:05.951 65586.976 TCP                  6    6.2 M(20.7)  242.8 M(56.7)  188.9 G(64.9)    3701  23.0 M  777

2010-08-05 20:52:05.952 65586.958 ICMP                  1    2.4 M( 8.1)    6.0 M( 1.4)  623.1 M( 0.2)      91    76008  103

2010-08-05 20:52:05.951 65378.741 GRE                  47    1828( 0.0)  42.3 M( 9.9)  30.6 G(10.5)      646    3.7 M  723

2010-08-06 07:59:25.380    0.000 138                138        1( 0.0)        1( 0.0)      255( 0.0)        0        0  255

Summary: total flows: 29958848, total bytes: 290.9 G, total packets: 428.3 M, avg bps: 35.5 M, avg pps: 6529, avg bpp: 679

Time window: 2010-08-05 20:52:05 - 2010-08-06 15:05:12

Total flows processed: 29958848, Blocks skipped: 0, Bytes read: 1557882800

Sys: 73.924s flows/second: 405262.1  Wall: 93.685s flows/second: 319781.1 Date first seen          Duration Proto          Protocol    Flows(%)    Packets(%)      Bytes(%)        pps      bps  bpp

2010-08-05 20:52:05.951 65586.979 UDP                  17  21.3 M(71.2)  137.2 M(32.0)  70.9 G(24.4)    2092    8.6 M  516

2010-08-05 20:52:05.951 65586.976 TCP                  6    6.2 M(20.7)    242.8 M(56.7)  188.9 G(64.9)    3701  23.0 M  777

2010-08-05 20:52:05.952 65586.958 ICMP                  1    2.4 M( 8.1)      6.0 M( 1.4)  623.1 M( 0.2)      91    76008  103

2010-08-05 20:52:05.951 65378.741 GRE                  47    1828( 0.0)      42.3 M( 9.9)  30.6 G(10.5)      646    3.7 M  723

2010-08-06 07:59:25.380    0.000  138                138        1( 0.0)            1( 0.0)      255( 0.0)        0        0  255

Summary: total flows: 29958848, total bytes: 290.9 G, total packets: 428.3 M, avg bps: 35.5 M, avg pps: 6529, avg bpp: 679

Time window: 2010-08-05 20:52:05 - 2010-08-06 15:05:12

Total flows processed: 29958848, Blocks skipped: 0, Bytes read: 1557882800

Sys: 73.924s flows/second: 405262.1  Wall: 93.685s flows/second: 319781.1

Както се вижда логнат е 290.9 G трафик със средна скорост 35.5М

Абе ако трафика Вие е около 100Мбит-а то една машинка P4 2Г RAM и 2x500HDD биха ви стигнали.

Не забравяите това документира само връзките

т.е.

../bin/nfdump -r nfcapd.201008052307 -o extended | more

Date flow start          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port  Flags Tos  Packets    Bytes      pps      bps    Bpp Flows

2010-08-05 23:05:12.666    0.000 UDP      84.54.155.18:7623  ->      86.52.151.1:24686 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.664    0.000 UDP      109.74.208.70:35691 ->    84.54.155.18:7623  ......  32        1      309        0        0    309    1

2010-08-05 23:05:12.663    0.000 TCP    192.168.226.87:3204  ->      84.40.83.21:7420  .A...F  0        1      40        0        0    40    1

2010-08-05 23:05:12.662    0.000 UDP    96.225.235.180:11111 ->    192.168.108.4:21352 ......  32        1      309        0        0    309    1

2010-08-05 23:05:12.661    0.000 UDP      192.168.108.4:21352 ->  114.134.196.234:29638 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.659    0.000 UDP    192.168.120.251:62122 ->    81.167.81.121:46938 ......  0        1      131        0        0    131    1

2010-08-05 23:05:12.659    0.000 UDP    192.168.226.252:1513  ->    85.217.136.8:61709 ......  0        1      44        0        0    44    1

2010-08-05 23:05:12.654    0.000 UDP      84.54.155.18:7623  ->  95.136.133.127:24117 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.652    0.000 UDP      192.168.108.4:21352 ->    83.40.37.218:7591  ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.644    0.000 UDP      84.54.155.18:7623  ->    84.25.48.101:39262 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.641    0.000 UDP      76.22.151.12:19403 ->    84.54.155.18:7623  ......  0        1      300        0        0    300    1

2010-08-05 23:05:12.640    0.000 UDP      192.168.108.4:21352 ->    173.72.121.2:48963 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.639    0.000 TCP      92.123.69.10:80    ->    84.54.155.26:4765  .AP...  32        2    2312        0        0  1156    1

2010-08-05 23:05:12.633    0.000 UDP      84.54.155.18:7623  ->    85.130.47.21:10961 ......  0        1      126        0        0    126    1

2010-08-05 23:05:12.630    0.000 UDP      192.168.108.4:21352 ->      92.80.66.16:10008 ......  0        1      126        0        0    126    1

Което мисля че може да свърши работа

Тези дни ще пробвам и

netflow-sampled: If the NetFlow export mechanism is used, this option instructs

the interface to supply only one out of N packets to the Net- Flow accounting code,

thus lowering the CPU and memory requirements. 

The  value of N is configured explicitly in a NetFlow configuration section.

[SS7]

Мда, понеже имах един договор на изживяване, боб-аджиите ми изровиха телефона от накъде, обадиха се и ми поискаха писмо със същите неща  - адрес, човек и телефон за 24/7.

Искаха и актуално състояние , ма им казах да ходят да си извадят от съда, щот на мен ми не требе, па има един закон за тия неща.

Това преди 3-4 месеца , ама вече се отървах - ни купувам  вече нет, ни продавам.

Това дето го искат КРС, тука минаха директно БОБ-аджийте и си го поискаха.

Пратихме телефон, който ще се дига 24ч. в денонощието.

Относно това какво искат да им казваме, отговориха ... не знаем ...

[Тодор Лазаров]

Виж работата не е толкова зле.

Мен ме яд на друго, че ние ще правим справки и логове, но няма кой да ги чете и разбира ...

Иначе за ISP до 100Мбит online traffic оборудването няма да е повече от 1000 лева.

За по-голямо натоварване незнам ... Миле да му мисли ...

Между другото с netflow може да се прави и не лоша статистика ...

А за големите vivacom, blizzo, и etc незнам ...

Интересно е ми ако трябва един bix.bg да прави netflow ...

http://www.bix.bg/bg/bg_technical_information/traffic_statistics.html

 

Какво пък съм се замислил ... аз отивам да пия бяло вино с риба ... и пак да умувам ...

[¤ DJ69 ¤ (ツ) ¤]

И аз получих 

[byte]

На около 500 вързани потребители на pppoe, и ако предположим че ползваме conntrack-а за сорс.

То всяка една секунда се закриват 1200~1400 конекции.

Та ... някои мъчил ли се е да подкара 5000-6000 insert-а per second в mysql ?

[Intel]

И аз го получих.

Изпратих и писмо с адрес, имена и телефон за контакт.

[kokaracha]

На около 500 вързани потребители на pppoe, и ако предположим че ползваме conntrack-а за сорс.

То всяка една секунда се закриват 1200~1400 конекции.

Та ... някои мъчил ли се е да подкара 5000-6000 insert-а per second в mysql ?

Тестово 250 вързани на пппое,ползва се conntracinga, около 100mb/s.

Mysql-a на отделна машина,4 процесора.

top - 19:45:22 up 19 days, 21:55,  2 users,  load average: 4.40, 4.42, 2.45

Tasks: 135 total,   1 running, 134 sleeping,   0 stopped,   0 zombie

Cpu(s): 43.0%us,  9.8%sy,  0.0%ni, 43.8%id,  3.1%wa,  0.0%hi,  0.3%si,  0.0%st

Mem:   1555192k total,  1520964k used,    34228k free,    71456k buffers

Swap:  1048568k total,       24k used,  1048544k free,   798696k cached



Tasks: 136 total,   3 running, 133 sleeping,   0 stopped,   0 zombie

Cpu0  : 26.2%us,  5.3%sy,  0.0%ni, 68.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu1  : 23.8%us,  6.3%sy,  0.0%ni, 16.5%id, 52.5%wa,  0.3%hi,  0.7%si,  0.0%st

Cpu2  : 19.7%us,  4.1%sy,  0.0%ni, 76.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu3  : 21.2%us,  4.7%sy,  0.0%ni, 74.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:   1555192k total,  1521580k used,    33612k free,    71380k buffers

Swap:  1048568k total,       24k used,  1048544k free,   798008k cached


  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                           

20555 mysql     15   0  406m 130m 4552 S  103  8.6 319:36.86 mysqld  

Насочи се към

http://ipt-netflow.sourceforge.net

[Тодор Лазаров]

Cроред мен тъпченето в някоя база /mysql, pgsql/ ще имаш проблем

тока ще получиш огрoмна база

При мен при 80-100Мбит трафик имам 85 милиона flow record на ден, ми за 360 дни ...

И тогава 360x85 милиона записи едва ли очаквате сървера да ви върне справка за части от секундата.

Затова пускате си сондата /ipcad, flowd ../ след което с някой netflow analyzer /flow-tools /

съхранявате фаиловете на диска /при мен около 1Г на ден /

За визуализация позвам wvnetflow /netflow analyzer/, но може и конзолен ред с flow-tools

Относно Netflow iptables module да препоръчват го много руснаци.

Но това е само Netflow exporting module for Linux kernel, т.е само слуша на интерфеисите - collector

А самата обработка /събиране в файлове или база трябва да си е правите пак/

Иначе за в момента до 100Мбит ipcad товари около 10% с ipt-netflow може и да намалите този товар на CPU-to но ще трябва да пачвате кернела.

Друг е въпроса че може и никога да не се наложи да ровите тази база ...

1. Flow Collector

- ipcad на Linux router-a или ipt-netflow

- ако е микротик той си има /99% съм сигорен че се ползва ipcad/

- ако е cisco той си има

2. Flow analyzer

- тука Linux server с няколко диска и flow-tools

Това според мен е най лекия вариант.

Иначе е добре да се прочете това:

http://delian.blogspot.com/2008/05/blog-post_13.html

Ето и част от този пост:

Малко са доставчиците в състояние да събират дори груба статистика. Но дори тези, които заблудено си мислят, че разчитайки на технологии като NetFlow, JFlow и SFlow от маршрутизаторите, са подсигурени, ще ги изненадам, че не е така. Тези технологии логват сесии, спазвайки следното ограничение:

Не се гарантира достоверност – особено не и за начало и край на сесия (разместени часовници, някоя прекалено дълга сесия може да се нареже на сегменти или да бъде дропната от списъка предварително, преди да е приключила).

Не се гарантира пълнота на информацията – фрагментираните пакети не се записват като сесии (а те могат да представляват между 10% и 100% от трафика), сесиите които са извън списъка от поддържаните от системите (сто хиляди, милион…) не се логват също. Следователно е много вероятно да се е случило нещо, което да не е отбелязано. А и е лесно „логването” да се заобиколни.

Въпреки че по изключение логващите протоколи могат да работят въз основата на сигурен транспорт, те като цяло не ползват такъв. Това значи, че загуба на информация или фалшива информация може да бъде генерирана от трето лице, която по-късно да бъде класифицирана като истинска.

NetFlow, JFlow, SFlow не носят адекватна информация за физическите интерфейси, през които минава трафика на устройството генериращо логовете. Причините са различни (неправилен update на SNMP Index, expired cache на SNMP interface table, и т.н. и т.н.) , но резултата е един – не може да се получи, или не може да се вярва на физическия път генериран от такива логове. Следователно няма как да се вярва дали източника е този, който изглежда – тоест IP адреса от който изглежда, че е генериран трафика може да бъде и грешен (IP Spoofing).

NetFlow, JFlow, SFlow логват само външни полета за пренасяния трафик, но не и допълнителни опции променящи поведението на трафика. Пример – дефинирания в RFC791 метод IP loose & strict source routing. Съгласно “gateway configuration policy”-то това е задължителна опция за всички маршрутизатори в Интернет. Нейната цел е да подсигурява форма на Traffic Engineering за американските военни, а именно да могат да прекарат трафик през строго определена точка в Интернет, и той да се върне през нея. През 90-те имаше изключителна мода да се използват тези опции за хакване на различни системи. Те не се логват. Можеш да си сложиш какъвто си искаш IP адрес и да прекараш трафика през подходящ път, той да се върне при теб, и да заобиколиш филтри. Особено моден бе за атакуване на Windows 98 и Remote Shell отворени UNIX системи. Тогава се приеха известни правила как да се пазим от тези случаи, дори някой доставчици изключиха loose source routing поддръжката в маршрутизаторите си (вече тази мода отмина), но тези опции позволяват едно – да се логне трафик от подслушваща машина, който да не е в действителност между логнатите адреси и следователно лога да е подвеждащ. Отново пример за това как информацията подавана от подобни системи не само, че може да е неадекватна, но и подвеждаща.

...

p.s

поне ще имате някаква база, по добре от нищо ...

Иначе горното е 100% така.

И аз съм сигорен че след няколко проверки законово имащите ще спрат да я търсят тази информация ...

Така че правете колкото се може по малко инвестиций ... на принципа да има нещо ... Защото не може да имате 100% достоверност и пълнота, и може въобще никой да не ви поиска нищо като справка ...

За мен това е една бита карта ...

Плюса е че поне за обща култура ще прочетем това и онова .. Ебе ще си направим една гимнастика

Иначе в ерата на Гига и Тера това няма как да стане. Лошото е че който е писал закона не му стига акъла, за това да го обмисли.

Едно е нещото, което много трудно се осъзнава от тези хората, че вече не сме в 80-те години на 20-ти век, когато се вярваше, че компютрите са просто инструменти и всяко тяхно действие е инициирано от човек, и следователно човека носи отговорност за него. Тогава комуникацията бе само човек-машина. Днес обаче вече имаме и комуникации машина-машина, които се развиват толкова, че пряката човешка отговорност започва да става все по-индиректна и имагинерна.

пак цитат от Делян

[111111]

Да споделя малко опит от жабарско

тука това нещо бачка от 3-4 години

обаче няма престаравки каквито има описани в предните постове

то и няма нужда

за к'ъв чеп ви е да логвате всичко 

тука карабинерите ги интересува

какво е ИП-то на лузера и от колко до колко е кибичил в нета

останалото не е проблем на доставчика

[iso]

Е да де ма тука хората искат друго .... Виж документа в първият пост .Идентификации ,от къде на къде /от дясно на ляво - от ляво на дясно/ на маика им ..... Бахти идиотщината ...

ПС:Пробвах да го компилна тоя ipcad ,хвърля некви гешки ... /debian lenny/ .Не съм задълбавал засега че малко нямам свободно време точно за това сега .

[111111]

спорно е второто тиренце 

което нарушава правата на клиента 

затова и тук няма такова 

ако е хаквал сайта "х" от неговите логове ще се види кога и кой

не да става безсмислен лов на вещици

[Тодор Лазаров]

Е да де ма тука хората искат друго .... Виж документа в първият пост .Идентификации ,от къде на къде /от дясно на ляво - от ляво на дясно/ на маика им ..... Бахти идиотщината ...

ПС:Пробвах да го компилна тоя ipcad ,хвърля некви гешки ... /debian lenny/ .Не съм задълбавал засега че малко нямам свободно време точно за това сега .

Каква грешка дай да я видим

може нещо dev да не е инсталирано ...