Ищем нелегалов в сети или как я починял сетку

shaman	# 11 лет, 5 месяцев назад
Темы: 26 Сообщения: 379 Участник с: 13 декабря 2009	мде пздц, хрень какая-то либо кто-то специально гадит либо хз есть предположение что сетевухи не тянут, ну блин для свичей стометровых сотня человек фигня, мб сетевухи не справляются? в сети флуда нету все относительно нормально. может стоит попробовать каждый сегмент в отдельную сетевуху воткнуть? зы гард, там не понятно написано :-D

# 11 лет, 5 месяцев назад

Сообщения: 379

Участник с: 13 декабря 2009

мде пздц, хрень какая-то
либо кто-то специально гадит либо хз
есть предположение что сетевухи не тянут, ну блин для свичей стометровых сотня человек фигня, мб сетевухи не справляются?
в сети флуда нету все относительно нормально.
может стоит попробовать каждый сегмент в отдельную сетевуху воткнуть?
зы гард, там не понятно написано :-D

zubastiy	# 11 лет, 5 месяцев назад
Темы: 136 Сообщения: 548 Участник с: 18 сентября 2009	у вас каскадов не присутствует случаем? цепочка из 4 хабов это гарантированные коллизии. в сочетании с свичами там какое то другое правило, но тоже приятного мало. от хабов избавляйтесь в любом случае - ибо флудят в сеть со страшной силой.

zubastiy

# 11 лет, 5 месяцев назад

Темы: 136

Сообщения: 548

Участник с: 18 сентября 2009

у вас каскадов не присутствует случаем?
цепочка из 4 хабов это гарантированные коллизии. в сочетании с свичами там какое то другое правило, но тоже приятного мало.

от хабов избавляйтесь в любом случае - ибо флудят в сеть со страшной силой.

shaman	# 11 лет, 5 месяцев назад
Темы: 26 Сообщения: 379 Участник с: 13 декабря 2009	прив, еще раз :) вроде стабилизировалось чуток. какие параметры надо подкрутить у сервака, с натом и шейпером? я имею в виду буферы всякие

zubastiy	# 11 лет, 5 месяцев назад
Темы: 136 Сообщения: 548 Участник с: 18 сентября 2009	Shaman прив, еще раз :) вроде стабилизировалось чуток. какие параметры надо подкрутить у сервака, с натом и шейпером? я имею в виду буферы всякие с какой целью собрался крутить? где то в производительности серверов есть затык? что за дистрибутив-ядро? посмотри нет ли в dmesg записей на предмет Neighbour table overflow - тогда точно забита arp таблица cat /proc/sys/net/ipv4/neigh/default/gc_thresh1 cat /proc/sys/net/ipv4/neigh/default/gc_thresh2 cat /proc/sys/net/ipv4/neigh/default/gc_thresh3 кратно - 2-3 раза увеличиваем значения, это лечит переполнение апр таблицы http://grokbase.com/topic/2008/03/12/ce … h35ODSUvyI - 300 компов, случайно ли совпадение? ))

zubastiy

# 11 лет, 5 месяцев назад

Темы: 136

Сообщения: 548

Участник с: 18 сентября 2009

Shaman
прив, еще раз :)
вроде стабилизировалось чуток.
какие параметры надо подкрутить у сервака, с натом и шейпером? я имею в виду буферы всякие

с какой целью собрался крутить?
где то в производительности серверов есть затык?
что за дистрибутив-ядро?

посмотри нет ли в dmesg записей на предмет Neighbour table overflow - тогда точно забита arp таблица

cat /proc/sys/net/ipv4/neigh/default/gc_thresh1
cat /proc/sys/net/ipv4/neigh/default/gc_thresh2
cat /proc/sys/net/ipv4/neigh/default/gc_thresh3

кратно - 2-3 раза увеличиваем значения, это лечит переполнение апр таблицы

http://grokbase.com/topic/2008/03/12/ce … h35ODSUvyI - 300 компов, случайно ли совпадение? ))

shaman	# 11 лет, 5 месяцев назад
Темы: 26 Сообщения: 379 Участник с: 13 декабря 2009	арчик стандартное ядро 2.6.35. арп таблица не забивается, подозреваю, что проблема где-то в районе ната, и кол-ва сессий и тд.

zubastiy	# 11 лет, 5 месяцев назад
Темы: 136 Сообщения: 548 Участник с: 18 сентября 2009	Shaman арчик стандартное ядро 2.6.35. арп таблица не забивается, подозреваю, что проблема где-то в районе ната, и кол-ва сессий и тд. надо не подозревать, а быть уверенным ) читай dmesg гугли tcp tuning - чтонить типа http://www.opennet.ru/tips/info/1417.shtml http://people.redhat.com/alikins/system_tuning.html#tcp http://people.redhat.com/alikins/system … ml#network но вообще, я думаю таки про арп таблицу. в выходные народу много, а по умолчанию арп таблица настроена на 256 записей

zubastiy

# 11 лет, 5 месяцев назад

Темы: 136

Сообщения: 548

Участник с: 18 сентября 2009

Shaman
арчик стандартное ядро 2.6.35. арп таблица не забивается, подозреваю, что проблема где-то в районе ната, и кол-ва сессий и тд.

надо не подозревать, а быть уверенным )
читай dmesg
гугли tcp tuning - чтонить типа http://www.opennet.ru/tips/info/1417.shtml
http://people.redhat.com/alikins/system_tuning.html#tcp
http://people.redhat.com/alikins/system … ml#network

но вообще, я думаю таки про арп таблицу. в выходные народу много, а по умолчанию арп таблица настроена на 256 записей

shaman	# 11 лет, 5 месяцев назад
Темы: 26 Сообщения: 379 Участник с: 13 декабря 2009	почитал, настроил, видимых изменений нету, посмотрим что вечером будет если буферы переполняются, в логах что-нибудь будет, так? просто сейчас там все норм. нмап же поругивается, выше писал как ———————————– немного тут порассуждаю:) мб натолкнете на мысль :) тк на серве в логах пусто, аномалий нету, тк буферы не переполняются и на интерфейсе пакеты не теряются ( я анализировал выводы ifconfig, содержимое /proc/sys/net/) то я делаю вывод что серв в принципе работает в штатном режиме без аномалий. об этом так же говорит ситуация днем, когда народу немного, и все “летает”. вечером же включают десятки машин, возрастает поток пакетов. свичи не выключаются в принципе. те можно сделать вывод, что от нагрузки какому-то свичу сносит крышу или кто-то делает кольцо через вайфай ну или кабелем, который днём вытаскивает. так же интересна ситуация с “расшариванием” инета в винде, проявляет ли она какую либо активность в сети, типа дхцп, широковещательных сообщений, о том, что у неё есть инет и тд и тп. то есть существует версия что комп пытаясь получить адрес не может отдать предпочтение тому или иному серверу. еще люди говорят, что днем если адрес получить, то вечером серв в принципе видно, но иногда он пропадает на 10-20 сек. в логах ничего. в случае глюков, просто отключить сегмент недостаточно. нужно перезагрузить свич в который он втыкался, тогда другие сегменты адрес получают. если воткнуть недостающий сегмент, то через 1-10 сек глюк опять появляется в остальных частях сети. подозреваю, что это из-за арп таблицы, который при выключении сбрасывается. в таком случае мы можем иметь некорректные данные на свиче (два мака на разных портах (кольцо), просто левые маки (флуд)). просмотрев по возможности все компы в сегменте, мы нашли три компа раздающих инет, отключение на них раздачи инета ничего не дало. вот такие мысли пока :) хотелось бы послушать мнение людей которые сталкивались с неисправностями оборудования, например, насколько непредсказуемо ведет себя горелый свич, в частности под нагрузкой?

shaman

# 11 лет, 5 месяцев назад

Темы: 26

Сообщения: 379

Участник с: 13 декабря 2009

почитал, настроил, видимых изменений нету, посмотрим что вечером будет
если буферы переполняются, в логах что-нибудь будет, так?
просто сейчас там все норм. нмап же поругивается, выше писал как
———————————–
немного тут порассуждаю:) мб натолкнете на мысль :)
тк на серве в логах пусто, аномалий нету, тк буферы не переполняются и на интерфейсе пакеты не теряются ( я анализировал выводы ifconfig, содержимое /proc/sys/net/) то я делаю вывод что серв в принципе работает в штатном режиме без аномалий. об этом так же говорит ситуация днем, когда народу немного, и все “летает”. вечером же включают десятки машин, возрастает поток пакетов. свичи не выключаются в принципе. те можно сделать вывод, что от нагрузки какому-то свичу сносит крышу или кто-то делает кольцо через вайфай ну или кабелем, который днём вытаскивает. так же интересна ситуация с “расшариванием” инета в винде, проявляет ли она какую либо активность в сети, типа дхцп, широковещательных сообщений, о том, что у неё есть инет и тд и тп. то есть существует версия что комп пытаясь получить адрес не может отдать предпочтение тому или иному серверу. еще люди говорят, что днем если адрес получить, то вечером серв в принципе видно, но иногда он пропадает на 10-20 сек. в логах ничего. в случае глюков, просто отключить сегмент недостаточно. нужно перезагрузить свич в который он втыкался, тогда другие сегменты адрес получают. если воткнуть недостающий сегмент, то через 1-10 сек глюк опять появляется в остальных частях сети. подозреваю, что это из-за арп таблицы, который при выключении сбрасывается. в таком случае мы можем иметь некорректные данные на свиче (два мака на разных портах (кольцо), просто левые маки (флуд)). просмотрев по возможности все компы в сегменте, мы нашли три компа раздающих инет, отключение на них раздачи инета ничего не дало.
вот такие мысли пока :)
хотелось бы послушать мнение людей которые сталкивались с неисправностями оборудования, например, насколько непредсказуемо ведет себя горелый свич, в частности под нагрузкой?

zubastiy	# 11 лет, 5 месяцев назад
Темы: 136 Сообщения: 548 Участник с: 18 сентября 2009	после перенастройки - нужно передернуть интерфейсы, иначе не отработает. про ошибки в логах, да, будут. по коллизиям - случалось всякое. дурковали хабы, в основном, но иногда свичи длинковские отличались. по большей части глючившие свичи торкало ввиду плохого питания. но были и “дурни” из коробки (длинк, 5-8 портов) но мне везло - хотя бы один управляемый свич всегда был. и порты с которых шел вредоносный трафик можно было хоть как то проследить. ВЫКИДЫВАЙТЕ хабы. прямо сичас! ) даже если он (хаб) не глючит - всегда выступает в качестве повторителя на L1 уровне, кто то передает данные через него - все остальные порты хаба эти данные получают и передавать данные в этот момент не могут. горелый свич под нагрузкой ведет предсказуемо - он предсказуемо глючит ) но возможны вариации. у меня есть несколько модульных hp4000 где на отдельных модулях выгорело по одному-два порта. если эти порты принудительно выключены (из консоли) - свич работает нормально. если включены (пусть даже ничего не воткнуто) свич торкает по всякому, то один модуль отвалится, то вообще свич перестает пакеты пересылать, хотя по телнету доступен. с другой стороны - есть неуправляемый длинк с сгоревшим портом, работает - если в сгоревший порт ничего не втыкать. “нужно перезагрузить свич в который он втыкался” что за модель свича через который подключен сегмент? насколько большой сегмент (колво компов) и как много там еще за ним свичей? нет ли там хабов? в момент глюка сети, на компе клиента посмотреть arp таблицу. попробовать прописать arp адрес сервера с указанием ip сервера - и попробовать его пингануть. в стандартном режиме винда не выступает в качестве dhcp сервера, но ктонить может его поднять. надо исследовать траффик на предмет DHCPOFFER от каких либо злодеев. а! еще ктонить может шутить на предмет подстановки арпа адресов серверов к своим сетевухам. или поставить себе на комп такой же ip что и у интерфейсов серверов. можно в разгар глюков вытащить хвосты из серверов и попинговать их ip с других машин. есть еще arp ping (для исследования не подделывает ли кто arp) если внезапно ответит (при отключенных от сети серверах) - бери витую пару и иди по шнурку с целью покарать )

zubastiy

# 11 лет, 5 месяцев назад

Темы: 136

Сообщения: 548

Участник с: 18 сентября 2009

после перенастройки - нужно передернуть интерфейсы, иначе не отработает.
про ошибки в логах, да, будут.

по коллизиям - случалось всякое. дурковали хабы, в основном, но иногда свичи длинковские отличались. по большей части глючившие свичи торкало ввиду плохого питания. но были и “дурни” из коробки (длинк, 5-8 портов)
но мне везло - хотя бы один управляемый свич всегда был. и порты с которых шел вредоносный трафик можно было хоть как то проследить.

ВЫКИДЫВАЙТЕ хабы. прямо сичас! ) даже если он (хаб) не глючит - всегда выступает в качестве повторителя на L1 уровне,
кто то передает данные через него - все остальные порты хаба эти данные получают и передавать данные в этот момент не могут.

горелый свич под нагрузкой ведет предсказуемо - он предсказуемо глючит )

но возможны вариации. у меня есть несколько модульных hp4000 где на отдельных модулях выгорело по одному-два порта. если эти порты принудительно выключены (из консоли) - свич работает нормально. если включены (пусть даже ничего не воткнуто) свич торкает по всякому, то один модуль отвалится, то вообще свич перестает пакеты пересылать, хотя по телнету доступен.

с другой стороны - есть неуправляемый длинк с сгоревшим портом, работает - если в сгоревший порт ничего не втыкать.

“нужно перезагрузить свич в который он втыкался” что за модель свича через который подключен сегмент? насколько большой сегмент (колво компов) и как много там еще за ним свичей? нет ли там хабов?
в момент глюка сети, на компе клиента посмотреть arp таблицу. попробовать прописать arp адрес сервера с указанием ip сервера - и попробовать его пингануть.

в стандартном режиме винда не выступает в качестве dhcp сервера, но ктонить может его поднять. надо исследовать траффик на предмет DHCPOFFER от каких либо злодеев.

а! еще ктонить может шутить на предмет подстановки арпа адресов серверов к своим сетевухам.
или поставить себе на комп такой же ip что и у интерфейсов серверов.

можно в разгар глюков вытащить хвосты из серверов и попинговать их ip с других машин. есть еще arp ping (для исследования не подделывает ли кто arp) если внезапно ответит (при отключенных от сети серверах) - бери витую пару и иди по шнурку с целью покарать )

shaman	# 11 лет, 5 месяцев назад
Темы: 26 Сообщения: 379 Участник с: 13 декабря 2009	интерфейсы щас по удаленке дерну, а остальное в понедельник, у меня выходной, потерпят :-D про хабы я в курсе, их и не осталось вроде, везде свичи. пара хабов может валяется у кого-нибудь. “нужно перезагрузить свич в который он втыкался” что за модель свича через который подключен сегмент? насколько большой сегмент (колво компов) и как много там еще за ним свичей? нет ли там хабов? d'link des-1016. в сегменте порядка сотни хостов, весь 5 этаж отдельно. этот сегмент к серваку должен был подключатся напрямую, но рядом с сервом комната есть, которая не подключена к своей магистрали (4 этаж), ради них свич стоит. хвост 5-го этажа идет в tp-link 24-х портовый, от него tp-link`и по 8-мь портов, от которых хвосты в комнаты. в комнатах же люди могут ставить свои свичи, хабы и тд. пара хабов может есть. в основном tp-link и dlink 5-ти портовые. в пятницу мы чуток сетку переделали, пару магистральных свичей выкинули, и хвосты с каждого этажа (4 хвоста) в сервак воткнули напрямую. да я знаю что это извращение и хотя бы одна управляшка с виланами нам помогла бы, но финансов нету. :) вчера в общагу звонил, спрашивал что да как, все сегменты кроме одного работают. что еще раз подтверждает работоспособность серва :) на предмет левых дхцп я периодически сеть проверяю dhcdrop'ом тишина. арпы с айпи не подделывают, tcpdump так сказал :)

shaman

# 11 лет, 5 месяцев назад

Темы: 26

Сообщения: 379

Участник с: 13 декабря 2009

интерфейсы щас по удаленке дерну, а остальное в понедельник, у меня выходной, потерпят :-D
про хабы я в курсе, их и не осталось вроде, везде свичи. пара хабов может валяется у кого-нибудь.

“нужно перезагрузить свич в который он втыкался” что за модель свича через который подключен сегмент? насколько большой сегмент (колво компов) и как много там еще за ним свичей? нет ли там хабов?

d'link des-1016. в сегменте порядка сотни хостов, весь 5 этаж отдельно. этот сегмент к серваку должен был подключатся напрямую, но рядом с сервом комната есть, которая не подключена к своей магистрали (4 этаж), ради них свич стоит. хвост 5-го этажа идет в tp-link 24-х портовый, от него tp-link`и по 8-мь портов, от которых хвосты в комнаты. в комнатах же люди могут ставить свои свичи, хабы и тд. пара хабов может есть. в основном tp-link и dlink 5-ти портовые.
в пятницу мы чуток сетку переделали, пару магистральных свичей выкинули, и хвосты с каждого этажа (4 хвоста) в сервак воткнули напрямую. да я знаю что это извращение и хотя бы одна управляшка с виланами нам помогла бы, но финансов нету. :) вчера в общагу звонил, спрашивал что да как, все сегменты кроме одного работают. что еще раз подтверждает работоспособность серва :)

на предмет левых дхцп я периодически сеть проверяю dhcdrop'ом тишина.
арпы с айпи не подделывают, tcpdump так сказал :)

zubastiy	# 11 лет, 5 месяцев назад
Темы: 136 Сообщения: 548 Участник с: 18 сентября 2009	для каждого сегмента отдельная сетевуха - отдельная подсеть? если нет, имхо стоит разнести по сетевухам. отдельные подсети разделят броадкастный трафик . можно еще развести прерывания от сетевух по разным ядрам процессора (если таковые есть) гипертрединг тоже годный для этого. уменьшит задержки и нагрузку на цпу при нате. http://habrahabr.ru/blogs/sysadm/108240/

zubastiy

# 11 лет, 5 месяцев назад

Темы: 136

Сообщения: 548

Участник с: 18 сентября 2009

для каждого сегмента отдельная сетевуха - отдельная подсеть?

если нет, имхо стоит разнести по сетевухам. отдельные подсети разделят броадкастный трафик .
можно еще развести прерывания от сетевух по разным ядрам процессора (если таковые есть) гипертрединг тоже годный для этого. уменьшит задержки и нагрузку на цпу при нате.
http://habrahabr.ru/blogs/sysadm/108240/