archlinux.org.ru перегружен?

zeus	# 8 лет, 10 месяцев назад
Темы: 95 Сообщения: 1094 Участник с: 28 октября 2006	Natrio zeus На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована. Ясно. Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность? Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт. Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла

# 8 лет, 10 месяцев назад

Сообщения: 1094

Участник с: 28 октября 2006

Natrio
zeus
На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована.
Ясно.
Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность?

Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт.

Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла

konstantinov-ms	# 8 лет, 10 месяцев назад
Темы: 15 Сообщения: 636 Участник с: 29 ноября 2009	Так скидываться нужно или нет? Если нужно, выложите, пожалуйста, номера кошельков. А то что-то не нашёл на сайте.

corner	# 8 лет, 10 месяцев назад
Темы: 6 Сообщения: 773 Участник с: 21 июля 2011	zeus Natrio zeus На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована. Ясно. Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность? Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт. Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла Интересно, если не секрет, во сколько обходится это удовольствие в месяц? Заодно, уж извините, попробовал прогнать корень сайта через siege. siege -t30S -c20 -d1 http://archlinux.org.ru/ SIEGE 3.0.5 Preparing 20 concurrent users for battle. The server is now under siege... Lifting the server siege.. done. Transactions: 98 hits Availability: 100.00 % Elapsed time: 29.99 secs Data transferred: 0.30 MB Response time: 4.89 secs Transaction rate: 3.27 trans/sec Throughput: 0.01 MB/sec Concurrency: 15.98 Successful transactions: 98 Failed transactions: 0 Longest transaction: 12.27 Shortest transaction: 0.26 Это хороший показатель?

corner

# 8 лет, 10 месяцев назад

Темы: 6

Сообщения: 773

Участник с: 21 июля 2011

zeus
Natrio
zeus
На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована.
Ясно.
Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность?

Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт.

Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла

Интересно, если не секрет, во сколько обходится это удовольствие в месяц?
Заодно, уж извините, попробовал прогнать корень сайта через siege.

siege -t30S -c20 -d1 http://archlinux.org.ru/
** SIEGE 3.0.5
** Preparing 20 concurrent users for battle.
The server is now under siege...
Lifting the server siege..      done.
Transactions:                     98 hits
Availability:                 100.00 %
Elapsed time:                  29.99 secs
Data transferred:               0.30 MB
Response time:                  4.89 secs
Transaction rate:               3.27 trans/sec
Throughput:                     0.01 MB/sec
Concurrency:                   15.98
Successful transactions:          98
Failed transactions:               0
Longest transaction:           12.27
Shortest transaction:           0.26

Это хороший показатель?

Natrio	# 8 лет, 10 месяцев назад
Темы: 47 Сообщения: 4763 Участник с: 08 января 2011	zeus на микросервере ec2 Какие у него параметры?

zeus	# 8 лет, 10 месяцев назад
Темы: 95 Сообщения: 1094 Участник с: 28 октября 2006	corner zeus Natrio zeus На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована. Ясно. Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность? Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт. Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла Интересно, если не секрет, во сколько обходится это удовольствие в месяц? Заодно, уж извините, попробовал прогнать корень сайта через siege. siege -t30S -c20 -d1 http://archlinux.org.ru/ SIEGE 3.0.5 Preparing 20 concurrent users for battle. The server is now under siege... Lifting the server siege.. done. Transactions: 98 hits Availability: 100.00 % Elapsed time: 29.99 secs Data transferred: 0.30 MB Response time: 4.89 secs Transaction rate: 3.27 trans/sec Throughput: 0.01 MB/sec Concurrency: 15.98 Successful transactions: 98 Failed transactions: 0 Longest transaction: 12.27 Shortest transaction: 0.26 Это хороший показатель? Это нормально для EC2 Micro (для большего понимания почитайте типы инстансов на EC2) На текущий момент пользователей не настолько много для каких-либо доп. оптимизаций, подобные инцинденты разовые и решаются индивидуально. При необходимости закешируем и расширим ноду. Если кто хочет скидываться - кидайте Geyser'у на развитие движка ))

zeus

# 8 лет, 10 месяцев назад

Темы: 95

Сообщения: 1094

Участник с: 28 октября 2006

corner
zeus
Natrio
zeus
На нас активно навалился краулер левого поисковика. Был забанен. Сиутация нормализована.
Ясно.
Вопрос к писателям движка – почему такое стало возможным? Кто-нибудь вообще тестировал его производительность?

Мне пока не встречалось таких поисковых ботов, которые могли бы завалить сайт.

Защита от подобных вещей ставится на уровне прокси/настроек веб-сервера. 20 запросов в секунду на микросервере ec2 не удержит ни один движок, а расширяться под наколенных ботов нет смысла
Интересно, если не секрет, во сколько обходится это удовольствие в месяц?
Заодно, уж извините, попробовал прогнать корень сайта через siege.
siege -t30S -c20 -d1 http://archlinux.org.ru/
** SIEGE 3.0.5
** Preparing 20 concurrent users for battle.
The server is now under siege...
Lifting the server siege..      done.
Transactions:                     98 hits
Availability:                 100.00 %
Elapsed time:                  29.99 secs
Data transferred:               0.30 MB
Response time:                  4.89 secs
Transaction rate:               3.27 trans/sec
Throughput:                     0.01 MB/sec
Concurrency:                   15.98
Successful transactions:          98
Failed transactions:               0
Longest transaction:           12.27
Shortest transaction:           0.26
Это хороший показатель?

Это нормально для EC2 Micro (для большего понимания почитайте типы инстансов на EC2)
На текущий момент пользователей не настолько много для каких-либо доп. оптимизаций, подобные инцинденты разовые и решаются индивидуально. При необходимости закешируем и расширим ноду.

Если кто хочет скидываться - кидайте Geyser'у на развитие движка ))

Jisatsu	# 8 лет, 10 месяцев назад
Темы: 17 Сообщения: 389 Участник с: 14 июня 2013	Traceroute говорит, что в москве есть потери, два ответа вообще не пришло. 7 * * ae15-153.rt.m9.msk.ru.retn.net (87.245.254.153) 16.724 ms А вообще, я согласен, сайт очень часто висит мёртво. Кликаешь ссылку и ждёшь до минуты! Это всегда поисковые боты виноваты? Оптимизировать надо всегда, не зависимо от количества пользователей. Keep it simple, stupid!

Jisatsu

# 8 лет, 10 месяцев назад

Темы: 17

Сообщения: 389

Участник с: 14 июня 2013

Traceroute говорит, что в москве есть потери, два ответа вообще не пришло.

 7  * * ae15-153.rt.m9.msk.ru.retn.net (87.245.254.153)  16.724 ms

А вообще, я согласен, сайт очень часто висит мёртво. Кликаешь ссылку и ждёшь до минуты! Это всегда поисковые боты виноваты? Оптимизировать надо всегда, не зависимо от количества пользователей.

Keep it simple, stupid!

zeus	# 8 лет, 10 месяцев назад
Темы: 95 Сообщения: 1094 Участник с: 28 октября 2006	Jisatsu Traceroute говорит, что в москве есть потери, два ответа вообще не пришло. 7 * * ae15-153.rt.m9.msk.ru.retn.net (87.245.254.153) 16.724 ms А вообще, я согласен, сайт очень часто висит мёртво. Кликаешь ссылку и ждёшь до минуты! Это всегда поисковые боты виноваты? Оптимизировать надо всегда, не зависимо от количества пользователей. 1. Перед сервером висит Cloudflare который благополучно отпинывает ICMP трафик. 2. Не вижу никаких сообщений о том, что сервер тормозит до этой темы. 3. Зачем оптимизировать если работает нормально?

zeus

# 8 лет, 10 месяцев назад

Темы: 95

Сообщения: 1094

Участник с: 28 октября 2006

Jisatsu
Traceroute говорит, что в москве есть потери, два ответа вообще не пришло.
 7  * * ae15-153.rt.m9.msk.ru.retn.net (87.245.254.153)  16.724 ms
А вообще, я согласен, сайт очень часто висит мёртво. Кликаешь ссылку и ждёшь до минуты! Это всегда поисковые боты виноваты? Оптимизировать надо всегда, не зависимо от количества пользователей.

1. Перед сервером висит Cloudflare который благополучно отпинывает ICMP трафик.
2. Не вижу никаких сообщений о том, что сервер тормозит до этой темы.
3. Зачем оптимизировать если работает нормально?

Natrio	# 8 лет, 10 месяцев назад
Темы: 47 Сообщения: 4763 Участник с: 08 января 2011	Сервер действительно тормозит понемногу постоянно, и периодически сильно, сообщений была куча. Видимо, время от времени сюда захаживают подобные боты и микровиртуальный сервер встаёт колом.

zeus	# 8 лет, 10 месяцев назад
Темы: 95 Сообщения: 1094 Участник с: 28 октября 2006	Natrio Сервер действительно тормозит понемногу постоянно, и периодически сильно, сообщений была куча. Видимо, время от времени сюда захаживают подобные боты и микровиртуальный сервер встаёт колом. Граждане посетители, если вы по прежнему будете молчать о проблемах - с ними и останетесь. Будете писать - будем решать. Вот сейчас написали - мы обнаружили что забыли robots.txt с органичением crawl-delay для поисковых роботов.

zeus

# 8 лет, 10 месяцев назад

Темы: 95

Сообщения: 1094

Участник с: 28 октября 2006

Natrio
Сервер действительно тормозит понемногу постоянно, и периодически сильно, сообщений была куча.
Видимо, время от времени сюда захаживают подобные боты и микровиртуальный сервер встаёт колом.

Граждане посетители, если вы по прежнему будете молчать о проблемах - с ними и останетесь. Будете писать - будем решать.
Вот сейчас написали - мы обнаружили что забыли robots.txt с органичением crawl-delay для поисковых роботов.

lampslave	# 8 лет, 10 месяцев назад
Темы: 32 Сообщения: 4796 Участник с: 05 июля 2011	Эээ... А очистку сессий Django в cron забить не забыли случайно? Мало ли...