Как чистить базу MySql

palpalych	# 8 лет, 4 месяца назад
Темы: 89 Сообщения: 1126 Участник с: 09 августа 2011	502 Bad gateway Очень часто выскакивает такая ошибка, после обновления страницы ошибка пропадает, но может неожиданно опять появится, в чем может быть причина? Часто бывает так что в cms новые данные не хотят сохраняться, меняешь в редакторе html код а он не сохраняется - остается старый, через импорт все меняется, думаю это взаимосвязанные вещи. Еще странности: Когда делаю импорт то нагрузка на vds CPU php-fpm:100% (с ОЗУ обратная картина, почти не расходуется), не знаю насколько это нормально? Заметил что если в /etc/php/php.ini memory_limit меньше 128M сервак вообще падает во время импорта, поэтому тупо поставил с запасом 256М, может можно еще больше поставить? ибо я не понимаю от чего эта цифра зависит? Еще может кто знает как правильно настроить /etc/php/conf.d/05-opcache.ini опять тупо кинул что нашел в интернете, а правильно ли это? `zend_extension = opcache.so opcache.memory_consumption = 512 opcache.max_accelerated_files = 50000 ; following can be commented for production server opcache.revalidate_freq = 0 opcache.consistency_checks = 1` п.с. vds(KVM+2048MB ОЗУ+40GB SSD+2 ядра CPU) +Archlinux64+nginx_1.6+php-fpm+cms prestashop Арчи ~]$ ...as always want ready-made solutions that would make even tastier

# 8 лет, 4 месяца назад

Сообщения: 1126

Участник с: 09 августа 2011

502 Bad gateway
Очень часто выскакивает такая ошибка, после обновления страницы ошибка пропадает, но может неожиданно опять появится, в чем может быть причина?

Часто бывает так что в cms новые данные не хотят сохраняться, меняешь в редакторе html код а он не сохраняется - остается старый, через импорт все меняется, думаю это взаимосвязанные вещи.

Еще странности:
Когда делаю импорт то нагрузка на vds CPU php-fpm:100% (с ОЗУ обратная картина, почти не расходуется), не знаю насколько это нормально?

Заметил что если в /etc/php/php.ini memory_limit меньше 128M сервак вообще падает во время импорта, поэтому тупо поставил с запасом 256М, может можно еще больше поставить? ибо я не понимаю от чего эта цифра зависит?

Еще может кто знает как правильно настроить /etc/php/conf.d/05-opcache.ini
опять тупо кинул что нашел в интернете, а правильно ли это?

zend_extension = opcache.so
opcache.memory_consumption = 512
opcache.max_accelerated_files = 50000

; following can be commented for production server
opcache.revalidate_freq = 0
opcache.consistency_checks = 1

п.с. vds(KVM+2048MB ОЗУ+40GB SSD+2 ядра CPU) +Archlinux64+nginx_1.6+php-fpm+cms prestashop

Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych	# 8 лет, 4 месяца назад
Темы: 89 Сообщения: 1126 Участник с: 09 августа 2011	поискал в нете пишут что к серверу посылались заголовки http-запросов гораздо больших по длине, чем установлено в конфигурации nginx собственно как их увеличить, а как вообще узнать какие нужны по длине? есть куча статей с громкими названиями, но актуальность не внушает доверия. п.с. у меня стоит php.ini memory_limit = 256M upload_max_filesize = 32M max_input_vars = 3000 nginx.conf client_max_body_size 32m; Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych

# 8 лет, 4 месяца назад

Темы: 89

Сообщения: 1126

Участник с: 09 августа 2011

поискал в нете пишут что

к серверу посылались заголовки http-запросов гораздо больших по длине, чем установлено в конфигурации nginx

собственно как их увеличить, а как вообще узнать какие нужны по длине?

есть куча статей с громкими названиями, но актуальность не внушает доверия.

п.с. у меня стоит
php.ini
memory_limit = 256M
upload_max_filesize = 32M
max_input_vars = 3000

nginx.conf
client_max_body_size 32m;

Арчи ~]$ ...as always want ready-made solutions that would make even tastier

Natrio	# 8 лет, 4 месяца назад
Темы: 47 Сообщения: 4763 Участник с: 08 января 2011	Есть опция client_header_buffer_size У себя на сервере я никогда её не задавал, стоит по-умолчанию. А вообще все эти Bad gateway, это как правило отказы бэкэнда, то бишь PHP. Если бэкэнд настроен правильно, у него достаточно рабочих процессов, они вовремя перезапускаются, и им хватает ресурсов, таких ошибок быть не должно.

Natrio

# 8 лет, 4 месяца назад

Темы: 47

Сообщения: 4763

Участник с: 08 января 2011

Есть опция client_header_buffer_size
У себя на сервере я никогда её не задавал, стоит по-умолчанию.

А вообще все эти Bad gateway, это как правило отказы бэкэнда, то бишь PHP. Если бэкэнд настроен правильно, у него достаточно рабочих процессов, они вовремя перезапускаются, и им хватает ресурсов, таких ошибок быть не должно.

palpalych	# 8 лет, 4 месяца назад
Темы: 89 Сообщения: 1126 Участник с: 09 августа 2011	Natrio Есть опция client_header_buffer_size У себя на сервере я никогда её не задавал, стоит по-умолчанию. А вообще все эти Bad gateway, это как правило отказы бэкэнда, то бишь PHP. Если бэкэнд настроен правильно, у него достаточно рабочих процессов, они вовремя перезапускаются, и им хватает ресурсов, таких ошибок быть не должно. странно, искал по интернету, все в один голос почему-то советует другие опции `proxy_buffer_size 16k; proxy_buffers 16 16k;` Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych

# 8 лет, 4 месяца назад

Темы: 89

Сообщения: 1126

Участник с: 09 августа 2011

Natrio
Есть опция client_header_buffer_size
У себя на сервере я никогда её не задавал, стоит по-умолчанию.

А вообще все эти Bad gateway, это как правило отказы бэкэнда, то бишь PHP. Если бэкэнд настроен правильно, у него достаточно рабочих процессов, они вовремя перезапускаются, и им хватает ресурсов, таких ошибок быть не должно.

странно, искал по интернету, все в один голос почему-то советует другие опции

proxy_buffer_size 16k;
proxy_buffers 16 16k;

Арчи ~]$ ...as always want ready-made solutions that would make even tastier

Natrio	# 8 лет, 4 месяца назад
Темы: 47 Сообщения: 4763 Участник с: 08 января 2011	palpalych странно, искал по интернету, все в один голос почему-то советует другие опции `proxy_buffer_size 16k; proxy_buffers 16 16k;` Это опции модуля ngx_http_proxy_module, который отвечает за проксирование запросов другому серверу. У вас есть другой сервер?

Natrio

# 8 лет, 4 месяца назад

Темы: 47

Сообщения: 4763

Участник с: 08 января 2011

palpalych
странно, искал по интернету, все в один голос почему-то советует другие опции
proxy_buffer_size 16k;
proxy_buffers 16 16k;

Это опции модуля ngx_http_proxy_module, который отвечает за проксирование запросов другому серверу. У вас есть другой сервер?

palpalych	# 8 лет, 4 месяца назад
Темы: 89 Сообщения: 1126 Участник с: 09 августа 2011	Natrio Это опции модуля ngx_http_proxy_module, который отвечает за проксирование запросов другому серверу. У вас есть другой сервер? нет, только nginx+php-fpm. Сделал следующим образом - все поставил начисто с полным удалением cms и базы и ошибка пропала, может ли причиной являться тот факт что я многократно, в экспериментальных целях, перезаписывал базу, т.е. делал импорт поверх существующих данных с опцией удалить предыдущие? Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych

# 8 лет, 4 месяца назад

Темы: 89

Сообщения: 1126

Участник с: 09 августа 2011

Natrio
Это опции модуля ngx_http_proxy_module, который отвечает за проксирование запросов другому серверу. У вас есть другой сервер?

нет, только nginx+php-fpm.
Сделал следующим образом - все поставил начисто с полным удалением cms и базы и ошибка пропала, может ли причиной являться тот факт что я многократно, в экспериментальных целях, перезаписывал базу, т.е. делал импорт поверх существующих данных с опцией удалить предыдущие?

Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych	# 8 лет, 4 месяца назад
Темы: 89 Сообщения: 1126 Участник с: 09 августа 2011	В связи с так сказать с произошедшим возникло два вопроса, правильно ли я понимаю: 1. Для избежания подобного нужно научиться самостоятельно "чистить" базу, т.к. в рабочих условиях все снести уже не предоставляется возможным под "чистить" базу я понимаю находить и править/удалять лишнюю информацию в виде полей, таблиц и т.п. 2. Мониторить логи, и делать это достаточно активно, а не только когда приспичит и не в nano. И наверное для выше перечисленных задач существуют удобные инструменты?! Арчи ~]$ ...as always want ready-made solutions that would make even tastier

palpalych

# 8 лет, 4 месяца назад

Темы: 89

Сообщения: 1126

Участник с: 09 августа 2011

В связи с так сказать с произошедшим возникло два вопроса, правильно ли я понимаю:
1. Для избежания подобного нужно научиться самостоятельно "чистить" базу, т.к. в рабочих условиях все снести уже не предоставляется возможным
под "чистить" базу я понимаю находить и править/удалять лишнюю информацию в виде полей, таблиц и т.п.

2. Мониторить логи, и делать это достаточно активно, а не только когда приспичит и не в nano.

И наверное для выше перечисленных задач существуют удобные инструменты?!

Арчи ~]$ ...as always want ready-made solutions that would make even tastier

kirpichpda	# 8 лет, 4 месяца назад
Темы: 17 Сообщения: 165 Участник с: 21 июля 2009	502 ошибка вылазит когда бэкенд не успевает или не может обрабатывать запросы. "Чистка базы" тут не поможет. Чтобы разобраться почему конкретно не успевает - смотреть логи. upload_max_filesize = 32M влияет только на размер загружаемого файла по http max_input_vars - Всяческие интернет магазины и сайты на битриксе обожают. Если не хватает как правило не работают некоторые jacascript и ajax скрипты. 502 не вызывает. Если вдруг "заголовки http-запросов гораздо больших по длине" в логах видно что это они. Подбирать экспериментальным путем =) Конкретно в моем случае client_body_buffer_size 128k; fastcgi_buffer_size 4M; fastcgi_buffers 4 4M; fastcgi_busy_buffers_size 8M; Но у меня самописано на зенде. Надо много. Если "только nginx+php-fpm.", то никаких proxy_buffers, а fastcgi_buffers. Иначе что мертвому припарка. Какой кэшер рекомендуют для prestashop ? Если рекомендаций нет - посоветовал бы xcache у него замечательная админка, по данным из неё можно крутить настройки. Помониторить работу сервера в реальном времени можно apachetop, натравив на access лог nginx. Можно погадать на кофейной гуще, и предположить что включен suhosin в php и либо выключить его, либо настроить под текущие реалии.

kirpichpda

# 8 лет, 4 месяца назад

Темы: 17

Сообщения: 165

Участник с: 21 июля 2009

502 ошибка вылазит когда бэкенд не успевает или не может обрабатывать запросы. "Чистка базы" тут не поможет.
Чтобы разобраться почему конкретно не успевает - смотреть логи.
upload_max_filesize = 32M влияет только на размер загружаемого файла по http
max_input_vars - Всяческие интернет магазины и сайты на битриксе обожают. Если не хватает как правило не работают некоторые jacascript и ajax скрипты. 502 не вызывает.
Если вдруг "заголовки http-запросов гораздо больших по длине" в логах видно что это они. Подбирать экспериментальным путем =)
Конкретно в моем случае
client_body_buffer_size 128k;
fastcgi_buffer_size 4M;
fastcgi_buffers 4 4M;
fastcgi_busy_buffers_size 8M;

Но у меня самописано на зенде. Надо много.
Если "только nginx+php-fpm.", то никаких proxy_buffers, а fastcgi_buffers. Иначе что мертвому припарка.

Какой кэшер рекомендуют для prestashop ? Если рекомендаций нет - посоветовал бы xcache у него замечательная админка, по данным из неё можно крутить настройки.
Помониторить работу сервера в реальном времени можно apachetop, натравив на access лог nginx.

Можно погадать на кофейной гуще, и предположить что включен suhosin в php и либо выключить его, либо настроить под текущие реалии.