[РЕШЕНО] Проблема с записью на флешки и тормоза системы

red	# 5 лет, 6 месяцев назад
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	Romshot Хм. Такой интересный тест. Введите эту команду в терминал. `dd if=/dev/zero of=/tmp/test bs=1M count=1M && rm /tmp/test` У меня она вызывала подвисание системы, а то и полное зависание (да, привет 12309. Хотя, это уже далеко и не он). думаю она все еще качует и возможно ТС нарвался на одно из её проявлений. На опеннете по поводу новшеств в новом ядре Linux 4.10: Дисковая подсистема, ввод/вывод и файловые системы Интегрированы патчи с улучшенной реализацией механизма фонового сброса данных на накопитель, решающие проблемы с подвисаниями во время копирования данных на медленный USB-накопитель. На системах с большим объёмом ОЗУ и медленными устройствами ввода/вывода переносимые на накопитель данные буферизируются в кэше обратной записи и копирование завершается в фоне. Ранее, операции сброса кэша обратной записи приводили к существенному снижению отзывчивости интерфейса приложений, подобных Firefox, вплоть до невозможности нормальной работы в течение нескольких минут. Например, выполнение "dd if=/dev/zero of=foo bs=1M count=10k" или копирование большого файла на USB-накопитель не давало запустить браузер или любое крупное приложение пока оставался не сброшен кэш обратной записи. Предложенный в новом ядре режим "writeback throttling" решает указанную проблему благодаря урезанию интенсивности очистки кэша при наличии в очереди других операций ввода/вывода, что затрудняет монополизацию очереди ввода/вывода операциями интенсивной записи. Алгоритм урезания отслеживает появление задержек и изменение размера очереди, автоматически корректируя параметры для достижения оптимального результата. В итоге удалось решить проблемы с отзывчивостью за счёт незначительного увеличения времени сброса данных из кэша;

# 5 лет, 6 месяцев назад

Сообщения: 1517

Участник с: 31 августа 2011

Romshot
Хм. Такой интересный тест. Введите эту команду в терминал.
dd if=/dev/zero of=/tmp/test bs=1M count=1M && rm /tmp/test
У меня она вызывала подвисание системы, а то и полное зависание (да, привет 12309. Хотя, это уже далеко и не он).

думаю она все еще качует и возможно ТС нарвался на одно из её проявлений. На опеннете по поводу новшеств в новом ядре Linux 4.10:

Дисковая подсистема, ввод/вывод и файловые системы

Интегрированы патчи с улучшенной реализацией механизма фонового сброса данных на накопитель, решающие проблемы с подвисаниями во время копирования данных на медленный USB-накопитель. На системах с большим объёмом ОЗУ и медленными устройствами ввода/вывода переносимые на накопитель данные буферизируются в кэше обратной записи и копирование завершается в фоне. Ранее, операции сброса кэша обратной записи приводили к существенному снижению отзывчивости интерфейса приложений, подобных Firefox, вплоть до невозможности нормальной работы в течение нескольких минут. Например, выполнение "dd if=/dev/zero of=foo bs=1M count=10k" или копирование большого файла на USB-накопитель не давало запустить браузер или любое крупное приложение пока оставался не сброшен кэш обратной записи.

Предложенный в новом ядре режим "writeback throttling" решает указанную проблему благодаря урезанию интенсивности очистки кэша при наличии в очереди других операций ввода/вывода, что затрудняет монополизацию очереди ввода/вывода операциями интенсивной записи. Алгоритм урезания отслеживает появление задержек и изменение размера очереди, автоматически корректируя параметры для достижения оптимального результата. В итоге удалось решить проблемы с отзывчивостью за счёт незначительного увеличения времени сброса данных из кэша;

vasek	# 5 лет, 6 месяцев назад
Темы: 48 Сообщения: 11340 Участник с: 17 февраля 2013	Из названия топика ................ и тормоза системы [еще не решено] Тормоза, как правило, начинаются с определенного процесса (намного реже .... нескольких процессов) ....... Я бы все-таки постарался вычислить этот процесс ........ и поэксперементировать после этого - нагружая постепенно систему без этого процесса и с ним ..... смотреть отклик системы ..... В части мониторинга Linux на порядок выше винды и меет намного больше возможностей .... Ошибки не исчезают с опытом - они просто умнеют

vasek

# 5 лет, 6 месяцев назад

Темы: 48

Сообщения: 11340

Участник с: 17 февраля 2013

Из названия топика ................ и тормоза системы [еще не решено]
Тормоза, как правило, начинаются с определенного процесса (намного реже .... нескольких процессов) .......
Я бы все-таки постарался вычислить этот процесс ........ и поэксперементировать после этого - нагружая постепенно систему без этого процесса и с ним ..... смотреть отклик системы .....
В части мониторинга Linux на порядок выше винды и меет намного больше возможностей ....

Ошибки не исчезают с опытом - они просто умнеют

malody	# 5 лет, 6 месяцев назад
Темы: 39 Сообщения: 321 Участник с: 10 октября 2010	А что говорит S.M.A.R.T. жёсткого диска? Улучшает ли ситуацию замена на новый кабель SATA? + Посмотрите внимательно все конденсаторы на материнской плате (и те что могут прятаться за кулером процессора), на предмет подтекания или вздутия. Русская команда переводчиков ArchWiki скромный вклад

malody

# 5 лет, 6 месяцев назад

Темы: 39

Сообщения: 321

Участник с: 10 октября 2010

А что говорит S.M.A.R.T. жёсткого диска? Улучшает ли ситуацию замена на новый кабель SATA?
+ Посмотрите внимательно все конденсаторы на материнской плате (и те что могут прятаться за кулером процессора), на предмет подтекания или вздутия.

Русская команда переводчиков ArchWiki
скромный вклад

abc	# 5 лет, 6 месяцев назад
Темы: 38 Сообщения: 223 Участник с: 30 августа 2016	red возможно ТС нарвался на одно из её проявлений Этот тест зависаний не вызывает. Ядро 4.8. Если замена диска не поможет, попробую обновить ядро. vasek вычислить этот процесс Я много раз пытался это сделать. Но никакой закономерности в зависаниях не заметил. Выше писал про это. Все может зависнуть при открытии таблицы в либреофисе, а может и не виснуть даже если одновременно работает блендер, гимп, и монтаж видео в опеншоте. Сейчас я больше склоняюсь к варианту, что проблема может быть в самой системе, а не в железе. malody что говорит S.M.A.R.T. malody замена на новый кабель Выше писал по этому поводу. Смарт в порядке, битых секторов нет. Менял кабель, эффекта не дало. Вчера получил новый винт. В праздники буду экспериментировать.

abc

# 5 лет, 6 месяцев назад

Темы: 38

Сообщения: 223

Участник с: 30 августа 2016

red
возможно ТС нарвался на одно из её проявлений

Этот тест зависаний не вызывает. Ядро 4.8. Если замена диска не поможет, попробую обновить ядро.

vasek
вычислить этот процесс

Я много раз пытался это сделать. Но никакой закономерности в зависаниях не заметил. Выше писал про это. Все может зависнуть при открытии таблицы в либреофисе, а может и не виснуть даже если одновременно работает блендер, гимп, и монтаж видео в опеншоте. Сейчас я больше склоняюсь к варианту, что проблема может быть в самой системе, а не в железе.

malody
что говорит S.M.A.R.T.

malody
замена на новый кабель

Выше писал по этому поводу. Смарт в порядке, битых секторов нет. Менял кабель, эффекта не дало. Вчера получил новый винт. В праздники буду экспериментировать.

red	# 5 лет, 6 месяцев назад
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	abc Этот тест зависаний не вызывает. Ядро 4.8. Если замена диска не поможет, попробую обновить ядро. в данном случае я имел в виду проблемы с записью на флешку, хотя как знать

abc	# 5 лет, 6 месяцев назад
Темы: 38 Сообщения: 223 Участник с: 30 августа 2016	red проблемы с записью на флешку Да, возможно они взаимосвязаны. Но сейчас проблему с записью решил sync-ом.

red	# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	abc В dmesg есть сообщение .../system.journal corrupted, renaming and replacing. Не смог записать или сохранить? abc Этот диска (640 ГБ) подключал как второй на домашнем компе и копировал с него и на него файлы, проблем с записью и тормозами не было abc Подключал системный жесткий диск 640 ГБ на домашний комп, так же тормозит. Завис при открытии эл. таблицы в 32 кБ. такое ощущение что проблемы вызваны дисковым буфером самого диска, хоть вы и написали что - "подключал как второй на домашнем компе и копировал с него и на него", то что копируется это хорошо но возможно эти файлы будут поврежденны.

red

# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)

Темы: 30

Сообщения: 1517

Участник с: 31 августа 2011

abc
В dmesg есть сообщение .../system.journal corrupted, renaming and replacing. Не смог записать или сохранить?

abc
Этот диска (640 ГБ) подключал как второй на домашнем компе и копировал с него и на него файлы, проблем с записью и тормозами не было

abc
Подключал системный жесткий диск 640 ГБ на домашний комп, так же тормозит. Завис при открытии эл. таблицы в 32 кБ.

такое ощущение что проблемы вызваны дисковым буфером самого диска, хоть вы и написали что - "подключал как второй на домашнем компе и копировал с него и на него", то что копируется это хорошо но возможно эти файлы будут поврежденны.

vasek	# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)
Темы: 48 Сообщения: 11340 Участник с: 17 февраля 2013	abc, рекомендую для начала промониторить систему с помощью atop - есть и более лушие, но они и более сложные — для начала atop вполне подходящий инструмент. После установки автоматом запустится демон в режиме сбора статистики — все события будут с периодичностью 600с записываться в файл /var/log/atop/atop_YYYYMMDD Период записи логов можешь изменить, например, установить 100 или 300с (для чего изменить параметр INTERVAL=600 в файле /etc/atop/atop.daily ) И все — работай как обычно — можешь забыть об atop. Если ничего не произошло, то по окончании работы можешь и почистить/удалить все файлы в директории /var/log/atop/ … чтобы не путаться — со следующей загрузки все начнется по новой. Если заметил тормоза, думаю лучше перегрузить комп (чтобы тормоза не мешали анализу) и открыть нужный файл логов для чтения/просмотра что было .... командой atop -r /var/log/atop/atop_YYYYMMDD Листание - t - вперед, t + Shift - назад …..... ориентируйся по времени на самом верху m — выстроит процессы по занятой памяти d — построит процессы по использованию диска v — покажет более подробную информацию о процессах shift+(d,m,n) вроде бы отсортирует список по выше указанным параметрам (точно не помню) g — вернет все в дефолтный вывод Для подробности — man atop …..... + googl ….. На верхнюю таблицу можешь не смотреть Чтобы тормоза попали в лог, разумеется нужно поработать не менее времени периода сброса логов …..... возможно придется и уменьшить этот период .. PS ..... после экспериментов можешь увеличить период сброса логов, например, до 1 часа (3600с) PSS ... в принципе, после наступления тормозов, можно перейти и на мониторинг atop в режиме реального времени ... Ошибки не исчезают с опытом - они просто умнеют

vasek

# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)

Темы: 48

Сообщения: 11340

Участник с: 17 февраля 2013

abc, рекомендую для начала промониторить систему с помощью atop - есть и более лушие, но они и более сложные — для начала atop вполне подходящий инструмент.
После установки автоматом запустится демон в режиме сбора статистики — все события будут с периодичностью 600с записываться в файл /var/log/atop/atop_YYYYMMDD
Период записи логов можешь изменить, например, установить 100 или 300с (для чего изменить параметр INTERVAL=600 в файле /etc/atop/atop.daily )
И все — работай как обычно — можешь забыть об atop.
Если ничего не произошло, то по окончании работы можешь и почистить/удалить все файлы в директории /var/log/atop/ … чтобы не путаться — со следующей загрузки все начнется по новой.
Если заметил тормоза, думаю лучше перегрузить комп (чтобы тормоза не мешали анализу) и открыть нужный файл логов для чтения/просмотра что было .... командой
atop -r /var/log/atop/atop_YYYYMMDD
Листание - t - вперед, t + Shift - назад …..... ориентируйся по времени на самом верху
m — выстроит процессы по занятой памяти
d — построит процессы по использованию диска
v — покажет более подробную информацию о процессах
shift+(d,m,n) вроде бы отсортирует список по выше указанным параметрам (точно не помню)
g — вернет все в дефолтный вывод
Для подробности — man atop …..... + googl …..
На верхнюю таблицу можешь не смотреть
Чтобы тормоза попали в лог, разумеется нужно поработать не менее времени периода сброса логов …..... возможно придется и уменьшить этот период ..
PS ..... после экспериментов можешь увеличить период сброса логов, например, до 1 часа (3600с)

PSS ... в принципе, после наступления тормозов, можно перейти и на мониторинг atop в режиме реального времени ...

Ошибки не исчезают с опытом - они просто умнеют

abc	# 5 лет, 6 месяцев назад
Темы: 38 Сообщения: 223 Участник с: 30 августа 2016	red возможно эти файлы будут поврежденны Проверял, все было в порядке. AVI просмотрел с перемоткой, мелкие файлы выборочно открывал, изображения тоже выборочно. Из около 3000 фотографий, у всех превьюшки показались. vasek рекомендую для начала промониторить систему с помощью atop Сделаю.

abc

# 5 лет, 6 месяцев назад

Темы: 38

Сообщения: 223

Участник с: 30 августа 2016

red
возможно эти файлы будут поврежденны

Проверял, все было в порядке. AVI просмотрел с перемоткой, мелкие файлы выборочно открывал, изображения тоже выборочно. Из около 3000 фотографий, у всех превьюшки показались.

vasek
рекомендую для начала промониторить систему с помощью atop

Сделаю.

red	# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	abc Проверял, все было в порядке. AVI просмотрел с перемоткой, мелкие файлы выборочно открывал, изображения тоже выборочно. Из около 3000 фотографий, у всех превьюшки показались. хз, думаю таким способом вряд ли можно нормально проверить, здесь сбой может приводит к появлению в основном незаметных артефактов при просмотре видео или изображения. А вот когда программа работает, например, gimp то после считывания и обработки повреждённой структуры формата скорее всего могут возникать проблемы. В общем думаю многое будет зависеть в каком месте структуры формата произошло повреждение.

red

# 5 лет, 6 месяцев назад (отредактировано 5 лет, 6 месяцев назад)

Темы: 30

Сообщения: 1517

Участник с: 31 августа 2011

abc
Проверял, все было в порядке. AVI просмотрел с перемоткой, мелкие файлы выборочно открывал, изображения тоже выборочно. Из около 3000 фотографий, у всех превьюшки показались.

хз, думаю таким способом вряд ли можно нормально проверить, здесь сбой может приводит к появлению в основном незаметных артефактов при просмотре видео или изображения. А вот когда программа работает, например, gimp то после считывания и обработки повреждённой структуры формата скорее всего могут возникать проблемы. В общем думаю многое будет зависеть в каком месте структуры формата произошло повреждение.