Многократно увеличиваем память

red	# 9 лет, 5 месяцев назад
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	я не говорю что zramswap бесполезен, он просто в таком виде,на мой взгляд, пока неэффективен для задач которые интенсивно загружают кеш. nafanja red, если ты уж задался таким вопросом то попробуй временно убрать 2G оперативы, если конечно это возможно. в нетбуке одна планка на 4г nafanja Думаю задача что была приведена выше с 2G оперативы и без свапа не будет успешно завершена (нужно проверить), это очевидно, если есть тока 2г озу и нету свопа то куда влезут 2.4г необходимой йогурту для успешной компиляции nafanja а с zramswap все получится (соответственно память взялась "из ниоткуда") в том то и дело что тут пока всё очень темно что до взаимодействия zramswap и кеша, а вот zramswap и 'данные приложений' тут нет вопросов. --------------- есть некоторые мысли как попробовать обойти перегрузку кеша, если получится то позже отпишусь

# 9 лет, 5 месяцев назад

Сообщения: 1517

Участник с: 31 августа 2011

я не говорю что zramswap бесполезен, он просто в таком виде,на мой взгляд, пока неэффективен для задач которые интенсивно загружают кеш.

nafanja
red, если ты уж задался таким вопросом то попробуй временно убрать 2G оперативы, если конечно это возможно.

в нетбуке одна планка на 4г

nafanja
Думаю задача что была приведена выше с 2G оперативы и без свапа не будет успешно завершена (нужно проверить),

это очевидно, если есть тока 2г озу и нету свопа то куда влезут 2.4г необходимой йогурту для успешной компиляции

nafanja
а с zramswap все получится (соответственно память взялась "из ниоткуда")

в том то и дело что тут пока всё очень темно что до взаимодействия zramswap и кеша, а вот zramswap и 'данные приложений' тут нет вопросов.

---------------
есть некоторые мысли как попробовать обойти перегрузку кеша, если получится то позже отпишусь

nafanja	# 9 лет, 5 месяцев назад
Темы: 94 Сообщения: 9252 Участник с: 02 июня 2012 заблокирован	Если так подумать то кеш это дисковый кеш служащий для ускорения работы с винтом, а обычные свапы скидываются на диск и поэтому этот кеш скидывать в свап бессмысленно :) если можно просто прочитать с винта то что нужно. В свап попадают только данные программ и tmpfs. Псевдографический инсталлятор Arch Linux ver. 3.8.2 Благодарности принимаются на ЯД 410012815723874

nafanja

# 9 лет, 5 месяцев назад

Темы: 94

Сообщения: 9252

Участник с: 02 июня 2012

заблокирован

Если так подумать то кеш это дисковый кеш служащий для ускорения работы с винтом, а обычные свапы скидываются на диск и поэтому этот кеш скидывать в свап бессмысленно :) если можно просто прочитать с винта то что нужно. В свап попадают только данные программ и tmpfs.

Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874

red	# 9 лет, 5 месяцев назад
Темы: 30 Сообщения: 1517 Участник с: 31 августа 2011	всё верно zramswap видит /tmp что в tmpfs просто как часть кеша, а кеш в свою очередь не принято скидывать в своп, по крайней мере при нормальной работе системы

firefoxic	# 9 лет, 5 месяцев назад
Темы: 7 Сообщения: 112 Участник с: 12 января 2013	red, а вот это интересно уже... То есть покомпилять вдоволь что-то крупненькое не удастся =( Если уж /tmp воспринимается как cache и по идее должен при переполнении скидываться на диск вместо свопа, то может возможно как-то убрать вообще ограничение на размер /tmp? Или он не скидывается на диск и это тоже не поможет? Кто что знает/думает? А за /var/tmp спасибо! Убрал это из первого поста, дабы не соблазнить кого греховным делом. Всю arch-wiki не перечитаешь, проще наверно всего Толстого :) -------------------------- О забивании памяти свопом и данными до упора. Друзья, давайте понимать, что сабж нацелен на решение задачи, когда вроде хватало "5ти соток", но понадобилось на них умудриться вырастить то, что растёт на "6-10 сотках". И всё это решить надо с помощью одной и той же "лопаты". Но если вам понадобился урожай с "5ти гектаров" - извините, но тут уже и "земельку" надо докупать, и вообще "лопату" на "трактор с плугом" менять. Если уж в такой затык упираетесь, то вы явно пытаетесь выполнять работу невозможную на вашей машине. Я не красноглазик, я фаерфоксик ^_^

firefoxic

# 9 лет, 5 месяцев назад

Темы: 7

Сообщения: 112

Участник с: 12 января 2013

red, а вот это интересно уже...
То есть покомпилять вдоволь что-то крупненькое не удастся =(
Если уж /tmp воспринимается как cache и по идее должен при переполнении скидываться на диск вместо свопа, то может возможно как-то убрать вообще ограничение на размер /tmp? Или он не скидывается на диск и это тоже не поможет?
Кто что знает/думает?

А за /var/tmp спасибо! Убрал это из первого поста, дабы не соблазнить кого греховным делом.
Всю arch-wiki не перечитаешь, проще наверно всего Толстого :)

--------------------------

О забивании памяти свопом и данными до упора.
Друзья, давайте понимать, что сабж нацелен на решение задачи, когда вроде хватало "5ти соток", но понадобилось на них умудриться вырастить то, что растёт на "6-10 сотках". И всё это решить надо с помощью одной и той же "лопаты". Но если вам понадобился урожай с "5ти гектаров" - извините, но тут уже и "земельку" надо докупать, и вообще "лопату" на "трактор с плугом" менять.
Если уж в такой затык упираетесь, то вы явно пытаетесь выполнять работу невозможную на вашей машине.

Я не красноглазик, я фаерфоксик ^_^

domov0y	# 9 лет, 5 месяцев назад
Темы: 5 Сообщения: 819 Участник с: 09 июля 2011	О забивании памяти свопом и данными до упора. .... Если уж в такой затык упираетесь, то вы явно пытаетесь выполнять работу невозможную на вашей машине. firefoxic, мы в курсе что пентиум 2 вместо десктопа уже не катит и в этом увы уже не поможет даже арч. Да пребудет с вами знание ip адреса

domov0y

# 9 лет, 5 месяцев назад

Темы: 5

Сообщения: 819

Участник с: 09 июля 2011

О забивании памяти свопом и данными до упора. .... Если уж в такой затык упираетесь, то вы явно пытаетесь выполнять работу невозможную на вашей машине.

firefoxic, мы в курсе что пентиум 2 вместо десктопа уже не катит и в этом увы уже не поможет даже арч.

Да пребудет с вами знание ip адреса

vasek	# 9 лет, 5 месяцев назад
Темы: 48 Сообщения: 11320 Участник с: 17 февраля 2013	Протестировал Zram на ноутбуке HP Probook 4530s Оперативка — 2,9 Гб Раздел swap — 4,88 Гб Игрушек на Arch нет, но у меня для этих целей имеется один файлик, который запускается не на каждом компьютере — это подробная карта водоема с изолиниями глубин. Для удобства наблюдения за цифрами выбрал conky. Просмотр изображений - eog. Параметры снимал через 20-30с после загрузки файла (в момент загрузки — все по максимуму, записывать не стал, не информативно, зависит от многих факторов). Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка. Показания cистемы: RAM — 2,9Гб, swap - 0 Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу. Тест 2. Включаю только раздел swap. Показания cистемы: RAM — 2,9Гб, swap — 4,88Гб. Открываю карту — загрузка длится около 1 мин, в это время все висит, даже мышка еле-еле на чуть-чуть двигается. RAM usage - 60%, swap usage — 14%, CPU — 10% Работа с картой — приближение/удаление происходит нормально, без задержек. Тест 3. Отключаю раздел swap и включаю Zram. Показания cистемы: RAM — 2,9Гб, swap — 2,9Гб. Открываю карту — загрузка длится 13с, ничего не виснет. RAM usage - 40%, swap usage — 28%, CPU — 11% Работа с картой — приближение/удаление происходит нормально, без задержек. Тест 4. Включаю раздел swap, Zram включен. Показания cистемы: RAM — 2,9Гб, swap — 7,78Гб. Открываю карту — загрузка длится 10с, ничего не виснет. RAM usage - 52%, swap usage — 8%, CPU — 9% Работа с картой — приближение/удаление происходит нормально, без задержек. В процессе загрузки карты максимум RAM usage доходил до 95CPU , CPU до 35%, температура CPU доходила до 58 град (после загрузки не превышала 50 град). Я за ZRAM. Но, как я понимаю, эффект, только за счет сжатия? Значит должно быть ограничение. И что интересно, после закрытия карты память полностью не освобождается. Вторичная загрузка происходит легче. Ошибки не исчезают с опытом - они просто умнеют

vasek

# 9 лет, 5 месяцев назад

Темы: 48

Сообщения: 11320

Участник с: 17 февраля 2013

Протестировал Zram на ноутбуке HP Probook 4530s
Оперативка — 2,9 Гб
Раздел swap — 4,88 Гб
Игрушек на Arch нет, но у меня для этих целей имеется один файлик, который запускается не на каждом компьютере — это подробная карта водоема с изолиниями глубин.
Для удобства наблюдения за цифрами выбрал conky.
Просмотр изображений - eog.
Параметры снимал через 20-30с после загрузки файла (в момент загрузки — все по максимуму, записывать не стал, не информативно, зависит от многих факторов).
Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка.
Показания cистемы: RAM — 2,9Гб, swap - 0
Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу.
Тест 2. Включаю только раздел swap.
Показания cистемы: RAM — 2,9Гб, swap — 4,88Гб.
Открываю карту — загрузка длится около 1 мин, в это время все висит, даже мышка еле-еле на чуть-чуть двигается.
RAM usage - 60%, swap usage — 14%, CPU — 10%
Работа с картой — приближение/удаление происходит нормально, без задержек.
Тест 3. Отключаю раздел swap и включаю Zram.
Показания cистемы: RAM — 2,9Гб, swap — 2,9Гб.
Открываю карту — загрузка длится 13с, ничего не виснет.
RAM usage - 40%, swap usage — 28%, CPU — 11%
Работа с картой — приближение/удаление происходит нормально, без задержек.
Тест 4. Включаю раздел swap, Zram включен.
Показания cистемы: RAM — 2,9Гб, swap — 7,78Гб.
Открываю карту — загрузка длится 10с, ничего не виснет.
RAM usage - 52%, swap usage — 8%, CPU — 9%
Работа с картой — приближение/удаление происходит нормально, без задержек.

В процессе загрузки карты максимум RAM usage доходил до 95CPU , CPU до 35%,
температура CPU доходила до 58 град (после загрузки не превышала 50 град).

Я за ZRAM. Но, как я понимаю, эффект, только за счет сжатия? Значит должно быть ограничение.
И что интересно, после закрытия карты память полностью не освобождается. Вторичная загрузка происходит легче.

Ошибки не исчезают с опытом - они просто умнеют

ivand	# 9 лет, 5 месяцев назад
Темы: 9 Сообщения: 477 Участник с: 04 января 2013	Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка. Показания cистемы: RAM — 2,9Гб, swap - 0 Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу. Отэто вот оно: ядро не прибивает зажравшийся процесс Процесс выжрав озу для коньки ничего не оставил.Цифирь 66 не информативна

ivand

# 9 лет, 5 месяцев назад

Темы: 9

Сообщения: 477

Участник с: 04 января 2013

Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка.
Показания cистемы: RAM — 2,9Гб, swap - 0
Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу.

Отэто вот оно: ядро не прибивает зажравшийся процесс
Процесс выжрав озу для коньки ничего не оставил.Цифирь 66 не информативна

vasek	# 9 лет, 5 месяцев назад
Темы: 48 Сообщения: 11320 Участник с: 17 февраля 2013	ivand Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка. Показания cистемы: RAM — 2,9Гб, swap - 0 Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу. Отэто вот оно: ядро не прибивает зажравшийся процесс Процесс выжрав озу для коньки ничего не оставил.Цифирь 66 не информативна CPU usage при этом падает до минимума (около 1%), а RAM usage = 66% так и висит (проверял несколько раз, но не додумался в этот момент нагрузить чем-нибудь еще). Если это так, то тогда не понятно, почему в других вариантах доходило до 80-95% (при этих значениях и начинал заполняться swap). Или же расти дает уверенность в наличии swap? (то есть ядро знает, что у него есть swap, по этому так себя и ведет?) Ошибки не исчезают с опытом - они просто умнеют

vasek

# 9 лет, 5 месяцев назад

Темы: 48

Сообщения: 11320

Участник с: 17 февраля 2013

ivand
Тест 1. Отключаю раздел swap и ZramSwap. Осталась голенькая оперативка.
Показания cистемы: RAM — 2,9Гб, swap - 0
Открываю карту - RAM usage доходит до 66% и все стоит, жду 2 мин и завершаю программу.
Отэто вот оно: ядро не прибивает зажравшийся процесс
Процесс выжрав озу для коньки ничего не оставил.Цифирь 66 не информативна

CPU usage при этом падает до минимума (около 1%), а RAM usage = 66% так и висит (проверял несколько раз, но не додумался в этот момент нагрузить чем-нибудь еще). Если это так, то тогда не понятно, почему в других вариантах доходило до 80-95% (при этих значениях и начинал заполняться swap).
Или же расти дает уверенность в наличии swap? (то есть ядро знает, что у него есть swap, по этому так себя и ведет?)

Ошибки не исчезают с опытом - они просто умнеют

firefoxic	# 9 лет, 5 месяцев назад
Темы: 7 Сообщения: 112 Участник с: 12 января 2013	vasek, огромное спасибо за тест! Очень показательно. Надо с этим что-то сделать... Я не красноглазик, я фаерфоксик ^_^

honaht	# 9 лет, 5 месяцев назад
Темы: 5 Сообщения: 266 Участник с: 04 февраля 2011	red /tmp в tmpfs как видно расширяется за счёт кеша(cached в команде free) что не учитывается zramswap память выбрасывается в своп относительно приложений(строчка -/+ buffers/cache в команде free) а не самой системы(где надо учитывать buffers и cached) тоесть надо заставить как то свопится сам кеш а не программы при достиженни определённого уровня red, спасибо за тест, очень интересные результаты. Если убертяжёлые приложения, вытесняющие всё остальное в своп, не используются - имеет смысл вместо zram задействовать zcache и значение vm.dirty_background_ratio/vm.dirty_ratio установить поменьше. Ну а иначе - да, только zram. upd: При выставлении vm.vfs_cache_pressure на максимум, смысла монтировать /tmp в tmpfs нет - приоритет в выделении памяти будет на стороне кеша. gentoo

honaht

# 9 лет, 5 месяцев назад

Темы: 5

Сообщения: 266

Участник с: 04 февраля 2011

red
/tmp в tmpfs как видно расширяется за счёт кеша(cached в команде free) что не учитывается zramswap
память выбрасывается в своп относительно приложений(строчка -/+ buffers/cache в команде free) а не самой системы(где надо учитывать buffers и cached)

тоесть надо заставить как то свопится сам кеш а не программы при достиженни определённого уровня

red, спасибо за тест, очень интересные результаты.

Если убертяжёлые приложения, вытесняющие всё остальное в своп, не используются - имеет смысл вместо zram задействовать zcache и значение vm.dirty_background_ratio/vm.dirty_ratio установить поменьше. Ну а иначе - да, только zram.

upd: При выставлении vm.vfs_cache_pressure на максимум, смысла монтировать /tmp в tmpfs нет - приоритет в выделении памяти будет на стороне кеша.

gentoo