утечка памяти

carter85	# 8 лет, 10 месяцев назад
Темы: 74 Сообщения: 281 Участник с: 16 октября 2011	ВСем привет проблема следующая, установил только ОС (нет не мускулей, не веб серверов итд) при входе в систему примерно несколько часов память работает стабильно total used free shared buffers cached Mem: 1877 141 1736 0 5 39 -/+ buffers/cache: 95 1781 Swap: 4031 0 4031 далее что то отжирает память и не возвращает её обратно. free -m total used free shared buffers cached Mem: 1877 1432 444 0 9 106 -/+ buffers/cache: 1317 560 Swap: 4031 0 4031 обращаю внимание на строчку -/+ buffers/cache: если потсмреть через top или htop на процессы всё стабильно и отлично систему поставил на esxi5 Может кто подскажет куда смотреть дальше?

# 8 лет, 10 месяцев назад

Сообщения: 281

Участник с: 16 октября 2011

ВСем привет
проблема следующая, установил только ОС (нет не мускулей, не веб серверов итд)
при входе в систему примерно несколько часов память работает стабильно

            total       used       free     shared    buffers     cached
Mem:          1877        141       1736          0          5         39
-/+ buffers/cache:         95       1781
Swap:         4031          0       4031

далее что то отжирает память и не возвращает её обратно.

free -m
             total       used       free     shared    buffers     cached
Mem:          1877       1432        444          0          9        106
-/+ buffers/cache:       1317        560
Swap:         4031          0       4031

обращаю внимание на строчку -/+ buffers/cache:
если потсмреть через top или htop на процессы всё стабильно и отлично

систему поставил на esxi5

Может кто подскажет куда смотреть дальше?

Perfect_Gentleman	# 8 лет, 10 месяцев назад
Темы: 55 Сообщения: 1039 Участник с: 29 октября 2012	$ free total used free shared buffers cached Mem: 8169584 5700228 2469356 0 880 3619992 -/+ buffers/cache: 2079356 6090228 Swap: 0 0 0 top - 22:32:25 up 56 min, 4 users, load average: 0.92, 2.12, 1.55 Tasks: 160 total, 1 running, 159 sleeping, 0 stopped, 0 zombie %Cpu(s): 11.0 us, 1.3 sy, 3.5 ni, 81.8 id, 0.6 wa, 1.3 hi, 0.6 si, 0.0 st KiB Mem: 8169584 total, 5772804 used, 2396780 free, 880 buffers KiB Swap: 0 total, 0 used, 0 free, 3689924 cached ksysguard пишет, что занято 2ГБ из 7.8ГБ кому верить?

Perfect_Gentleman

# 8 лет, 10 месяцев назад

Темы: 55

Сообщения: 1039

Участник с: 29 октября 2012

$ free
             total       used       free     shared    buffers     cached
Mem:       8169584    5700228    2469356          0        880    3619992
-/+ buffers/cache:    2079356    6090228
Swap:            0          0          0

top - 22:32:25 up 56 min,  4 users,  load average: 0.92, 2.12, 1.55
Tasks: 160 total,   1 running, 159 sleeping,   0 stopped,   0 zombie
%Cpu(s): 11.0 us,  1.3 sy,  3.5 ni, 81.8 id,  0.6 wa,  1.3 hi,  0.6 si,  0.0 st
KiB Mem:   8169584 total,  5772804 used,  2396780 free,      880 buffers
KiB Swap:        0 total,        0 used,        0 free,  3689924 cached

ksysguard пишет, что занято 2ГБ из 7.8ГБ

кому верить?

carter85	# 8 лет, 10 месяцев назад
Темы: 74 Сообщения: 281 Участник с: 16 октября 2011	Perfect_Gentleman $ free total used free shared buffers cached Mem: 8169584 5700228 2469356 0 880 3619992 -/+ buffers/cache: 2079356 6090228 Swap: 0 0 0 top - 22:32:25 up 56 min, 4 users, load average: 0.92, 2.12, 1.55 Tasks: 160 total, 1 running, 159 sleeping, 0 stopped, 0 zombie %Cpu(s): 11.0 us, 1.3 sy, 3.5 ni, 81.8 id, 0.6 wa, 1.3 hi, 0.6 si, 0.0 st KiB Mem: 8169584 total, 5772804 used, 2396780 free, 880 buffers KiB Swap: 0 total, 0 used, 0 free, 3689924 cached ksysguard пишет, что занято 2ГБ из 7.8ГБ кому верить? Уважаемый Вы о чем?

carter85

# 8 лет, 10 месяцев назад

Темы: 74

Сообщения: 281

Участник с: 16 октября 2011

Perfect_Gentleman

$ free
             total       used       free     shared    buffers     cached
Mem:       8169584    5700228    2469356          0        880    3619992
-/+ buffers/cache:    2079356    6090228
Swap:            0          0          0

top - 22:32:25 up 56 min,  4 users,  load average: 0.92, 2.12, 1.55
Tasks: 160 total,   1 running, 159 sleeping,   0 stopped,   0 zombie
%Cpu(s): 11.0 us,  1.3 sy,  3.5 ni, 81.8 id,  0.6 wa,  1.3 hi,  0.6 si,  0.0 st
KiB Mem:   8169584 total,  5772804 used,  2396780 free,      880 buffers
KiB Swap:        0 total,        0 used,        0 free,  3689924 cached

ksysguard пишет, что занято 2ГБ из 7.8ГБ

кому верить?

Уважаемый Вы о чем?

corner	# 8 лет, 10 месяцев назад
Темы: 6 Сообщения: 773 Участник с: 21 июля 2011	В этом мире никому верить нельзя! Лучше вытащить планки памяти и посчитать вручную. Или почитать о потреблении памяти в Линукс Здесь Еще Ну и IBM И успокоится. Все нормально.

carter85	# 8 лет, 10 месяцев назад
Темы: 74 Сообщения: 281 Участник с: 16 октября 2011	corner В этом мире никому верить нельзя! Лучше вытащить планки памяти и посчитать вручную. Или почитать о потреблении памяти в Линукс Здесь Еще Ну и IBM И успокоится. Все нормально. кому сообщение адресовано? =)

corner	# 8 лет, 10 месяцев назад
Темы: 6 Сообщения: 773 Участник с: 21 июля 2011	Да всем.

vasek	# 8 лет, 10 месяцев назад
Темы: 48 Сообщения: 11340 Участник с: 17 февраля 2013	carter85 ........Может кто подскажет куда смотреть дальше? Если ты о гиперевизоре, то с распределением памяти там не все так просто — статей на эту тему, не мало (в том числе и о технологии распределения памяти). Можешь почитать это обсуждение, возможно и найдешь, что то для себя интересное (не обращай внимания, что там винда — принцип везде один). Ошибки не исчезают с опытом - они просто умнеют

vasek

# 8 лет, 10 месяцев назад

Темы: 48

Сообщения: 11340

Участник с: 17 февраля 2013

carter85
........Может кто подскажет куда смотреть дальше?

Если ты о гиперевизоре, то с распределением памяти там не все так просто — статей на эту тему, не мало (в том числе и о технологии распределения памяти).
Можешь почитать это обсуждение, возможно и найдешь, что то для себя интересное (не обращай внимания, что там винда — принцип везде один).

Ошибки не исчезают с опытом - они просто умнеют

carter85	# 8 лет, 10 месяцев назад
Темы: 74 Сообщения: 281 Участник с: 16 октября 2011	vasek carter85 ........Может кто подскажет куда смотреть дальше? Если ты о гиперевизоре, то с распределением памяти там не все так просто — статей на эту тему, не мало (в том числе и о технологии распределения памяти). Можешь почитать это обсуждение, возможно и найдешь, что то для себя интересное (не обращай внимания, что там винда — принцип везде один). я так понимаю esxi забирает память?

carter85

# 8 лет, 10 месяцев назад

Темы: 74

Сообщения: 281

Участник с: 16 октября 2011

vasek
carter85
........Может кто подскажет куда смотреть дальше?
Если ты о гиперевизоре, то с распределением памяти там не все так просто — статей на эту тему, не мало (в том числе и о технологии распределения памяти).
Можешь почитать это обсуждение, возможно и найдешь, что то для себя интересное (не обращай внимания, что там винда — принцип везде один).

я так понимаю esxi забирает память?

vasek	# 8 лет, 10 месяцев назад
Темы: 48 Сообщения: 11340 Участник с: 17 февраля 2013	carter85 я так понимаю esxi забирает память? Грубо говоря, можно сказать, что да. Как понимаю я - стандартная проблема нагруженной файловой системы - ESXi активно использует свапинг, а после завершения процесса эта память автоматически не освобождается довольно длительное время, что и приводит к постоянно растущему объему системного кэша. А вот так трактует теория - когда программа записывает что-то в файл, она делает это через ядро. Ядро системы имеет буферы записи. Вот эти буферы записи и занимают всю вашу оперативку. Страницы памяти под этими буферами, по идее, должны выталкиваться моментом, почти как кэш чтения, но этого не происходит. Воспроизвести эффект очень просто - скопируйте файл на 500 гигабайтов. Проблему утечки памяти в гиперевизорах решают периодической очисткой системного кэша. В виндах для этого имеется утилита известнейшего Марка Руссиновича — CacheSet, которая позволяет сбрасывать рабочий набор кэша таким образом, что впоследствии он увеличивается в размере по требованию с заданной исходной точки, причем внесенные действия вводятся незамедлительно. Имеется ли аналог такой утилиты в линукс, не знаю, никогда не интересовался. PS.............конечно, эта проблема не у всех, но встречается довольно часто. Разумеется, имеются и другие точки зрения. Кто то считает, что очень много зависит от правильной настройки, в интернете даже выложен видеоролик по настройке памяти. Но у всех эта проблема одной настройкой не решается. Ошибки не исчезают с опытом - они просто умнеют

vasek

# 8 лет, 10 месяцев назад

Темы: 48

Сообщения: 11340

Участник с: 17 февраля 2013

carter85
я так понимаю esxi забирает память?

Грубо говоря, можно сказать, что да.
Как понимаю я - стандартная проблема нагруженной файловой системы - ESXi активно использует свапинг, а после завершения процесса эта память автоматически не освобождается довольно длительное время, что и приводит к постоянно растущему объему системного кэша.
А вот так трактует теория - когда программа записывает что-то в файл, она делает это через ядро. Ядро системы имеет буферы записи. Вот эти буферы записи и занимают всю вашу оперативку. Страницы памяти под этими буферами, по идее, должны выталкиваться моментом, почти как кэш чтения, но этого не происходит. Воспроизвести эффект очень просто - скопируйте файл на 500 гигабайтов.
Проблему утечки памяти в гиперевизорах решают периодической очисткой системного кэша. В виндах для этого имеется утилита известнейшего Марка Руссиновича — CacheSet, которая позволяет сбрасывать рабочий набор кэша таким образом, что впоследствии он увеличивается в размере по требованию с заданной исходной точки, причем внесенные действия вводятся незамедлительно.
Имеется ли аналог такой утилиты в линукс, не знаю, никогда не интересовался.
PS.............конечно, эта проблема не у всех, но встречается довольно часто. Разумеется, имеются и другие точки зрения. Кто то считает, что очень много зависит от правильной настройки, в интернете даже выложен видеоролик по настройке памяти. Но у всех эта проблема одной настройкой не решается.

Ошибки не исчезают с опытом - они просто умнеют

Aivar	# 8 лет, 10 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	Очистить кэш можно так: # echo 3 > /proc/sys/vm/drop_caches Будет это скрипт, запускающийся единожды, или регулярно в связке с кроном - дело ваше.