Как Linux работает с памятью — Вячеслав Бирюков
8 likes83,798 views
Документ представляет собой подробное описание работы с памятью в Linux, включая управление виртуальной памятью, механизм page fault и систему адресации памяти. Он также обсуждает различные аспекты работы с памятью, такие как кэширование страниц, использование mmap и выделение памяти. В документе поднимаются важные вопросы о том, как различные процессы взаимодействуют с памятью и диспетчеризацией ресурсов в системе.
![Смотрим VMA
Посмотреть:
# pmap -x <pid>
Address RSS Dirty Mode Mapping
…
00007f0356b23000 76 76 rwx-- [ anon ]
00007f0356b38000 392 392 rwx-- [ anon ]
00007f0356bb9000 34708 0 r-xs- some_mapped_file
00007f0359272000 21876 0 r-xs- some_mapped_file2
…
VMA кратко:
# cat /proc/<pid>/maps
… и очень подробно:
# cat /proc/<pid>/smaps
19](https://image.slidesharecdn.com/linux-150217050112-conversion-gate02/85/Linux-19-320.jpg)
Как Linux работает с памятью — Вячеслав Бирюков
- 2. Как Linux работает с памятью Вячеслав Бирюков
- 4. Ответим на вопросы • Как максимально точно понять сколько памяти использует процесс? • Куда девается вся свободная память? • Если я раздаю файлы с диска зачем мне много памяти? • Почему запись быстрее чтения? • Почему перезапустить MySQL тяжелее чем MongoDB? • Почему я могу потерять данные при записи на диск? 4
- 5. Говорим про x86_64 Linux Kernel ≥ 2.6.32 5
- 6. Немного терминов ︎Резидентная память (resident memory) – объём памяти, которая находится непосредственно в оперативной памяти системы (RAM). Анонимная память (anonymous memory) – память которая не связана ни с каким файлом на диске (without backing store). Page fault – ловушка (trap) обращения к памяти. Штатный механизм при работе с виртуальной памятью. 6
- 7. Работа с памятью через страницы Страница – это минимальная единица памяти, с которой происходит работа. Размер страницы 4KB. Существуют Huge Pages – 2MB (не будем рассматривать). 7 page page page page page 0x0 0xFFFFFFFF … 4KB Адресное пространство page
- 8. Процесс работает с виртуальной памятью 8 Адресное пространство процесса Основная память RAM Swap устройство • абстрактная модель; • упрощает разработку; • оставляем работу с настоящей памятью ОС; • позволяет превышать размеры основной памяти. Отображение памяти Paging/swapping Виртуальная память
- 9. Настраиваем Оvercommit Глобальные настройки: • sysctl vm.overcommit_memory – 0 (default), 1, 2 • sysctl vm.overcommit_ratio / vm.overcommit_kbytes Следим за использованием overcommit: # cat /proc/meminfo … CommitLimit: 32973320 kB Committed_AS: 5510988 kB … 9
- 10. NUMA и SMP(UMA) 10 CPU 1 System Bus Получаем список нод: # numactl --hardware available: 2 nodes (0-1) node 0 cpus: 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23 node 0 size: 32735 MB node 0 free: 434 MB node 1 cpus: 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31 node 1 size: 32768 MB node 1 free: 101 MB node distances: node 0 1 0: 10 21 1: 21 10 interconnect mem bus mem bus SMP NUMA CPU 2 CPU 1 CPU 2 RAM 1 RAM 2 RAM 1 RAM 2
- 11. Неравномерное заполнение NUMA Управляем выделением памяти: # numactl --interleave all command 11 Node 1 Node 2 56GB 30GB Memory Nodes
- 12. Memory Zones Из-за ограничений железа, ядро не может работать со всеми страницами одинаково. • ZONE_DMA • ZONE_DMA32 • ZONE_NORMAL Посмотреть какие зоны присутствуют: # grep zone /proc/zoneinfo Node 0, zone DMA Node 0, zone DMA32 Node 0, zone Normal Node 1, zone Normal 12
- 13. Page Cache Динамический размер → съест всю вашу память. По умолчанию все операции чтения и записи проходят через Page Cache. Посмотреть: # free -m total used free shared buffers cached Mem: 64401 64101 299 0 161 60339 -/+ buffers/cache: 3600 60800 Swap: 0 0 0 # grep Cached /proc/meminfo Cached: 61638200 kB 13
- 14. Read и Page Cache 14 Disk Storage read() syscall Page Cache no, miss yes Чтение происходит через Page Cache. Работает со страницами памяти и файла. mincore – системный вызов позволяет посмотреть находятся ли страницы файла в Page Cache. vmtouch – позволяет посмотреть сколько страниц в Page Cache’е: # vmtouch /var/lib/db/index Files: 1 Directories: 0 Resident Pages: 21365/21365 83M/83M 100% Elapsed: 0.004477 seconds hit
- 15. Write и Page Cache По умолчанию запись происходит только в Page Cache (исключение open() c O_SYNC). Страницы в кеше помечаются как грязные (dirty). Они сбрасываются на диск (writeback): • ︎через заданный интервал времени vm.dirty_expire_centisecs (fsflush/pdflush); • система испытывает нехватку памяти (kswapd); • fsync() или msync(); • слишком много грязных страниц (vm.dirty_ratio и прочие). # grep Dirty /proc/meminfo … Dirty: 9604 kB … 15
- 16. Память процесса Сегменты: • stack; • mmap; • heap; • bss; • init data; • text. 16 Stack (grows downwards) Text (program code) Initialized data Uninitialized data (bss) Heap (grows upwards) unallocated memory program break (brk) top of stack mmap region RLIMIT_STACK
- 17. Как посмотреть •ps •top •cat /proc/<pid>/status … VmPeak: 8908 kB VmSize: 8908 kB VmLck: 0 kB VmPin: 0 kB VmHWM: 356 kB VmRSS: 356 kB VmData: 180 kB VmStk: 136 kB VmExe: 44 kB VmLib: 1884 kB VmPTE: 36 kB VmSwap: 0 kB … 17
- 18. Virtual Memory Area (VMA) Область памяти (virtual memory area VMA) – описывает пространство адресов в памяти процесса (например 08048000-0804c000). Права на области: • Чтение (r); • Запись (w); • Исполнение (e). Области видимости и доступа: • приватные (p); • общие (s). 18
- 19. Смотрим VMA Посмотреть: # pmap -x <pid> Address RSS Dirty Mode Mapping … 00007f0356b23000 76 76 rwx-- [ anon ] 00007f0356b38000 392 392 rwx-- [ anon ] 00007f0356bb9000 34708 0 r-xs- some_mapped_file 00007f0359272000 21876 0 r-xs- some_mapped_file2 … VMA кратко: # cat /proc/<pid>/maps … и очень подробно: # cat /proc/<pid>/smaps 19
- 20. Выделение памяти 20 Private Shared Anonymous • stack • malloc() • mmap(ANON, PRIVATE) • brk()/sbrk() • mmap(ANON, SHARED) File-backed • mmap(fd, PRIVATE) • binary/shared libraries • mmap(fd, SHARED)
- 21. malloc() и free() glibc malloc() – выделяет анонимную память: • heap – для аллокации маленьких объёмов (≤128KB); • mmap() для остального. free() – освобождает память.
- 22. Пример malloc() и brk() 22 Heap (grows upwards) program break (brk) unallocated memory Heap (grows upwards) new program break (brk) unallocated memory 1. Перед выделением памяти 2. После выделения памяти 110 KB 100 KB Если в heap не хватает памяти – вызывается brk(), который расширяет границы heap.
- 23. mmap() и munmap() 23 mmap area /var/lib/db/index Виртуальная память процесса Диск mmap(fd, …) mmap() – позволяет отображать содержимое файла на адресное пространство процесса. munmap() – освобождает память.
- 24. Флаги mmap() Задаём видимость наших изменений: • MAP_PRIVATE и указание файла; • MAP_SHARED и указание файла. Можем явно задать уровень доступа: • PROT_READ; • PROT_WRITE. 24
- 25. На самом деле Linux не выделяет всю запрошенную память сразу. 25
- 26. Page fault (demand paging) Allocated and mapped memory Only allocated Unallocated Address space of a process Page write syscall Page Table MMU TLB translate to physical RAMpage fault Page page mapping Minor Page Fault – без обращения на диск.
- 27. Типы Page Fault • Minor – без обращения на диск; • major – с обращением на диск; • invalid – ошибочное обращение (segmentation fault). 27
- 28. Page fault Страница может быть в следующем состоянии: 1. Unallocated; 2. Allocated, but unmapped (not yet faulted); 3. Allocated, and mapped to main memory (RAM); 4. Allocated, and mapped to the physical swap device (disk); Исходя из этого: ︎ RSS – размер 3-его пункта; ︎ Virtual Memory Size – сумма: 2 + 3 + 4. 28
- 29. Copy On Write (COW) 29 #0 #2 #1 free #3 #0 #1 #2 #3 #4 Real Memory free #4 #0 #1 #2 #3 #4 Parent Child 1. После fork(). #0 #2 #1 change #3 change #1 #2 #3 #4 Real Memory free #4 #0 #1 #2 #3 #4 Parent Child 2. При попытке изменить страницу.
- 30. Работа с файлами и памятью 30
- 31. malloc() и работа с файлами 31 free read(fd, buf, 8192) Kernel free free free /bin/ls find Page Cache Heap pages 1. Читаем файл /var/m.log. 2. Ядро проверяет страницы в кеше. miss m.log#0 free /bin/ls Page Cache libc.so 3. Кеширует страницы файла. free m.log#1 filled filled Heap 4. Копирует в user space буфер Kernel Kernel Disk Storage libc.so
- 32. malloc() и работа с файлами • Используем больше памяти. • Копирование в user space – больше CPU и переключений контекста. 32
- 33. mmap и работа с файлами 33 #0 #1 m.log#0 free /bin/ls Page Cache libc.so m.log#1 mmap area mmap() Простое отображение в Page Cache. #2
- 34. mmap и minor page fault 34 #0 #1 m.log#0 free /bin/ls Page Cache libc.so m.log#1 mmap area mmap() #2 m.log#2 Обращение с странице в первый раз, которая уже в Page Cache. minor page fault
- 35. mmap и major page fault (1) 35 #0 #1 m.log#0 free /bin/ls Page Cache libc.so m.log#1 mmap area mmap() #2 free Обращение к странице в первый раз, которой нет в Page Cache major page fault m.log#0 free /bin/ls Page Cache libc.so m.log#1 m.log#2 Disk Storage 1. В Page Cache нет требуемой страницы – major page fault. 2. Идём на диск и зачитываем страницу в память.
- 36. mmap и major page fault (2) 36 #0 #1 m.log#0 free /bin/ls Page Cache libc.so m.log#1 mmap area mmap() #2 m.log#2 3. Связываем страницу с Page Cache.
- 37. mmap() выводы 37 • Позволяет работать с файлами как с памятью. • “Lazy loading”. • Быстрее – меньше системных вызовов и переключений контекста. • Экономит память. • При завершении программы данные остаются в памяти.
- 38. Мониторим память sar ︎ -B: paging statistics: 02:46:04 pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff 02:46:05 0,00 134,00 1743,00 0,00 5978,00 0,00 0,00 0,00 0,00 02:46:06 0,00 108,00 9094,00 0,00 11801,00 0,00 0,00 0,00 0,00 -r: memory utilization: 02:41:50 kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact 02:41:51 346644 65599996 99,47 191340 61669768 5410704 8,20 34115072 29384464 02:41:52 345900 65600740 99,48 191340 61669956 5410596 8,20 34114568 29384568 ︎ -R: memory statistics: 02:44:50 frmpg/s bufpg/s campg/s 02:44:51 393,00 4,00 45,00 02:44:52 -200,00 1,00 35,00 38
- 39. Работаем с Page Cache 1. Работать в обход Page Cache: • open(fd, O_DIRECT) – ходим мимо кеша (так делает MySQL с InnoDB). 2. Подсказать ядру, что в ближайшее время мы не будем работать с этим файлом и заставить его выгрузить страницы: • posix_fadvide(fd, POSIX_FADV_DONTNEED); • madvise(addr, MADV_DONTNEED); • mincore(). 3. Прибегнуть к помощи vmtouch (делает posix_fadvide): vmtouch -e /var/lib/db/index 39
- 40. Пару слов про readahead Управлять readahead можно: • readahead(); • madvise(); • posix_fadvise(); • blockdev --report blockdev --setra <value> <device>. 40
- 41. Освобождение памяти (page reclaiming) Страницы памяти: • unreclaimable; • swappable; • syncable; • discardable. 41
- 42. Источники пополнения free list 42 Free page list Memory request Page Cache Swap (kswapd) Kernel memory (slab allocator) OOM Killer vm.swappiness0 100 swap aggressivelyswap only to avoid an OOM
- 43. Page Scanning (kswapd) 43 min pages high pages low pages background synchronous time size of available free memory Регулируется vm.min_free_kbytes
- 44. LRU/2 44 Active List Inactive Listhead tail headtail free page Free List referenced referenced tailhead page allocation free pages reclaim
- 45. LRU листы 45 Для каждой memory Node для каждой Zone и для каждой cgroup (kernel ≥ 3.3): • Active anon; • Inactive anon; • Active file; • Inactive file; • Unevictable. File backend LRU листы выравниваются по размерам. # cat /proc/meminfo … Active: 32714084 kB Inactive: 30755444 kB Active(anon): 1612548 kB Inactive(anon): 264 kB Active(file): 31101536 kB Inactive(file): 30755180 kB
- 46. Out Of Memory Killer (OOM) Логи: grep -i kill /var/log/messages* Меняем веса (-16 … 15, -17 – выключить): echo “-17” > /proc/<pid>/oom_adj Текущая сумма очков для pid: cat /proc/<pid>/oom_score 0 46
- 47. Memory cgroup Можем ограничивать повсякому: • память; • память + swap; • свой OOM; • swappiness. Удобная статистика: # cat memory.stat … inactive_anon 0 active_anon 0 inactive_file 0 active_file 0 unevictable 0 47
- 48. Cgroup page reclaiming • Global reclaiming. • Target reclaiming. 48
- 49. Почитать 49 Systems Performance: Enterprise and the Cloud Linux Kernel DevelopmentLinux System Programming: Talking Directly to the Kernel and C Library