![jemalloc
Small: [2, 4, 8], [16, 32, 48, ..., 128], [129, 256, 320, ...., 512], [1KB, 2KB]
Large: [4 KB, 8KB, 12 KB, ..., 4072 KB]
Huge: [4 MB, 8MB, 12MB, ...]
Allocation Size Class Category
4KB pages and a 16 byte quantum 환경
64bit OS](https://image.slidesharecdn.com/jemalloc180314-180404022157/85/jemalloc-23-320.jpg)
jemalloc 세미나
- 1. ㈜EXEM 기술연구소 개발본부 MFJ-Daemon팀 장훈
- 2. jemalloc Chunk: Heap에 있는 여러 메모리 구역을 여러 개로 나눠 놓은 것 Page : 가상 메모리를 일정한 크기로 나눈 블록
- 3. jemalloc 2006년 Jason Evans가 FreeBSD를 위해서 개발한 malloc. 메모리 단편화를 최소화하고, 멀티프로세서/멀티스레드 환경에서 동시성을 제공한다. jemalloc?
- 6. jemalloc Arena : 메모리를 여러 개로 나눈 것, 기본적으로 16개(프로세서 x 4). Thread 는 Arena를 Round-Robin 방식으로 선택. Thread가 메모리를 할당하기 위해 Arena에 접근할 때 Lock을 사용.
- 7. jemalloc Thread Cache: 작은 단위의 잦은 메모리할당의 경우, Arena를 참조하지 않고 바로 malloc할 수 있도록, 각 스레드에게 thread cache라는 영역을 준다.
- 9. jemalloc Internal Fragmentation : 내부단편화, 할당된 메모리 크기 보다 적게 사용될 때 발생 External Fragmentation : 외부 단편화, 다양한 크기의 메모리 할당하고 해제할 때 발생
- 10. jemalloc Buddy Allocation Slab Allocation
- 11. jemalloc Buddy Allocation: 외부 단편화를 해결하기 위한 알고리즘. 메모리의 크기를 절반씩 분할 하면서 가장 잘맞는 크기의 메모리를 찾는다.
- 12. jemalloc 1024K 사용 할 수 있는 가장 큰 블록을 하나 할당 받음 해당 블록을 요청 받은 크기에 따라 적당히 나눠서 사용 나눌 때는 ½로 나눔
- 13. jemalloc 1024K 512KRequest 100K 256KA 128K 1024K를 ½로 나누면서 요청받은 100K에 적합한 Block을 찾음
- 14. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K
- 15. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K
- 16. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K
- 17. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K Release B 256KA 128KC 64K D 256K B를 반환 한 후에, 자신의 나머지 반쪽(Buddy) 영역을 확인하고 비어있다면 합침 현재는 A와 C가 있기 때문에 합치지 않음
- 18. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K Release B 256KA 128KC 64K D 256K Release A 256K128K 128KC 64K D 256K
- 19. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K Release B 256KA 128KC 64K D 256K Release A 256K128K 128KC 64K D 256K Request 75K 256KE 128KC 64K D 256K
- 20. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K Release B 256KA 128KC 64K D 256K Release A 256K128K 128KC 64K D 256K Request 75K 256KE 128KC 64K D 256K Release C 256KE 128K D 256K
- 21. jemalloc 1024K 512KRequest 100K 256KA 128K 512KRequest 240K BA 128K 512KRequest 64K BA 128KC 64K Request 256K BA 128KC 64K D 256K Release B 256KA 128KC 64K D 256K Release A 256K128K 128KC 64K D 256K Request 75K 256KE 128KC 64K D 256K Release C 256KE 128K D 256K 512KRelease E D 256K
- 22. jemalloc Slab Allocation : 내부 단편화를 최소화 하기 위해 고안. - 자주 사용하는 자료구조는 할당과 해제가 빈번하므로 캐쉬 - 단편화를 막기 위해 리스트는 연속된 순서로 정리 - 해제하면 해제 리스트로 들어가기 때문에 단편화가 없음 - 바로 다음 할당 시 해제 리스트에서 깨내서 사용
- 23. jemalloc Small: [2, 4, 8], [16, 32, 48, ..., 128], [129, 256, 320, ...., 512], [1KB, 2KB] Large: [4 KB, 8KB, 12 KB, ..., 4072 KB] Huge: [4 MB, 8MB, 12MB, ...] Allocation Size Class Category 4KB pages and a 16 byte quantum 환경 64bit OS
- 24. jemalloc huge 오브젝트(chunk-aligned)는 red-black tree에 할당해서 관리 log시간에 찾을 수 있음 red-blacktree: self-balancing binary search tree Search : binary tree와 동일 Insert : Color Promotion + Rotation Delete : Color Demotion + Rotation Search / Insert / Delete 모두 O(logN) 보장 https://www.cs.usfca.edu/~galles/visualization/RedBlack.html
- 25. jemalloc Small 혹은 Large 할당은 Buddy 알고리즘과 Slab 알고리즘을 이용해서 Chunk의 Page Run에 할당
- 26. jemalloc Chunk의 Fullness State 50 > 25 > 75 > 0 > init