Ext4 new feature - bigalloc
9 likes1,385 views
文档讨论了 ext4 文件系统的新特性，包括支持更大文件和文件系统容量、使用 extents 以减少元数据空间，以及 flex_bg 提高连续磁盘空间利用率。还通过测试数据展示了不同块大小对性能的影响，并提出 bigalloc 的不足之处。最后，提到当前的改进工作集中在扩展 extent 管理的连续空间规模。
Ext4 new feature - bigalloc
- 1. ext4 即将到来的新特性— bigalloc Robin Dong <sanbai@taobao.com>
- 2. ext4硬盘布局 Image from: http://learn.akae.cn/media/ch29s02.html
- 3. ext4向后兼容ext2的文件布局 Image from: http://e2fsprogs.sourceforge.net/ext2intro.html
- 4. ext4 ext4 继承了 ext2/ext3 的所有特性
- 5. 支持更大的文件系统
- 6. 最大文件大小: 16TB
- 8. ext4: extent Image from: http://www.ibm.com/developerworks/cn/linux/l-cn-filesrc5/
- 9. ext4: extent 一个 ext4_extent 可以管理最多 128MB 连续空间.
- 10. 比如: 一个ext3下300G 的文件需要占用300MB 的硬盘空间做元数据, 但是 ext4 只需要占36KB 的元数据空间
- 11. ext4: flex_bg 将 Block-Bitmap/Inode-Bitmap/Inode-table 都合并到 Group 0
- 12. 优点: 合并 Group 1,Group 2,Group 3 的空闲空间(尤其针对ext4的 extent )
- 13. ext4: flex_bg
- 16. 间断且倒序：36s
- 20. 8*4k*1M=32G
- 22. 为何需要超过4K的block？（续2） 多进程写文件时会有更少的磁盘碎片 多个进程在同一个目录下append写各自的文件，ext4很可能会交错的分配空间给不同的文件，造成大量碎片（Hadoop）
- 25. Used:13.7G
- 27. Used: 220MB
- 28. 对于SSD硬盘，可以明显节省资金
- 29. 测试数据 1MB reclen write rewrite read reread Random read Random write 4 1021229 2226988 5163350 5144151 3319442 1857122 64 1239168 2978500 5566931 5577146 5359078 2903430 128 1248447 2798077 5400834 5421413 5289500 3100575 4KB 4 392793 2354612 4116700 4133532 2640467 1597213 64 407604 3008902 4861479 4877976 4628770 2686106 128 475582 2786031 5318219 5336632 5165450 3127195 工具：iozone 单位：KB/sec 写4G大小的文件
- 31. dd if=/dev/urandom of=/test/large$1 bs=4096 count=32768
- 32. delalloc + bigalloc block=4K
- 33. 平均文件碎片数：5
- 34. block=1M
- 35. 平均文件碎片数：3
- 37. bigalloc的缺陷 即使创建一个空目录或一个小文件，也要占用一个cluster，对于目录或小文件繁多的应用，会很浪费硬盘（内存没有浪费） 使用inline data可以解决此问题 目前，一个extent block实际也占用一个cluster
- 39. 一个extent能指向更大的连续磁盘空间 ee_len只有16位，且最高位用于做flag，最多能管理的空间大小是(2 16 -1)*4K = 128MB
- 40. blok扩大为1MB后，一个extent能管理 (2 16 -1)*1MB = 64G连续空间
- 42. Q & A Thanks!