Performance tuning
- 1. Performance Tuning by qiuzhiwei
- 2. 文件系统:XFS XFS，一种高性能的日志文件系统，最早于 1993年，由Silicon Graphics为他们的IRIX操作系 统而开发，是IRIX 5.3版的默认档案系统。2000 年5月，Silicon Graphics以GNU通用公共许可证 释出这套系统的源代码，之后被移植到Linux 内 核上。XFS 特别擅长处理大文件，同时提供平滑 的数据传输。
- 11. 在高性能环境中，重要的是选择一个在以上四种 访问模式下都能提高效率的文件系统。如果这是一 个读写密集型系统，要求XFS能够有效的刷新页面， 就像支持挂起每个索引节点(或文件)的写操作。XFS 的元数据效率能够使同步写操作的速度高于其他文 件系统。 直到最近，XFS成为唯一的大型Linux文件系统， 支持文件对齐。InnoDB数据文件块大小是固定的，条 纹边界上对齐可能会增加额外的5%以上的 I/O性 能。一般来说，XFS能够使大多数工程支持并行工作 负载，多个分配组允许元数据操作的并行方式，而不 仅数据。另外，生产系统还有其他的操作问题， 例如 如果表文件被使用，想要尽快断开链接，DROP TABLE和其他文件remoavls(如TRUNCATE)才不会 使整个操作拖延太久。XFS文件系统是更好的选择。
- 14. XFS的主要特性包括： c)可扩展性 XFS 是一个全64-bit的文件系统，它可以支持上百万 T字节的存储空间。对特大文件及小尺寸文件的支持 都表现出众，支持特大数量的目录。最大可支持的文 件大 小为263 = 9 x 1018 = 9 exabytes，最大文件系 统尺寸为18 exabytes。XFS使用高的表结构(B+树)， 保证了文件系统可以快速搜索与快速空间分配。XFS 能够持续提供高速操作，文件系统的性能不受目录 中目录及文件数量的限制。
- 16. 格式化参数： mkfs.xfs -f -i size=512,attr=2 -l lazy-count=1 -d su =1m,sw=2 /dev/mapper/cachedev (sas盘su使用64k，flashcache使用1m,sw为使用 盘的数量,raid1 sw=2,raid sw=5)
- 17. 挂载参数： mount -o defaults,rw,noatime,nodiratime, noikeep,nobarrier,allocsize=8M,attr2,largeio, inode64,swalloc /dev/sdb1 /u01
- 18. RAID: 独立磁盘冗余数组（RAID, Redundant Array of Independent Disks），旧称廉价磁盘冗余数组 （RAID, Redundant Array of Inexpensive Disks），简称硬盘阵列。其基本思想就是把多个 相对便宜的硬盘组合起来，成为一个硬盘阵列 组，使性能达到甚至超过一个价格昂贵、容量巨 大的硬盘。
- 19. 对于数据库应用： raid可以提供数据备份技术、扩展存储空间和 提高存储性能。关于raid 0，raid 1，raid0+1， raid1+0，raid 5这些理论基础不重复提及，自行 google。 对于数据库应用，通常我们换选择raid1+0。他 在磁盘空间成本和安全性方面和raid5差不多，但 是在性能方面(IOPS)却明显优越于raid5，所以对 于OLTP系统，我们一般使用raid1+0。
- 20. Cache： 对于一块中高端的RAID，缓存是必不可少的。一 般raid卡使用的DDR2内存颗粒，和我们的内存条几 乎相同，adaptec的缓存叫DRAM，根据硬件技术的 发展DDR3肯定会跟上的。 说到缓存技术就必须说一下两种缓存模式。 write through： 系统的写入请求直接写入硬盘，安全 性很高，性能很低。 write back： 系统的写入请求先存放到缓存，再根据 时机统一回写到硬盘中，由于缓存的写速度远远高 于磁盘，所以这种方式性能可以大大提高。
- 21. BBWC: 为了挖掘更好的RAID写入性能，DBA肯定想打开write back功 能，让数据库飞起来。但是这个时候出现了一个非常严重的安全问 题，就是突然断电导致数据丢失的问题(上面提过raid卡使用的是 RAM存储器，断电丢失数据，但是系统层已经认为这些数据已经写 入硬盘，所以系统层不能提供任何保护措施)，数据丢失肯定是不能 接收的。那该如何呢？ 针对这个问题出现了BBWC–Battery-Backed Write Cache. BBWC的核心就是BBU电池备份单元，它就是一块锂电池，在系统 开机的情况下处于充电状态，一旦遇到断电，就会给缓存提供刷新 所需的电流，保持数据不丢失，直到下次开机时把数据写回到磁盘 上。有的BBU和raid卡的内存做在一个模块上，有些是raid卡通过一 个连接线连接一个电池
- 22. BBWC的缺点：
- 28. FBWC： 针对BBWC的缺点，出现了FBWC –Flash- Based Write Cache。 FBWC的原理就是再系统以外停电的时候，利 用一组“超级电容”中存储的电量，在较短的时间 内(大约1分钟),将缓存中的数据备份到RAID卡上 的大容量FLASH闪存中，知道下次开机再把数据 回写到硬盘中。 FBWC和BBWC几乎完成的目的是一样的，但 是实现方式不同。
- 29. FBWC的优点：
- 30. FBWC的优点： 针对BBWC的缺点，出现了FBWC–Flash- Based Write Cache。 FBWC的原理就是再系统以外停电的时候，利 用一组“超级电容”中存储的电量，在较短的时间 内(大约1分钟),将缓存中的数据备份到RAID卡上 的大容量FLASH闪存中，知道下次开机再把数据 回写到硬盘中。 FBWC和BBWC几乎完成的目的是一样的，但 是实现方式不同。
- 31. RAID配置：
- 33. RAID配置： b.LSI raid卡配置 /opt/MegaRAID/Megacli/MegaCli -LDSetProp - CachedBadBBU -Lall -aALL /opt/MegaRAID/Megacli/MegaCli -LDSetProp - DisDskCache -Lall -aALL /opt/MegaRAID/Megacli/MegaCli -LDSetProp - NORA -Lall -aALL /opt/MegaRAID/Megacli/MegaCli -LDSetProp -WB -Lall -aALL /opt/MegaRAID/Megacli/MegaCli -LDSetProp - Direct -Lall -aALL
- 34. RAID配置： 设置电池断电依然使用cache；不使用磁盘 cache；不进行预读；设置cache策略为WB；direct 模式 ssd设置cache策略为WT /opt/MegaRAID/MegaCli -LDSetProp -WT -Lall -aALL
- 35. Linux system:
- 36. Linux system: a.sys 文件系统设置 echo ’16′ >/sys/block/sdb/queue/read_ahead_kb echo ’512′ > /sys/block/sdb/queue/nr_requests echo ‘deadline’ >/sys/block/sdb/queue/scheduler echo ’16′ >/sys/block/sdc/queue/read_ahead_kb echo ’512′ > /sys/block/sdc/queue/nr_requests echo ‘deadline’ >/sys/block/sdc/queue/scheduler
- 37. Linux system: Linux有四种IO调度算法：CFQ，Deadline，Anticipatory和 NOOP，CFQ是默认的IO调度算法。完全随机的访问环境下， CFQ与Deadline，NOOP性能差异很小，但是一旦有大的连续 IO，CFQ可能会造成小IO的响应延时增加，所以数据库环境 建议修改为deadline算法，表现更稳定。 IO调度算法都是基于磁盘设计，所以减少磁头移动是最重 要的考虑因素之一，但是使用Flash存储设备之后，不再需要 考虑磁头移动的问题，可以使用NOOP算法。NOOP的含义就 是NonOperation，意味着不会做任何的IO优化，完全按照请 求来FIFO的方式来处理IO。
- 38. Linux system: 减少预读： /sys/block/sdb/queue/read_ahead_kb，默认 128，调整为16 增大队列： /sys/block/sdb/queue/nr_requests，默认128，调 整为512
- 39. Linux system: b.ulimit限制 打开文件限制。open file limit 。目前为10240 max locked memory限制。Unlimited
- 40. Linux system: c.大页使用以及内存swap 使用大页的系统，为连接和操作系统预留8G 以上。 sysctl.conf增加swappness=0
- 41. Numactl:
- 44. Numactl: NUMA的内存分配策略有四种： 1.缺省(default)：总是在本地节点分配（分配在 当前进程运行的节点上）； 2.绑定(bind)：强制分配到指定节点上；
- 45. Numactl: NUMA的内存分配策略有四种： 1.缺省(default)：总是在本地节点分配（分配在 当前进程运行的节点上）； 2.绑定(bind)：强制分配到指定节点上； 3.交叉(interleave)：在所有节点或者指定的节 点上交织分配；
- 46. Numactl: NUMA的内存分配策略有四种： 1.缺省(default)：总是在本地节点分配（分配在 当前进程运行的节点上）； 2.绑定(bind)：强制分配到指定节点上； 3.交叉(interleave)：在所有节点或者指定的节 点上交织分配； 4.优先(preferred)：在指定节点上分配，失败则 在其他节点上分配。
- 50. Q&A?
- 51. Thanks !!! gtalk:zqtommyora25@gmail.com mail:zhiwei.qiu@kadang-inc.com