高性能队列Fqueue的设计和使用实践
- 1. 高性能队列Fqueue的设计和使用实践 孙立@qunar.com weibo.com@sunli1223 2011.11
- 2. 提纲 • FQueue简介 • Fqueue的存储设计 • Fqueue的使用实践 • Q&A
- 3. Fqueue简介 Fqueue（Fast Queue） 提供跟Memcached一样的客户端分布式和高可用机制 单实例多队列功能 每个队列可设置安全认证密码 可动态增加队列或者更改密码 纯JAVA实现，可以内置到JAVA进程内使用 simple,真的simple 开源 http://code.google.com/p/fqueue/
- 4. Fqueue有多快 • 进程内 每次写入10字节，909万qps 86MB/s 每次写入1024字节，19万qps 185MB/s • 跨服务器 多个client每次写入10字节，32万qps
- 6. Fqueue的存储设计
- 7. Fqueue的整体设计结构 架构在Memcached协议之上 add FSQueue持久化 Producer 队列存储 Memcached get 接口 FSQueue持久化 Comsumer 队列存储 FSQueue持久化 队列存储 Fqueue协议实现 管理、监控
- 8. Fqueue的存储结构设计 初始想法 单文件顺序 1 2 3 4 5 6 7 8 9 存储数据 3 18 存储出队和入队的位置 问题：出队数据不好删除
- 9. Fqueue的存储结构设计 最终的结构 1 2 3 4 5 6 7 8 File1 1. 数据顺序写 2. 数据顺序读 3. IndexFile记录读写位置和文件编号 1 2 3 4 5 6 7 8 File2 4. Index File标记删除，不删除物理数据 FileNo全部消费后，再删除FileNo文件。 1 2 3 4 5 6 7 8 File3 Read Write Read Write Index File offset offset FileNo FileNo
- 10. 选择读写实现方式-内存映射 JAVA的读写文件方式有很多，性能、特点都不一样，所以需要选择一个合适的。 测试方式：循环顺序写入10字节数据1000万次 写方式 结果耗时(ms) 备注 BufferedOutputStream 414 速度最快（与设置的cache大小 有关），数据cache在JVM内。 RandomAccessFile 29499 速度最慢，数据直接刷盘。 FileChannel 1868 速度比较快。OS级别cache MappedByteBuffer 1456 速度快。OS级别内存映射 BufferedOutputStream虽然最快，但是易丢失数据，权衡之下，我们选择 了MappedByteBuffer作为我们的文件操作实现
- 11. Fqueue一些优化 1. FileNo文件全部消费后，交给后台线程异步删除 2. 在新创建一个FileNo时，会让后台线程预创建 下一编号的存储文件 3. 每10ms让OS强制刷盘 4. 每个Queue的读写都有自己的Queue级别writeLock 1、2在FileRunner.java中实现
- 12. Fqueue的使用实践
- 13. 队列服务器的常见使用场景-缓解数据库写压力 • 直接写数据库 直接Insert into 数据库 app 应用的性能直接依赖于数 据库的响应时间和性能
- 14. 队列服务器的常见使用场景-缓解数据库写压力 • 用队列服务器应付高峰写入 queue 处理job 数据库 用户 批量insert queue 合并写。（批量插入可提升性能） 高速队列，降低了应用 写库的时间，能提高系 统的写入吞吐量，应付 高峰值
- 15. 队列服务器的常见使用场景-缓解数据库写压力 • 用队列服务器应付高峰写入 queue 处理job 数据库 用户 queue 数据库宕机，队列部分宕机 不影响应用的正常服务
- 16. 队列服务器的常见使用场景-缓解数据库写压力 • 用了队列服务器，如何实现实时性？ queue 处理job 数据库 用户 queue 复制 实时缓冲区 用户 数据库 merge
- 17. 队列服务器的常见使用场景-任务处理 • 比如发送邮件 a@126.com maila Queue.get() 发送进程 b@126.com maila Queue.get() 发送进程 b@gmail.com maila c@126.com mailb Queue.get() d@sina.com mailb 发送进程 e@sina.com mailb a@126.com maila …… b@126.com maila Queue.get() 发送进程 c@126.com mailb d@sina.com mailb e@sina.com mailb Queue.get() 发送进程 分组发送 b@gmail.com maila Queue.get() 发送进程
- 18. 队列服务器的常见使用场景-任务处理 • 自描述任务 //存储逻辑到队列 memcachedClient.add("job_pass", 0, "#!/bin/shrnsome code"); memcachedClient.add("job_pass", 0, "<?php sone code?>"); //执行代码 String code = memcachedClient.get("job_pass"); String result=RunJob.runCode(code);
- 19. 队列服务器的常见使用场景-数据收集 • 日志收集 app 统计系统 queue 日志监控报警系统 app queue 系统性能分析系统 app 延迟比较高，速度不稳定， 可能跨机房 低延迟，速度稳定 日处理1亿日志的队列服务资源占用截图，高峰期不超过20%
- 20. 队列服务器的常见使用场景-解耦程序 • 视频网站的用户视频上传流程 视频上传 转换处理 Queue 文件分发 视频上传 文件分发 Queue 转换处理 存储转换 存储用户上传 视频上传 成功的数 文件分发 的信息，文件 转换处理 据 实体分开存储 视频传 db Queue 成功的后续处 存储分发 理 转换成功 成功的数 据 用队列异步解耦程序，可以更好的进行扩展，这与actor模型类似。
- 21. Fqueue的使用 PHP使用 Java使用 （Xmemcached ）
- 22. Fqueue的使用-分布式与key的设计 Fqueue1 Fqueue2 Fqueue3 • Hash(key_pass)始终 只会hash到一台。（HA） • Hash(key_pass_固定字符串)，固定hash到3三台， 可用于负载均衡。 • Hash(Key_pass_变化字符串)，随机hash到三台， 可用于负载均衡。 client
- 23. Fqueue实践-Qunar.com的火车票余票抓取 Memcached 火 Fqueue 处理程序 车 票 处理程序 系 余票抓取任务 统 Fqueue 处理程序 后台定时任务 清除堆积数据
- 24. Fqueue实践-监控
- 25. Q&A 谢谢 加入我们吧 各种技术人员，简历投递到 li.sun@qunar.com 微博联系：http://weibo.com/sunli1223