Behind Pegasus, What matters in a Distributed System (Arch summit shenzhen_2017)
- 2. 孙伟杰 云存储工程师 浙江大学硕士毕业。目前就职于小米，致力于 分布式存储系统 Pegasus 的研发工作。热爱底层 技术，热爱开源，是分布式系统框架 rDSN 的重 要开发者。 博客：http://shengofsun.github.io/
- 3. • Pegasus的产生 • 实现中的那些坑 • Deterministic测试 • 现状和计划 • 总结
- 5. HBase的不足
- 9. Pegasus写请求流程
- 10. Pegasus写请求流程
- 11. Pegasus写请求流程
- 12. Pegasus写请求流程
- 13. Pegasus的读请求流程图
- 14. • Pegasus的产生 • 实现上的那些坑 • Deterministic测试 • 现状和计划 • 总结
- 15. 扩展性 Partition Schema Load Balance
- 16. Partition方案 Hash方案 排序方案 全局有序 无 有 实现难易程度 容易 复杂 热点问题 无 有
- 18. 两种方案对比 多表混存 各表分开存 元数据管理 容易 不容易 负载均衡 容易 不容易 表间资源限制(quota) 不容易 容易 表级别的监控 不容易 容易 删表操作 不容易 容易 误操作带来的影响 高概率影响多个业务 低概率影响多个业务
- 19. Hash Schema的负载均衡 • 可能的考虑因素： • 单个Key请求过热(难以解决) • 单个Partition请求过热(无需考虑) • Partition容量分布不均(无需考虑) • Partition个数分布不均(需要处理)
- 21. 角色切换优于数据拷贝 根据Primary的可能流向建立有向图 Ford-Fulkerson方法：最短路 + 迭代 负载均衡-算法
- 22. 真实的负载均衡 • 考虑机架位等信息 • 节点需要有权重 • 拷贝数据时限流
- 23. 一致性和可用性 PacificA算法 多副本 心跳不依赖zookeeper 数据不依赖DFS
- 31. 争抢临界区→无锁串行化排队
- 33. • Pegasus的产生 • 实现中的那些坑 • Deterministic测试 • 现状和计划 • 总结
- 34. 分布式系统做稳定很难 难以测试：难以通过有效的测试手段发现bug 难以复现：就算触发到了bug，也难以定位、复现和调试 难以回归：bug是不是被正确的解决了
- 36. 不确定性的问题 • 小概率IO错误 + 随机执行路径 = 不易复现异常状态 • 能不能模拟？ • 模拟IO错误 • 控制程序的执行顺序
- 38. 控制程序的执行顺序：消除并行 单节点串行化：按序执行 + 异步IO事件伪随机delay 节点间串行化：parallel → concurrent，多队列伪随机调度
- 39. 模拟IO的不确定性 以一定的概率注入错误 业务逻辑assert、添加全局状态检查模块 发生异常时：用相同的随机数种子重新运行
- 41. 分布式框架rDSN • 异步编程模型 • Deterministic框架：模拟测试、debug • https://github.com/Microsoft/rDSN
- 42. • Pegasus的产生 • 实现中的那些坑 • Deterministic测试 • 现状和计划 • 总结
- 43. 现状 • 设计、接口、存储引擎、benchmark、对比HBase ： http://bj2016.archsummit.com/presentation/3023 • 公司内上线服务业务 • 开源：修改过的rDSN框架、带replication的kv数据库 • 待开源：跨机房复制、snapshot备份
- 44. 计划 • 持续开源更多功能 • RESTful API • 多租户支持 • 支持Schema、SQL、跨行Transaction
- 45. • Pegasus的产生 • 实现中的那些坑 • Deterministic测试 • 总结 • 现状和计划
- 46. 对于一个好的项目 • 关注业务 • 明确业务需求 • 关注架构 • 一致性、可用性、扩展性、性能 • 关注软件工程 • 可维护性、测试、监控
- 48. 附录 • PacificA一致性协议： https://www.microsoft.com/en- us/research/publication/pacifica-replication-in-log-based- distributed-storage-systems/ • 《ArchSummit 2016北京》关于Pegasus的技术分享： http://bj2016.archsummit.com/presentation/3023