The Introduction of Apache Pegasus 2.4.0

Pegasus 2.4.0：构建更加稳定、
高效和可靠的KV系统
贾硕
2022.11.05

• Apache Pegasus PPMC
• 前小米分布式KV研发工程师，字节跳动
OLAP存储引擎研发工程师
贾硕

大纲
• 新版介绍
– 有哪些进展？带来了什么提升？
• 功能特性
– 新功能？新增强？新修复？
• 未来规划
– 功能规划？社区运营？

• 4 次迭代
• 200+ 提交
• 9 个新项目引入
• 10+ 新变化
• 17 位贡献者
• 1 位新晋Commiter
基本介绍

新特性：服务端
1. 新的日志引擎架构
SharedLog
PrivateLog PrivateLog
Pegasus Client
Pegasus Client

2. 动态副本控制
Replica1
Replica1
Replica1
Replica2
Replica2
Replica2
Replica3
Replica3
Replica3
Replica1
Replica1
Replica2
Replica2
Replica3
Replica3

3. 多场景流控策略
• 写流量控制
• 节点IO控制
• Compaction控制
• 写流量控制
• 节点IO控制
• Compaction控制
• 读流量控制
• 读队列控制
• 磁盘IO控制

4. 其他特性
• 全链路延迟追踪工具：定位读写路径的延迟瓶颈
• 更全面的系统架构支持：ARM、MACOS
• 多内存管理组件：tcmalloc、jemalloc

新特性：客户端
1. 更高效的批量读接口
R1.0 R1.1
R2.0 R2.1
R3.0
R1.0
R1.1
R2.0
R2.1
R3.0

新特性：客户端
2. 更强大的命令行工具
• PegasusAdminShell
• 节点迁移/替换
• 表在线实时迁移
• 磁盘级别自动容量均衡
主要接口支持Restful，方便自定义构建WEB运维平台
• PegasusPegic
• 自动解压
• 自动解析

功能增强：热备份
• 去除远程文件系统，
• 存量/增量数据自动化迁移
• 聚合增量数据批量发送

功能增强：离线导入
1. 磁盘负载均衡化
DISK1 DISK2 DISK3 DISK1 DISK2 DISK3
R1 R2 R3 R4 R5 R6
DISK1 DISK2 DISK3 DISK1 DISK2 DISK3
R1 R2 R3 R4 R5 R6

功能增强：离线导入
2. 其他增强
• 负载优化
• IO接口优化
• 文件校验简化
• 易用性增强
• 支持周期性任务调度
• 完全开放的服务化接口
• 自定义导入加载策略

问题修复
• ASIO多线程安全导致空指针异常
• 日志引擎IO接口大数据块崩溃
• 请求流量放大
• GO Scan接口失败

未来规划
• 重构metrics框架
• 支持FQDN
• 接入Apache Ranger
• 支持更多的自动化负载均衡策略，如容量均衡、AZ容灾
• 高效可靠的冷备实现
• 可插拔存储引擎
• 高性能RPC框架
• 弱一致性
• 加强社区建设与运营
• ...

Thank You
https://pegasus.apache.org/
Apache Pegasus
https://github.com/apache/incubator-pegasus

More Related Content