How does Apache Pegasus used in Xiaomi's Universal Recommendation Algorithm Framework
- 5. Pegasus Meetup@2022 背景二： 小米搜索推荐业务种类繁多 应用商店 应用 游戏中心 小米视频(长短) 视频 小米电视(长短) Zili短视频 游戏中心社区 桌面内容中心 浏览器信息流 米家社区 信息流 商品 小米商城 小米有品 零售通 金融 天星数科
- 11. Pegasus Meetup@2022 核心组件： 自研搜广推场景下的统一机器学习训练平台(SparseZoo) SparseZoo CTR CVR 时长 跳出 率 完播 率 …… 高维稀疏 Tensorflow CloudML
- 12. Pegasus Meetup@2022 核心组件： 自研搜广推场景下的统一机器学习训练平台(SparseZoo) SparseZoo 目前SparseZoo 已支持20+业界常用模型； 8+业务线
- 15. Pegasus Meetup@2022 DSL 配置化 基于编译原理的词法语法解析 通用化 支持thrift、json、pb等格式的数据 算子丰富 目前162+个 字符串相关，列表相关，数据计算，时 间相关等 高性能 字符串拼接 à hash combine Dag 图缓存用到的特征 核心组件：自研高性能特征抽取工具(DSL)
- 17. Pegasus Meetup@2022 高性能 大规模 核心组件：自研高性能在线推理库(Prediction-lib) 原生tensorflow 5倍 拆分Embedding lookup 操作 离线训练：低并发，大batch VS 在线推理：高并发，小batch 模型图分裂，embedding lookup 操作独立 支持TB级模型在线分布式推理 外部存储embedding 参数 + 本 地缓存 * prediction-lib Launch Review记录： https://wiki.n.miui.com/pages/viewpage.action?pageId=255724333
- 20. Pegasus Meetup@2022 容量10T+ 离线 用户画像 QPS：13k P99 value size:50k P99 Latency: 20ms 容量4.5T 实时 用户画像 QPS：100k P99 value size:20k P99 Latency: 5ms 容量890G 用户历史 QPS：23k P99 value size:50B P99 Latency: 5ms
- 21. Pegasus Meetup@2022 画像使用 • 分业务建表 • 离线画像每天bulkload • 多业务写入时需要最后做compaction • 实时画像flink数据流写入 • HashKey： uid+bizType+attribute
- 22. Pegasus Meetup@2022 业务(99分位) 优化前耗时(ms) 优化后耗时(ms) 差异/下降比例 电视长视频 35 20 15ms/42% 电视短视频 25 10 15ms/60% Hbase 切换 Pegasus效果