![20+
小米商业化媒体
应用商店
个性主题
多看阅读
浏览器
小米音乐
日历
小米视频
安全中心
天气
新闻资讯
OTT
小米画报
MIUI论坛
小米运动
小爱同学
虎扑 陌陌 迅雷 趣头条 开心消消乐
2000+
生态开发者
覆盖小米手机、电视、盒子、
生态链等全系资源
2021Q2实现广告收入45亿元，同比增长46.2%[1]
[1]小米集团2021年第二季度业绩报告](https://image.slidesharecdn.com/pegasus-231220103150-2fc00946/85/The-Advertising-Algorithm-Architecture-in-Xiaomi-and-How-does-Pegasus-Practice-in-Feature-Caching-4-320.jpg)
![基于Pegasus的实时样本设计
广告下发日志队
列
实时服务端日志
队列
conn
ect
校验、过滤
校验、过滤
自定义Join函数
广告文件
填充广告数据
Pegasus
请求数据队列
Pegasus
On Flink
Key by [请求编号, 用户ID, 广告ID]
Key by [广告ID，数据源ID]](https://image.slidesharecdn.com/pegasus-231220103150-2fc00946/85/The-Advertising-Algorithm-Architecture-in-Xiaomi-and-How-does-Pegasus-Practice-in-Feature-Caching-30-320.jpg)
The Advertising Algorithm Architecture in Xiaomi and How does Pegasus Practice in Feature Caching
- 3. 小米效果广告概况 #1
- 4. 20+ 小米商业化媒体 应用商店 个性主题 多看阅读 浏览器 小米音乐 日历 小米视频 安全中心 天气 新闻资讯 OTT 小米画报 MIUI论坛 小米运动 小爱同学 虎扑 陌陌 迅雷 趣头条 开心消消乐 2000+ 生态开发者 覆盖小米手机、电视、盒子、 生态链等全系资源 2021Q2实现广告收入45亿元，同比增长46.2%[1] [1]小米集团2021年第二季度业绩报告
- 7. 在线预估平台 #2
- 9. 在线推理服务-挑战 • 全媒体60W+峰值 QPS • 数千台物理机 大规模 高并发 • 单模型亿级特征 • 单机200w+峰值 数值计算 密集计算 • 广告整体链路可用性不 低于99.9% • 服务P99不⾼于70ms 低延迟 • 需要对算法和⼯程 都有成熟的理解 核心代码 开发难度大 • 收入3万+/分钟 • 服务质量直接和收 ⼊挂钩 高质量要求
- 11. 在线推理服务优化-数值化编码 离线预计算（去字符串编码）加速 （空间换时间） 请求上下 文 用户画像 广告数据 城市：北京 性别：男 小米MIX4 北京_男 北京_小米MIX4 小米MIX4 样本数据 模型 特征计算过程 数值化请 求上下文 数值化用 户画像 数值化⼴ 告数据 城市：101 性别：201 301 301 特征计算过程 101<<3&201 101<<3&301 样本数据 模型 请求上下 文 用户画像 广告数据 离线预计算 通过定制的特征计算逻辑，结合离线预计算改善性能 • 数值化特征编码， 特征构造延时延下 降42% 背景 早期的特征使用字符串原值进 行拼接，性能低下
- 12. 在线推理服务优化-降级熔断 商店集群 基线田 实 验 田 浏览器集群 基线田 实 验 田 商店 流控 原始 流量 浏览器 流控 路由网关 降级实验 候选集截断 候选集截断 • 2020及2021春晚期间成功抗住 平日峰值约18倍的流量，保证 广告服务可用 • 在线服务集成了这套限流与降 级方案，使服务的稳定性和应 急能力得到提升。
- 13. 在线推理服务优化-架构升级 商店ctr 统一网关 浏览器ctr 商店cvr 浏览器 cvr 商店 ctr/cvr 浏览器 ctr/cvr … 商店ctr 商店cvr 统一网关 粗排 粗排 商店ctr 商店cvr 策略服务 统一网关 统一粗排 商店ctr 商店cvr 策略服务 重排 … 统一CTR后日均收入提升21w 支持粗排后日均收入提升23w
- 14. 在线资源校验 检测到新模 型 新模型校验 1.检测⽂件大小 2.检测⽂件结构 3.对⽐新模型和旧模型 的预 估CTR、CVR、 ECPM出分 推送新模型 到安全⽬录 更新模型 检测安全⽬ 录下是否有 新模型 更新模型 主节点 其他节点 功能：保障线上不会加载有问 题的更新模型 现状：上线后多次成功拦截问 题资源，挽回收入损失
- 17. 离线机器学习平台 #3
- 18. 机器学习平台 训练数据生成阶段 特征配置 特征数据 训练样本 模型训练和上线阶段 算法开发 模型实验 上线更新
- 19. 机器学习平台-挑战 • 特征、数据重复创 建 • 资深算法工程师开 发的code不能很好 的被分享 信息 无共享 • 算法同学各自维护 特征、数据、训练 pipeline 效率低下 • 数据健康度没有任何管 理 • 模型上线之前没有强制 性的做离线校验 质量 无保证
- 20. 离线机器学习平台 特征平台 模型训练平台 特征注册、搜索、批量导入、导出 数据源注册、搜索、同步灌pegasus 多种主流模型的样本文件生成 样本注册、搜索、健康度展示 自定义模型code上传 自定义模型超参 版本控制 算法共享 平台化提升模型迭代效率 • 从特征到到样本全流程数据的管理和生 成，支持一键灌Pegasus供线上读取 • 一键开启实时特征和实时样本 • 特征配置自动化解析 • 支持从算法管理里面选择任意算法机型训 练 • 对接公司级别计算资源CloudML, Spark等 等 • 任务状态平台化管理和维护 • 每个任务的结果都支持可视化的metric， 结果清晰明了可评估 平台化保证数据和模型质量 • 数据源设置健康度，每个环节对数据异常 检查 • 不断完善集成测试用例 • 多维度数据指标展示 • 打分均值校验支持 • auc校验支持 • q分布校验支持
- 23. 离线机器学习平台-成果 积累特征数 发布实验数 覆盖媒体 覆盖行业 23,000+ 300+ 应用商店、浏览器、小米视 频、主题、日历等20+媒体 网服、电商、金融、 游戏、教育等20+行业 离线实验 管理任务 20+ 200+
- 25. 为什么选择Pegasus • 在线特征2T数据存储在HBase 中，访问延迟较高 性能问题 • 集中更新数据时约8w写QPS，受 HBase的gc影响，读延时大幅上涨 • 为解决HBase更新时的gc问题，服 务端引入缓存，但由于数据量大及 服务gc问题效果不佳 可用性 • Redis等内存存储价格 高昂 平衡成本
- 26. 基于Pegasus的特征缓存设计 IMEI (用户ID) 数据源id HashKey SortKey Value 特征值列表 用户特征 BucketId 数据源id 特征值列表 统计特征
- 27. 基于Pegasus的特征缓存设计-离线写入 数据源1 imei1 datasource1 value imei2 datasource1 value imei3 datasource1 value … 数据源2 imei1 datasource2 value imei2 datasource2 value imei4 datasource2 value … imei1 datasource1 value, datasource2 value imei2 datasource1 value, datasource2 value imei3 datasource1 value imei4 datasource2 value … 离线实时join MultiSet Pegasus特 征缓存
- 28. 基于Pegasus的特征缓存设计-在线读取 请求imei 实验使用数据源id集合 MultiGet Pegasus特 征缓存 • 每次请求Pegasus只用请求imei需要的 特征 • 开启Backup Request，降低长尾延迟
- 30. 基于Pegasus的实时样本设计 广告下发日志队 列 实时服务端日志 队列 conn ect 校验、过滤 校验、过滤 自定义Join函数 广告文件 填充广告数据 Pegasus 请求数据队列 Pegasus On Flink Key by [请求编号, 用户ID, 广告ID] Key by [广告ID，数据源ID]
- 32. 谢 谢