How does the Apache Pegasus used in Advertising Data Stream in SensorsData
- 2. ⽬ 录 CONTENTS 神策⼴告业务 1 ⼴告数据流架构介绍 2 引⼊ Pegasus 3 Pegasus 新挑战 4 我们做什么？提供什么价值？ 解决⽅案是什么？解决的问题是什么？设计⽅案是什么？ 设计过程中遇到的问题是什么？Pegasus 在架构中提供的能⼒是什么？ 在秒级预警、实时分析、SaaS化后对 Pegasus 的挑战
- 10. ⼀条数据的经历 看⼴告 点了 头条 ⾏为采集系统 监测回传系统 ⼴告 Nginx 请求 log Edge ⽇志解析 Kafka 数据接收流组 件 数据初始化 加⼯处理 Pegasus 王者 激活 Nginx 数据订阅流组 件 曝点击⾏为 激活及后链路事件 SDK 归因 深度回传 ... plugins 归因维度维护 HDFS 原始 log 数据流 ADS DIM DW event user 激活 订阅 拉取 曝点击 头条后台系统 模型优化 神策数仓集群 神策⼴告集群 接收流 订阅流 SDK 发送点击事件
- 11. 数据流及归因处理逻辑
- 14. Pegasus 性能满⾜ 存储满⾜ 强⼀致性满⾜ 稳定性满⾜ HBase 性能满⾜ 存储满⾜ 强⼀致性满⾜ 神策环境下的稳定性不满⾜（⼤量操作ZK） 不可⽤和 region 恢复时⻓不满⾜业务需求 Redis 性能满⾜ 存储不满⾜ 强⼀致性不满⾜ 稳定性基本满⾜，但在神策环境下不满⾜ 外部存储选型
- 15. ⼆级 sortedKey ttl 查询 hang 住 value 设计 模糊归因场景 归因部分使⽤ Pegasus，不使⽤ Redis， Pegasus ⽀持⼆级 sortedKey ttl 的特性，这 个 Redis ⽀持不了 hashKey = ip sortedKey = eventTime value = channel info 根据 ip scan 对近期相同 ip 的点击进⾏相 似度计算 通过 protobuf 序列化 对枚举类型的字符串值，做形式化定 义，转成int 单个hashKey下的数据体积过⼤，导致查询 卡住 query time 做 limit（maxFetchCount） 每次写⼊后异步被动清理 * micro-batch 业务上的考量
- 17. 基础⼯具集 秒级监控：客⼾能够实时监控⼀些核⼼指标的波动情况，并通 过邮件、短信、公众号、机器⼈电话等⽅式推送给客⼾。（原 ⼦操作） 数据⽣命周期可视化：⼀个⽤⼾从曝光-点击-激活-归因-回传等 整个流程可视化 ... 插件化 数据流是管道是基础设施，在数据流之上除了归因、深度回传 之外还可以提供很多能⼒。插件化后，RD 同学可以按照插件协 议开发⾃⼰的 Application ，实现⾃⼰的业务功能。 SaaS 数据流 SaaS 化后，客⼾⽆需部署，简单配置后就可以快速采 集曝点击数据。⽽数据流 SaaS 只是第⼀步，未来 Marketing API 和 SAT 都会 SaaS 化。 ⼴告数据流下⼀步做什么 夯实 基础 扩展 友好 快速 交付
- 19. 关注公众号 联系我们