BDTC2015 数美时代-梁堃-sentry 金融实时风控系统
4 likes1,101 views
Sentry金融实时风控系统通过大数据技术，实时识别和阻断欺诈交易，旨在提升银行业的安全性和便捷性。该系统采用分布式架构，结合规则和机器学习，能够动态评估交易风险并支持多种业务渠道。实施分为三个阶段，逐步进行从规则基础到机器学习驱动的欺诈识别。
BDTC2015 数美时代-梁堃-sentry 金融实时风控系统
- 2. 目录 01 背景与挑战 02 Sentry实时风控系统 03 Q & A
- 3. 背景与挑战 01
- 4. 数美 发现数据之美 数美 金融大数据解决方案提供商 核心业务 为金融行业提供大数据产品及服务开发，并提供基于大数据场景的解决方案。主营产 品（业务）分为风险控制类、用户画像类、精准营销类、数据分析与挖掘类、数据仓库类、大数据 决策支撑类 我们是谁
- 6. 背景与挑战 目标 挑战 安心：实时阻断欺诈交易，减少客户／商家／银行的损失 便捷：让正常的交易便捷流畅地完成，减少不必要的中间环节 • 银行业务的内在复杂度 • 交易发生的方式、地点非常的多样化 • 欺诈方式、技术等的不断提高 • 两个目标似乎是矛盾的
- 11. 异常行为 交易账号曾出现在POC中 交易频率异常 交易时间异常 交易地点异常 交易延时异常 交易序列异常 交易金额异常 异常行为 Ø 个性化信息，针对特定客户， 特定帐号 Ø 不是常用的或常常发生的情 况 Ø 不符合该客户，该帐号平常 的行为模式 主要类型
- 12. 可疑场景 1. 可疑收款账号 2. 可疑收款商家 3. 可疑收款POS 4. 可疑交易ATM 5. 可疑交易地点 6. 可疑交易应用 7. … 可疑场景 Ø 全局信息 Ø 在该场景下经常发生欺诈交易
- 13. 计算风险系数 计算交易的欺诈概率 • (0, 1)范围内的值 • “证据”越多，包含的“证据”越强，概率越大 • 常用技术 1. 规则系统 2. 机器学习 3. 机器学习与规则混合系统 • 计算交易风险系数 • 渠道特定 • 例如：欺诈概率，欺诈概率 x 交易金额
- 15. Sentry的整体架构：主要模块图 access-layer drpc-servers sentry-sdk prediction-engine 业务渠道 CH N … CH 2 CH 1 CH 3 rule-engine ml-models rt-statistics … rule-manager report-manager case-manager dashboard (web-ui) 客户信息 客户行为历史 offline-mining 客户画像挖掘 POS画像挖掘 … ml-training NN Train GBDT Train … profiles 客户画像 POS画像 …
- 16. Sentry的整体架构：主要数据流图 业务渠道 CH N … CH 2 CH 1 drpc-servers sync api rule-engine CH 3 ml-models NN GBDT … feature- assembler profiles case- manager 客户信息 客户行为历史 dashboard (web ui) Online Offline offline-mining 客户画像挖掘 POS画像挖掘 … ml-training NN Train GBDT Train … sentry-sdk result-cacheresult-return rt-statistics async api async api sentry-inputs rule-manager
- 17. Sentry的特点 1.잠재 고객 多渠道 ⾼可⽤ ⾼可伸缩 低成本 低延时 • 几分之一秒的响应时间 • 运行于普通的PC服务器之上，对硬件没有特殊要求 • 随着PC服务器数目的增加，吞吐近乎可以等比例地增加 • 完全的分布式系统，少量PC服务器宕机不影响服务 • 支持同时接入多种业务渠道 • 支持跨渠道实时风险评估
- 18. Sentry使用的开源组件 • 分布式存储系统 Cassandra • 在Sentry中主要用于存储画像、案例、规则等数据 • 支持快速的按key查询、更新，支持批量读取、写入 • 实时计算系统 Storm • 在Sentry中是预测引擎使用的实时计算框架 • 支持毫秒级别的实时计算 • 分布式一致性协议的实现 ZooKeeper
- 19. Sentry的实施 3阶段：改进阶段 1 1.5 3 • 1阶段：基于规则的欺 诈交易识别 2阶段：基于机器学习 ＋ 规则的欺诈交易识别 2 1.5阶段：基于规则 ＋ 数据挖掘 的欺诈交易识别 实施的三个阶段 前提
- 20. Sentry实施的第一阶段：基于规则的欺诈交易识别 阶段1.5: 通过数据挖掘获得规则中的阈值 • 例如上述规则中的 “5000”， “50000” 搭建实时风控系统架构 • 该阶段，机器学习引擎返回空常量 • 打通与渠道系统的交互流程 资深业务人员制定规则体系 • 转账金额 > 5000 AND IP属地 != 常用属地 è 附加验证 • 累计转账金额 > 50000 AND 收款方账号位于灰名单中 è 人工座席验证 • … 收集并准备必要的数据1 3 4 2
- 21. Sentry实施的第二阶段：基于机器学习 ＋ 规则的欺诈交易识别 训练深度神经网络 • 实时在线训练 • 批量训练 启用机器学习引擎 • 随着训练样本和时长的增加，机器学习模 型会越来越准 逐步调整机器学习和规则相对比例 • 平滑过渡到机器学习为主、规则为辅的状 态
- 23. 03 Q & A