Data & AI Driven Digital Transformation
- 3. ⽬目录 1 从流程驱动到数据驱动的数字化转型 2 ThoughtWorks数据和AI使能数字化转型实践分享 3 精益数据资产创新体系(L-DAIM) 4 ⼀一个彩蛋
- 5. kshi@thoughtworks.com 5 数字化时代的三个特点 信息透明 速度为王 边界消失 知识、经验、信息 不不再被垄断 快速连接 快速反馈 快速迭代 没有永远的护城河 能做的就是持续快速发展
- 8. kshi@thoughtworks.com 8 从流程驱动到数据驱动的数字化转型 数据驱动创新的挑战 数据获取 数据治理理 数据分析 业务创新 数据服务 数据⽣生态 全⾯面⾼高质量量实时 采集价值数据 跨越数据孤岛 数据开放共享 数据资产的管理理 ⾼高性能处理理 多样化海海量量数据 治理理企业数据质量量 数据安全挑战 多源数据分析 多种数据分析技术 智能技术的应⽤用 实时/协作数据分析架构 数据创新的不不确定性 创新价值优先级 数据创新可⾏行行性验证 数据中台构建 数据服务构建 数据服务消费治理理 打造企业数据⽣生态 数据资产变现 数据服务的分享交易易 如何在海海量量的数据中快速发现业务价值点，并通过⼤大数据、智能技术进⾏行行实验，验证价值，变成 产品和服务，是数据驱动的创新和运营的关键挑战 传统的数据治理理、数据仓库实施⽅方法论⽆无法满⾜足业务的快速变化需求 kshi@thoughtworks.com
- 11. Stream Data Processing Platform 流式⼤大数据处理理平台敏敏捷数据战略略咨询 某全球顶级能源客户
- 19. 外呼模型创建⼯工具 开源⼯工具（H2O&Spark R） 闭源⼯工具 （SPSS） 前台服务 19 企业数据平台架构实践分享 技术架构 分布式数据库 ⼀一期功能 HBase Sqoop Pentano 结构化数据源 IVR Oracle CSR Oracle ⼯工单系统 Oracle HBase HBase… 关系型数据库 My SQL 数据分析平台层级逻辑数据传递⽅方式 OBTM 分布式搜索引擎 ES Cluster1 ES Cluster2 分布式⽂文件系统 HDFS ENVIS Retrieval Spark-外呼模型部署环境 外呼模型 卡中⼼心新增 功能 外呼中⼼心 功能 综合服务中 ⼼心功能 价值输出 OBTM
- 20. Stream Data Processing Platform 流式⼤大数据处理理平台
- 22. 22 企业数据平台架构实践分享 技术架构 T24 WM Trading Ideas New idea generated Feedbacks transaction analysis segmentation portfolio analysis recent trade excess cash … Waiter (API)recipe client profile foodmerger weights merger model Ingredients Prepare merger
- 25. 25 企业数据平台架构实践分享 技术架构 传统线 批处理理 流式处理理 HDFS Hive SparkSql AzkabanCDC Loader 分布式消息 Spark Streaming 流式服务 storm/flink Azkaban 全量量／增量量 Kafka Connect MirrorMaker HDFS Kafka 主题3 全量量／增量量 数据源 数据接⼊入 数据集成 数据处理理 数据存储 主题数据 主题1 主题2 主题4 主题5 …… 数据可视 数据服务 RESTFUL Tableau 数据服务 ⾃自助分析 定制化开发 ECharts/VUE datastage+mysql RDBMS
- 26. Intelligent Education Data Platform 智能⼤大数据平台
- 28. 28 企业数据平台架构实践分享 整体架构 企业数据平台 业务1 业务1 业务1 业务1 业务1 业务1 个性化教学服务层 数据分析 控制台 辅导模 型 监控模 型 决策模 型 ………. OLAP预处理理 cube cube 业务1 业务2 业务3 业务4 业务5 业务1 数据资产服务 元数据 分析平台 数据⾃自服务 终端 采集层 计算层 服务层 ⽹网关&管理理 学习计 划制定 学习计 划制定 学习计 划制定 学习计 划制定 学习计 划制定 模型参数平台管理理 权限监控 权限流程 采集参数 权限流程 数据协作 业务系统对接API
- 29. 29 企业数据平台架构实践分享 逻辑架构 云/物理理机器器 数 据 通 道 未来课堂 微课 资源库 ……. 内部数据 外部数据 线下数据 竞品数据 第三⽅方库 …….. 智 能 教 学 运维体系 数 据 平 台 学⽣生基础数据 数 据 湖 ⽼老老师基础数据 ⾏行行为数据 爬⾍虫数据 数 据 预 处 理理 数据抽取 数据建模 ⽤用户⾏行行为轨迹 ⽤用户⾏行行为轨迹 元数据管理理 元信息管理理 元信息检索 业务实体管理理 ⽤用户⾏行行为数据清洗 ⽤用户⾏行行为数据转换 学⽣生数据画像 ⽼老老师数据画像 数 据 服 务 统⼀一数据访问接⼝口 数据挖掘⼯工具 数据沙箱 数据分析 学⽣生 ⽼老老师 运营服务⽅方 数据安全 性能监控 运维管理理系统 ⽇日志收集 权限管理理 ⽤用户管理理
- 30. 30 企业数据平台架构实践分享 技术架构—智慧教育 基础数据平台 数据保存 数据读取 服 务 管 理理 器器 服务解析器器 模型 规则 告警过滤 流量量预测 模型 求助分类 规则 模型切换器器 模型 规则 模型 规则 模型切换器器 模型 规则 模型 规则 模型切换器器 向量量化 训练 持续训练 泛化检查 模型同步
- 31. Data Asset Innovation Platform 数据资产创新平台
- 34. 34 事件订阅 应⽤用⽬目录 模型⽬目录 企业数据平台架构实践分享 逻辑架构 DaaS 数 据 平 台 K8S / Rancher 云 / 物理理机IaaS 运维体系 ⽤用户管理理 权限管理理 后台管理理 开发⼯工具 部署⼯工具 安全管理理 运维监控 内部数据 业务数据 业务数据 财务数据 ⽤用户数据 其他数据 …… 数据治理理 元数据管理理 主数据管理理 数据⽣生命周期管理理 数据脱敏敏 数据质量量管理理 数据标准 数据挖掘和分析平台 数据挖掘 数据分析 数据沙箱 数 据 流 ⽔水 线 数据抽取 数据清洗 数据加载 数据关联 数据建模 …… 数 据 湖 财务数据 业务数据 业务数据 业务数据 业务数据 业务数据 业务数据 …… 数 据 通 道 数 据 采 集 外部数据 宏观经济 数据 ⾏行行业数据 第三⽅方合作伙伴 数据 统⼀一数据访问接⼝口 数据集市 数据服务 应⽤用服务 API服务 数据同步 ⽂文件共享 数据可视化 数据探索 …… 智能算法模型 数据API 数据运营 系统管理理 增值运营 交易易管理理 计费财务 创新应⽤用商店 数据协作
- 38. AI使能业务的挑战和应对
- 42. 智能类项⽬目的典型周期
- 51. Lean - Data Asset Innovation Architecture 精益数据资产创新架构(L-DAIA) 数据资产的识别和治理理 数据资产的获取和存储 数据资产的开放和协作 业务价值的分析和挖掘 数据服务的构建和利利⽤用 服务价值的迭代和度量量 数据驱动的战略略和创新 数据 中台
- 53. kshi@thoughtworks.com 53 精益数据资产创新架构的提出 ⼯工作⽅方法 Think BIG Move FASTERStart SMALL 计 划 式 演 进 式
- 54. kshi@thoughtworks.com 54 精益数据资产创新架构的提出 从价值探索到交付落地 Discovery Data Ideas Inception Data Product Definition Delivery Data Products 探索 地图 数据 价值点 服务 地图 实施 地图 数据 原型 MVP 轻量量数据架构 持续交付
- 57. 57 基于HDP的数据⼯工⼚厂架构 DATA MARKET OR STORE Atlas Metadata Talend Masterdata Falcon Lifecycle Jupyterhub LABORATORYBatch/Streaming Spark | Spark Streaming DATA SOURCE Data Integration Service DATA SOURCE Ship to RDBMS Elastic Search HBase MySQL HIVE Others Git: Project Management Ranger: Security GoCD: CI/CD LDAP: Users Ambari/HUE Hadoop EFK Logs Oozie Scheduling
- 58. kshi@thoughtworks.com 58 精益数据资产创新架构的提出 典型精益数据资产创新架构参考 数 据 通 道 业务系统 业务系统 业务系统 业务系统 微信 微博 今⽇日头条 简书 数 据 采 集 数 据 抽 取 ⽤用户管理理 权限管理理 调度管理理 持续集成 ⽇日志管理理 运维监控 代码仓库 ⼯工单管理理 市场活动数据数 据 湖 社区活动数据 销售线索 员⼯工信息 房产信息 宏观经济 汽⻋车论坛 社交媒体 政府公开 ⾦金金融市场 元数据管理理 数据治理理 主数据管理理 ⽣生命周期管理理 数据质量量管理理 数据脱敏敏 数据实验室 模型管理理 机器器学习 数据探索 数据预处理理 数据沙箱 数 据 加 ⼯工 链 批处理理 实时处理理 ETL 语义标签 分类／预测 异常检测 数据质量量 指标计算 数 据 集 市 活动数据 客户画像 员⼯工画像 房产信息 经济数据 社交媒体 数 据 商 店 数据库同步 数据服务 事件订阅 ⽂文件服务 API服务 数据API 智能API…… ……
- 59. kshi@thoughtworks.com 59 Envis 精益数据资产创新架构的提出 技术选型参考 Data Resolver Analysis Visualizatio n Data LakeData Channel MetaData ManageMent Scheduler 任务调度系统 GPFS DW WhereHows Infomatic SPA Oracle Data Assets Data Service Data Discovery
- 60. ⼀一个彩蛋 “
- 62. DEEPLEARNING.SCALA 是什什么? 62 DeepLearning.scala是个简单的框架，能以⾯面向对象和函数式编程范式创建复杂的 神经⽹网络。 • DeepLearning.scala运⾏行行在JVM上，既可以⽤用于单独的JVM应⽤用和服务，也能 运⾏行行在Jupyter Notebook⾥里里。 • DeepLearning.scala 建模能⼒力力强，各种类型的神经⽹网络都可以通过map、 reduce等lambda表达式组装出来。 • DeepLearning.scala⽀支持插件。任何算法、⼦子⽹网络、超参数都可以做成插件 发布到Github Gist上，复⽤用到各种模型中。 • 以上所有功能都⽀支持静态类型检查。