SlideShare a Scribd company logo
银行历史数据库解决方案 — 基于 Sybase IQ 的历史交易数据管理和应用
议程 银行为什么需要历史库 ? 基于 Sybase IQ 的历史交易数据管理和应用 Sybase IQ 在历史数据管理方面的价值 成功案例
银行为什么需要历史库系统? 业务问题 银行业务系统多年运行,积累下来的交易数据(或称交易流水数据)及其相关的参照数据,如客户、帐户、产品、渠道等。 完整保留银行各业务系统交易流水的原始记录,满足规定时限( 5-10+ 年)历史交易数据查询和快速恢复的需要,包括但不限于: 各业务系统的历史交易明细数据的实时查询 人行、银监会,公、检、法、工商、税务等即席查询 为审计和操作风险监控等内部控管类系统提供数据 历史数据提取和下载
银行历史(交易)数据状况 海量数据 核心帐务系统 零售业务系统 信贷业务系统 国际结算系统 支付系统 电话银行 / 网上银行系统 银行卡业务系统 外汇交易 证券、基金、保险 电信、公用事业 Call Center CRM 等等 特点: 时间跨度大:几年 -20+ 年 数据量大: TB  –   几十个 TB 形式多样:在线,离线 异构环境:硬件、操作系统、数据库等;开放和封闭的系统 版本繁杂:操作系统,数据库 数据质量:亟待完善 可恢复性:存在相当的难度
银行交易数据从分布走向大集中 核心业务处理 全行的服务支撑平台 全行信息系统 总行级数据分析、决策支持 …… 分行特色业务支持 金融设备的前置处理 分行内部报表、数据支持 未上收的信息系统 …… 业务上收 数据下发
银行历史交易数据的应用 历史交易数据是一笔宝贵的财富 内外部监管、合规和审计,典型的审计,帐务调查等快速提供历史数据的应用。 各业务系统( OLTP )对历史交易数据的查询。 统计报表。 实现对业务的有效支持 业务管理:业务创新、交叉销售、差异化服务等 风险管理:主动风险防范和控制,提高风险控制和管理能力 成本管理:信息资源、业务资源、客户资源和管理资源的最优配置和最大利用
议程 银行为什么需要历史库 ? 基于 Sybase IQ 的历史交易数据管理和应用 成功案例
历史数据管理和应用 — 总体架构 ODS/DSA –  面向主题、当前 Data Warehouse 面向主题 包含历史 和汇总的 数据集市 数据集市 业务系统 核心 零售 信贷 国际 基金 当前数据 当前数据 当前数据 当前数据 当前数据 数据仓库和分析型应用 历史数据查询系统 历史数据 历史数据 历史数据 历史数据 历史数据 历史交易数据存储  HDS 数据交换平台 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它 审计 反洗钱 随机查询
历史交易数据管理和应用逻辑结构 历史交易数据存储 -HDS 元 数 据 管 理 数 据 安 全 性 管 理 统一数据视图 / 统一数据访问服务   历史数据存储层 历史数据访问服务层 历史数据查询服务层 遗留数据 零售 遗留数据 对公 核心 信贷 零售 国际 数据交换平台 核心 业务系统 零售 业务系统 信贷 业务系统 国际结算 业务系统 … 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它
基于 Sybase IQ 的历史库系统 — 信息生命周期管理 HDS  主库 磁带库 HDS  缓存库 数据加载服务器 1 中央 数据字典 元数据管理和 IQ 监控服务器 信息生命周期管理 在线 0~2 年 在线 0~6 年 近线 7~12 年 离线 13~ 年 历史数据存储 历史数据查询服务 遗留数据 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 批量检索节点组 实时查询节点组 其他应用节点组 遗留应用节点组
历史库系统物理架构 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 抽取转换装载 服务器 Linux/Windows Sybase ETL 活跃数据 近线数据 历史数据 历史库 服务器群 Unix/Linux SAN  交换机 1 SAN  交换机 2 磁盘阵列 FC/SAS/SATA 6/12/24TB 实时查询 应用服务器 ASE 客户端 台式机 即席查询 服务器 批量检索 应用服务器
基于 Sybase IQ 的银行历史库系统 令人信服的理由 Sybase 的历史库解决方案将银行的历史数据统一归档到总行的历史数据库中,构建统一的历史数据查询平台。同时,历史数据集中存放,统一进行管理、运行和维护、统一备份,可以充分利用 IT 软硬件资源,最大限度降低总体拥有成本( TCO )。 各个业务系统将只保留当前的交易数据,负担减小,各个业务系统性能大幅提升 Sybase IQ 提供 高效的数据压缩存储功能,有效地解决了大量历史交易数据的存储和管理; 快速的数据查询能力,有效地承担全行历史交易数据的查询和访问; 开放平台及便利的多节点扩展功能,可靠地解决单台机器的资源限制,扩展访问能力; 可靠安全的高可用及灾难备份机制,最大程度保证全行历史数据的安全;
议程 历史(交易)数据状况 银行历史数据管理和应用架构 成功案例
成功案例 在哪里进行过实施? 交通银行 浦发银行 中国农业银行 上海农商行 。。。
案例( Case Study ) 历史库系统背景介绍 随着数据的集中和业务的发展,数据量急速增长。在实际的业务应用环境中,来自于各业务部门、各类客户和外部机构等第三方的对于详细历史数据的随机查询要求越来越多。 大量的历史数据保存在主机的核心业务系统中,已经开始对业务处理的效率造成影响,因此,需要将业务系统中的历史数据移出,建立历史数据库,为前端柜员的历史数据查询提供支持。 历史数据查询系统实施了三期。 二期: 2007 年。 Teradata -> Sybase IQ 三期: 2009 年。 Sybase IQ Multiplex
案例( Case Study ) 历史数据查询系统二期 历史库迁移到  Sybase IQ 单节点部署 IQ Multiplex NonStop IQ 实现 10+ 业务系统的数据集中 数据规模 >2TB 主节点服务器配置: IBM P690, 10CPUs, 40GB 内存 历史库数据库服务器 ( 主点 ) 历史库数据服务器 ( 备点 ) 写节点 读节点 读节点 历史库前置 历史库前置 历史库前置 此接入点为备用 数据同步 分行前置 分行前置 分行前置 …… 电话银行 电话银行 个人网银 企业网银 柜面 柜面 浏览器 浏览器 浏览器 浏览器 写节点 审计 操作风险 浏览器 浏览器 浏览器 浏览器 …… 数据交换 平台 个贷 , 信贷 , 基金 , 国际业务 …… 核心
案例( Case Study ) 历史数据查询系统三期 多节点部署 IQ Multiplex 数据多级存储实现信息生命管理 元数据集中管理 运行监控 数据规模 >3TB 7 x IBM P595 服务器 : 4CPUs, 16GB  内存 审计应用 风控系统 分行数据下载 即席查询 审计应用 ODBC /JDBC ODBC /JDBC ODBC /JDBC 写节点 写节点 元数据库 ETL 服务器 数据交换 文本文件 备库 应用服务器 应用服务器 应用服务器 应用服务器 应用服务器 ODBC /JDBC ODBC /JDBC ODBC /JDBC ODBC /JDBC ODBC /JDBC Nonstop IQ HDS  缓存库 写节点 中央管理控制台 PD ,   Surveillance Nonstop IQ Sybase IQ Multiplex HDS  主库 写节点 查询节点 1 查询节点 2 查询节点 3 Sybase IQ Multiplex 国际 信贷 核心 基金 个贷 EBANK
客户收益 剥离全部业务系统历史交易数据,实现大集中,进而形成单一视图; 建立一个基础的数据存储层,实现海量历史数据的长期存储要求;  建立一个高性能的历史交易数据查询服务层,提供多种查询支持;  建立统一的中央数据字典,实现元数据的集中管理和共享; 建立安全访问控制和管理机制,实现历史交易数据安全使用和管理;  建立统一的数据备份和恢复机制;  历史数据实现了信息生命周期管理,有效降低了总拥有成本 TCO 。
使用的关键技术、产品和服务 Sybase IQ 实现历史数据存储(历史库),满足海量数据的压缩、专利的索引、高效的并发查询、降低总拥有成本 TCO 等; PowerDesigner Enterprise 实现元数据管理,建立中央数据字典,集中管理; Bradmark Surveillance , IQ 运行监控; Sybase 专业服务
议程 历史(交易)数据状况 银行历史数据管理和应用架构 成功案例  如何销售?
销售定位 解决方案定位 需要缓解核心交易系统访问压力或需要有效存储和管理历史数据访问的行业客户,尤其是金融行业,如银行、保险和证券。 整个方案包含了哪些产品组件? PowerDesigner 建模和元数据管理工具 Sybase IQ  历史库 Bradmark Surveillance  监控工具 IQ 历史数据库 操作系统 专业服务(总体规划、模型及元数据管理、优化部署)
销售策略 目标客户 银行 保险公司 客户方面应该接触和约谈哪些人? 业务主管 IT 负责人 部门负责人 架构设计师 运维负责人等
机会识别 机会审核问题 业务系统运行了多少年?超过 3 年吗? 业务系统能提供历史交易明细数据的查询吗?能查多久之前的历史交易明细? 业务系统是否随业务和数据的增长而面临性能压力? 业务系统中产生的历史数据如何进行有效的管理? 如果积累了大量的历史数据,目前历史数据的访问情况? 是否有数据仓库系统?数据仓库对于历史数据的处理情况? 是否有审计或合规类的应用系统? 是否有筹建历史数据存储管理的打算和预算?
销售建议方案 针对不同规模的商业银行推荐如下销售方案: 小规模(实施周期 2 个月): Sybase PowerDesigner Sybase IQ  单机( 2 CPUs ) Windows or Linux IQ  快速启动服务包 ( 5  天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 PC  服务器 Window / Linux 2 CPUs, 8GB  内存 SAN Switch 磁盘阵列 FC/SAS/SATA <1TB ASE
销售建议方案 针对不同规模的商业银行推荐如下销售方案: 中等规模(实施周期 3 个月) : Sybase PowerDesigner Sybase IQ Multiplex ( 4-8 CPUs ) Windows or Linux IQ  有效部署服务包 ( 10  天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 PC 服务器 2 Window / Linux 4CPUs, 16GB  内存 SAN Switch 磁盘阵列 FC/SAS/SATA 1-2TB ASE 历史库 服务器 PC 服务器 1 Window / Linux 4CPUs, 16GB  内存
销售建议方案 针对不同规模的商业银行推荐如下销售方案: 大规模(实施周期 4 个月) : Sybase PowerDesigner Sybase IQ Multiplex ( 16+ CPUs ) Unix Bradmark Surveillance  监控工具 IQ  有效部署服务包 ( 10+  天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 Unix 服务器 2 Unix 8CPUs, 32GB  内存 SAN  交换机 磁盘阵列 FC/SAS/SATA 2+TB ASE 历史库 服务器 Unix 服务器 1 Unix 8CPUs, 32GB  内存
销售支持 技术培训 售前技术支持 专业服务支持
议程 历史(交易)数据状况 银行历史数据管理和应用架构 成功案例  如何销售? Sybase 关键技术与产品概述
PowerDesigner:  建模及元数据管理 全面的建模技术 流程建模   (BPM) 数据建模   (ER) 面向对象 建模   (UML) XML 建模 信息流动 建模 生命周期管理 需求分析 Impact analysis 模型驱动的开发支持 Java, C#, VB .NET, PB, Web Service, EJB, JDO, Hibernate, XML, BPEL4WS, ebXML,  … 与集成开发环境 IDE (Eclipse, JBuilder, PB) 的集成  文档 HTML, RTF, etc. 统一的元数据管理 版本管理 ,  安全控制
Sybase IQ Sybase IQ  是一个高优化的数据仓库服务器,在标准硬件平台和操作系统上,具有以下特点: 查询性能提升 10-100 倍 存储效率提高 2-5 倍 有效控制总拥有成本 TCO 减少 DBA 的工作 降低硬件资源开销:磁盘,网络等 减少备份或容灾的成本 降低能耗,绿色环保 支持 ILM ,有效解决数据长期保存的问题 列式数据库技术 (Column Database) 无处不索引 (Index EVERYWHERE)
Sybase IQ 的核心技术之一:列式架构 传统关系型数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 SYBASE IQ c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 数据垂直存储  –  每个列都是单独存储的 数据就是索引 查询时只读取需要的列 –  极大地降低了系统的 I/O 每个列由独立的线程处理 – 查询并行处理 数据按行(记录)存储 查询通常需要大量的 I/O ,尤其在无法利用索引的情况下 建立索引非常耗时和耗资源 为了获得查询效率不得不大大增加数据库的硬件配置
Sybase IQ 的核心技术之二:专利的索引 索引即是数据 没有索引和数据的分别 专利的 Bit-Wise 索引 任何一列可以建立多个索引 系统保证至少会存在一个索引( FP ) 索引的选择和设计主要基于: 数据的基数(离散值的个数) 在查询中的使用方式 和 SQL 语句的顺序无关
Sybase IQ  自适应的查询处理 启动查询 1 查询 3 服务器资源被不停地进行重新分配 CPUs  使用 CPUs  使用 CPUs  使用 启动查询   2 启动查询   3 查询 2 查询 1 Resources are rebalanced Resources are rebalanced Resources are rebalanced 资源被重新调配
Sybase IQ  数据分层存储方案 数据分区(层)存储 光纤盘或固态盘 SAS  或 eSATA 信息生命周期管理 Sep Aug Jul Jan Feb Mar Apr May Jun 将  “ 最热 ” 数据装载 到最快的存储上 Dec 移动分区到较低成本的存储上 将  “ 最热的 ”  分区放在最快的存储上 随着时间推移,再逐步将分区向较低成本存储上移动 共享、压缩、分区的 列式数据存储 Scale out Scale out 活动数据存储 近线数据存储 历史数据存储
Sybase IQ  –   数据存储开销大幅度降低 数据压缩  – 显著降低存储空间和维护成本 基础表 : 0.2 - 0.5TB 索引 :  0.05 - 0.3TB 聚合 / 汇总 : 0 - 0.1TB 汇总 聚合 1 - 2TB 索引 0.5 - 3TB 基础表 “ 原始数据 ” 无索引 0.9 - 1.1TB 2.4-6TB Transactional  DBMS 加载相同数据 :  “ 传统的数据仓库”  是 Sybase IQ 数据仓库的 3 - 6 倍   0.25 - 0.9TB 输入数据 : 1TB 数据源: 文件, ETL ,复制, ODS LOAD LOAD
Sybase IQ  高可用性及扩展性 超快 并行分析 高速内部互联 Kerberos  –   认证  ECC/RSA/FIPS- 安全加密  连接 共享、压缩、分区的 列式数据存储 外扩展 外扩展 外扩展 外扩展 协同 读 / 写节点 读节点 读节点 读 / 写节点 活动数据存储 近线数据存储 历史数据存储 节点 节点 1 节点 3 节点 4 节点 5 高速实时 数据加载 高性能 批量 ETL 高并发 报表 客户端 数据加载和查询 图形化系统管理 主节点 读 / 写节点 节点 2
Sybase IQ  Multiplex :  高扩展性 查询负载 :  每个用户随机执行类似 TPC/H 的查询 ( 来源   : HP San Bruno 试验室 ,  美国加州 ) 80 120 160 200 240 280 320 360 40 400 0 100 200 300 400 500 1 2 3 4 5 6 7 8 9 10 节点 31  秒 31.6  秒 400  用户  响应时间   =  31.6  秒 增加   : 1.9%  (0.6  秒 ) 用户 40  用户   响应时间 :  31  秒   用户 98% Sybase IQ Multiplex  扩展性测试结果
Sybase IQ 数据容灾:虚拟备份 利用磁盘阵列的硬件特性,和 Sybase IQ 的备份特性提供 TB 级数据仓库秒级的备份恢复 实现在线备份恢复及远程灾难备份,以及业务连续的运行目标的解决方案 软件名称 EMC HDS IBM SUN Local Copy EMC SnapView_BCV/Clone HDS  ShadowImage Volumn Copy Volumn Copy/Volumn mirror Delta Copy EMC SnapView_Snapshot HDS  ShadowImage Flash copy Snapshot Remote Copy EMC San copy HDS TrueCopy Globle Mirror (  同步方式、异步方式  ) Data Replicator (  同步方式、异步方式  ) 负载均衡 / 通道管理 EMC PowerPath HDS HDLM RDAC MPCIO
问答( Question & Answer ) 谢谢! Thanks!

More Related Content

PPTX
淘宝双11双12案例分享
PDF
唯品会大数据实践 Sacc pub
PPTX
中大型规模的网站架构运维 Saac
PDF
美团数据库运维平台介绍
PPTX
数据架构方面的一些探讨
PPTX
大型电商的数据服务的要点和难点
PDF
淘宝软件基础设施构建实践
PDF
鹰眼下的淘宝_EagleEye with Taobao
淘宝双11双12案例分享
唯品会大数据实践 Sacc pub
中大型规模的网站架构运维 Saac
美团数据库运维平台介绍
数据架构方面的一些探讨
大型电商的数据服务的要点和难点
淘宝软件基础设施构建实践
鹰眼下的淘宝_EagleEye with Taobao

What's hot (20)

PPTX
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
PDF
自助工具助Dba提升效率
PDF
No sql@vip new
PDF
翟艳堂:腾讯大规模Hadoop集群实践
PDF
艺龙旅行网架构案例分享-Qcon2011
PPTX
Ocean base海量结构化数据存储系统 hadoop in china
PPTX
分布式系统日志处理调研
PPT
Sybase Analytic Appliance
PDF
X program-within-a-month
PDF
Hadoop大数据实践经验
PDF
美团点评技术沙龙010-点评RDS系统介绍
PPTX
“云存储系统”赏析系列分享三:Sql与nosql
PDF
罗李:构建一个跨机房的Hadoop集群
PDF
Azure Data Lake 簡介
PPTX
05 杨志丰
PDF
Using Alluxio in Tencent's News and Personalized Push Services
PDF
淘宝软件基础设施构建实践
PPTX
开源应用日志收集系统
PDF
2006-11-16 RFID and OSS for Agriculture
PPT
OTN软硬件结合数据库解决方案
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
自助工具助Dba提升效率
No sql@vip new
翟艳堂:腾讯大规模Hadoop集群实践
艺龙旅行网架构案例分享-Qcon2011
Ocean base海量结构化数据存储系统 hadoop in china
分布式系统日志处理调研
Sybase Analytic Appliance
X program-within-a-month
Hadoop大数据实践经验
美团点评技术沙龙010-点评RDS系统介绍
“云存储系统”赏析系列分享三:Sql与nosql
罗李:构建一个跨机房的Hadoop集群
Azure Data Lake 簡介
05 杨志丰
Using Alluxio in Tencent's News and Personalized Push Services
淘宝软件基础设施构建实践
开源应用日志收集系统
2006-11-16 RFID and OSS for Agriculture
OTN软硬件结合数据库解决方案
Ad

Similar to Selling sybase hds solution for banking (20)

PDF
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
PPT
淘宝网架构变迁和挑战(Oracle架构师日)
PDF
开源+自主开发 - 淘宝软件基础设施构建实践
PDF
Greenplum技术
PPT
Java@taobao
PDF
F1 07 淘宝软件基础设施构建实践_章文嵩_淘宝
PPTX
构建高可用数据库监控系统
PPTX
Ocean base 千亿级海量数据库-日照
PPT
JNC WMS Solution
PPT
Jnc wms solution
PPTX
海量统计数据的分布式MySQL集群——MyFOX
PDF
Taobao图片存储与cdn系统到服务
PDF
淘宝对象存储与Cdn系统到服务
PPT
Redis分享
PDF
天涯论坛的技术进化史-Qcon2011
PPTX
應用Ceph技術打造軟體定義儲存新局
PDF
《数据库发展研究报告-解读(2023年)》.pdf
PDF
利用统一存储获得无与伦比的速度,简化系统,并节省更多
PDF
選擇正確的Solution 來建置現代化的雲端資料倉儲
PDF
对MySQL应用的一些总结
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
淘宝网架构变迁和挑战(Oracle架构师日)
开源+自主开发 - 淘宝软件基础设施构建实践
Greenplum技术
Java@taobao
F1 07 淘宝软件基础设施构建实践_章文嵩_淘宝
构建高可用数据库监控系统
Ocean base 千亿级海量数据库-日照
JNC WMS Solution
Jnc wms solution
海量统计数据的分布式MySQL集群——MyFOX
Taobao图片存储与cdn系统到服务
淘宝对象存储与Cdn系统到服务
Redis分享
天涯论坛的技术进化史-Qcon2011
應用Ceph技術打造軟體定義儲存新局
《数据库发展研究报告-解读(2023年)》.pdf
利用统一存储获得无与伦比的速度,简化系统,并节省更多
選擇正確的Solution 來建置現代化的雲端資料倉儲
对MySQL应用的一些总结
Ad

Selling sybase hds solution for banking

  • 1. 银行历史数据库解决方案 — 基于 Sybase IQ 的历史交易数据管理和应用
  • 2. 议程 银行为什么需要历史库 ? 基于 Sybase IQ 的历史交易数据管理和应用 Sybase IQ 在历史数据管理方面的价值 成功案例
  • 3. 银行为什么需要历史库系统? 业务问题 银行业务系统多年运行,积累下来的交易数据(或称交易流水数据)及其相关的参照数据,如客户、帐户、产品、渠道等。 完整保留银行各业务系统交易流水的原始记录,满足规定时限( 5-10+ 年)历史交易数据查询和快速恢复的需要,包括但不限于: 各业务系统的历史交易明细数据的实时查询 人行、银监会,公、检、法、工商、税务等即席查询 为审计和操作风险监控等内部控管类系统提供数据 历史数据提取和下载
  • 4. 银行历史(交易)数据状况 海量数据 核心帐务系统 零售业务系统 信贷业务系统 国际结算系统 支付系统 电话银行 / 网上银行系统 银行卡业务系统 外汇交易 证券、基金、保险 电信、公用事业 Call Center CRM 等等 特点: 时间跨度大:几年 -20+ 年 数据量大: TB – 几十个 TB 形式多样:在线,离线 异构环境:硬件、操作系统、数据库等;开放和封闭的系统 版本繁杂:操作系统,数据库 数据质量:亟待完善 可恢复性:存在相当的难度
  • 5. 银行交易数据从分布走向大集中 核心业务处理 全行的服务支撑平台 全行信息系统 总行级数据分析、决策支持 …… 分行特色业务支持 金融设备的前置处理 分行内部报表、数据支持 未上收的信息系统 …… 业务上收 数据下发
  • 6. 银行历史交易数据的应用 历史交易数据是一笔宝贵的财富 内外部监管、合规和审计,典型的审计,帐务调查等快速提供历史数据的应用。 各业务系统( OLTP )对历史交易数据的查询。 统计报表。 实现对业务的有效支持 业务管理:业务创新、交叉销售、差异化服务等 风险管理:主动风险防范和控制,提高风险控制和管理能力 成本管理:信息资源、业务资源、客户资源和管理资源的最优配置和最大利用
  • 7. 议程 银行为什么需要历史库 ? 基于 Sybase IQ 的历史交易数据管理和应用 成功案例
  • 8. 历史数据管理和应用 — 总体架构 ODS/DSA – 面向主题、当前 Data Warehouse 面向主题 包含历史 和汇总的 数据集市 数据集市 业务系统 核心 零售 信贷 国际 基金 当前数据 当前数据 当前数据 当前数据 当前数据 数据仓库和分析型应用 历史数据查询系统 历史数据 历史数据 历史数据 历史数据 历史数据 历史交易数据存储 HDS 数据交换平台 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它 审计 反洗钱 随机查询
  • 9. 历史交易数据管理和应用逻辑结构 历史交易数据存储 -HDS 元 数 据 管 理 数 据 安 全 性 管 理 统一数据视图 / 统一数据访问服务 历史数据存储层 历史数据访问服务层 历史数据查询服务层 遗留数据 零售 遗留数据 对公 核心 信贷 零售 国际 数据交换平台 核心 业务系统 零售 业务系统 信贷 业务系统 国际结算 业务系统 … 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它
  • 10. 基于 Sybase IQ 的历史库系统 — 信息生命周期管理 HDS 主库 磁带库 HDS 缓存库 数据加载服务器 1 中央 数据字典 元数据管理和 IQ 监控服务器 信息生命周期管理 在线 0~2 年 在线 0~6 年 近线 7~12 年 离线 13~ 年 历史数据存储 历史数据查询服务 遗留数据 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 批量检索节点组 实时查询节点组 其他应用节点组 遗留应用节点组
  • 11. 历史库系统物理架构 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 抽取转换装载 服务器 Linux/Windows Sybase ETL 活跃数据 近线数据 历史数据 历史库 服务器群 Unix/Linux SAN 交换机 1 SAN 交换机 2 磁盘阵列 FC/SAS/SATA 6/12/24TB 实时查询 应用服务器 ASE 客户端 台式机 即席查询 服务器 批量检索 应用服务器
  • 12. 基于 Sybase IQ 的银行历史库系统 令人信服的理由 Sybase 的历史库解决方案将银行的历史数据统一归档到总行的历史数据库中,构建统一的历史数据查询平台。同时,历史数据集中存放,统一进行管理、运行和维护、统一备份,可以充分利用 IT 软硬件资源,最大限度降低总体拥有成本( TCO )。 各个业务系统将只保留当前的交易数据,负担减小,各个业务系统性能大幅提升 Sybase IQ 提供 高效的数据压缩存储功能,有效地解决了大量历史交易数据的存储和管理; 快速的数据查询能力,有效地承担全行历史交易数据的查询和访问; 开放平台及便利的多节点扩展功能,可靠地解决单台机器的资源限制,扩展访问能力; 可靠安全的高可用及灾难备份机制,最大程度保证全行历史数据的安全;
  • 14. 成功案例 在哪里进行过实施? 交通银行 浦发银行 中国农业银行 上海农商行 。。。
  • 15. 案例( Case Study ) 历史库系统背景介绍 随着数据的集中和业务的发展,数据量急速增长。在实际的业务应用环境中,来自于各业务部门、各类客户和外部机构等第三方的对于详细历史数据的随机查询要求越来越多。 大量的历史数据保存在主机的核心业务系统中,已经开始对业务处理的效率造成影响,因此,需要将业务系统中的历史数据移出,建立历史数据库,为前端柜员的历史数据查询提供支持。 历史数据查询系统实施了三期。 二期: 2007 年。 Teradata -> Sybase IQ 三期: 2009 年。 Sybase IQ Multiplex
  • 16. 案例( Case Study ) 历史数据查询系统二期 历史库迁移到 Sybase IQ 单节点部署 IQ Multiplex NonStop IQ 实现 10+ 业务系统的数据集中 数据规模 >2TB 主节点服务器配置: IBM P690, 10CPUs, 40GB 内存 历史库数据库服务器 ( 主点 ) 历史库数据服务器 ( 备点 ) 写节点 读节点 读节点 历史库前置 历史库前置 历史库前置 此接入点为备用 数据同步 分行前置 分行前置 分行前置 …… 电话银行 电话银行 个人网银 企业网银 柜面 柜面 浏览器 浏览器 浏览器 浏览器 写节点 审计 操作风险 浏览器 浏览器 浏览器 浏览器 …… 数据交换 平台 个贷 , 信贷 , 基金 , 国际业务 …… 核心
  • 17. 案例( Case Study ) 历史数据查询系统三期 多节点部署 IQ Multiplex 数据多级存储实现信息生命管理 元数据集中管理 运行监控 数据规模 >3TB 7 x IBM P595 服务器 : 4CPUs, 16GB 内存 审计应用 风控系统 分行数据下载 即席查询 审计应用 ODBC /JDBC ODBC /JDBC ODBC /JDBC 写节点 写节点 元数据库 ETL 服务器 数据交换 文本文件 备库 应用服务器 应用服务器 应用服务器 应用服务器 应用服务器 ODBC /JDBC ODBC /JDBC ODBC /JDBC ODBC /JDBC ODBC /JDBC Nonstop IQ HDS 缓存库 写节点 中央管理控制台 PD , Surveillance Nonstop IQ Sybase IQ Multiplex HDS 主库 写节点 查询节点 1 查询节点 2 查询节点 3 Sybase IQ Multiplex 国际 信贷 核心 基金 个贷 EBANK
  • 18. 客户收益 剥离全部业务系统历史交易数据,实现大集中,进而形成单一视图; 建立一个基础的数据存储层,实现海量历史数据的长期存储要求; 建立一个高性能的历史交易数据查询服务层,提供多种查询支持; 建立统一的中央数据字典,实现元数据的集中管理和共享; 建立安全访问控制和管理机制,实现历史交易数据安全使用和管理; 建立统一的数据备份和恢复机制; 历史数据实现了信息生命周期管理,有效降低了总拥有成本 TCO 。
  • 19. 使用的关键技术、产品和服务 Sybase IQ 实现历史数据存储(历史库),满足海量数据的压缩、专利的索引、高效的并发查询、降低总拥有成本 TCO 等; PowerDesigner Enterprise 实现元数据管理,建立中央数据字典,集中管理; Bradmark Surveillance , IQ 运行监控; Sybase 专业服务
  • 21. 销售定位 解决方案定位 需要缓解核心交易系统访问压力或需要有效存储和管理历史数据访问的行业客户,尤其是金融行业,如银行、保险和证券。 整个方案包含了哪些产品组件? PowerDesigner 建模和元数据管理工具 Sybase IQ 历史库 Bradmark Surveillance 监控工具 IQ 历史数据库 操作系统 专业服务(总体规划、模型及元数据管理、优化部署)
  • 22. 销售策略 目标客户 银行 保险公司 客户方面应该接触和约谈哪些人? 业务主管 IT 负责人 部门负责人 架构设计师 运维负责人等
  • 23. 机会识别 机会审核问题 业务系统运行了多少年?超过 3 年吗? 业务系统能提供历史交易明细数据的查询吗?能查多久之前的历史交易明细? 业务系统是否随业务和数据的增长而面临性能压力? 业务系统中产生的历史数据如何进行有效的管理? 如果积累了大量的历史数据,目前历史数据的访问情况? 是否有数据仓库系统?数据仓库对于历史数据的处理情况? 是否有审计或合规类的应用系统? 是否有筹建历史数据存储管理的打算和预算?
  • 24. 销售建议方案 针对不同规模的商业银行推荐如下销售方案: 小规模(实施周期 2 个月): Sybase PowerDesigner Sybase IQ 单机( 2 CPUs ) Windows or Linux IQ 快速启动服务包 ( 5 天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 PC 服务器 Window / Linux 2 CPUs, 8GB 内存 SAN Switch 磁盘阵列 FC/SAS/SATA <1TB ASE
  • 25. 销售建议方案 针对不同规模的商业银行推荐如下销售方案: 中等规模(实施周期 3 个月) : Sybase PowerDesigner Sybase IQ Multiplex ( 4-8 CPUs ) Windows or Linux IQ 有效部署服务包 ( 10 天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 PC 服务器 2 Window / Linux 4CPUs, 16GB 内存 SAN Switch 磁盘阵列 FC/SAS/SATA 1-2TB ASE 历史库 服务器 PC 服务器 1 Window / Linux 4CPUs, 16GB 内存
  • 26. 销售建议方案 针对不同规模的商业银行推荐如下销售方案: 大规模(实施周期 4 个月) : Sybase PowerDesigner Sybase IQ Multiplex ( 16+ CPUs ) Unix Bradmark Surveillance 监控工具 IQ 有效部署服务包 ( 10+ 天) 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 可选 历史库 服务器 Unix 服务器 2 Unix 8CPUs, 32GB 内存 SAN 交换机 磁盘阵列 FC/SAS/SATA 2+TB ASE 历史库 服务器 Unix 服务器 1 Unix 8CPUs, 32GB 内存
  • 28. 议程 历史(交易)数据状况 银行历史数据管理和应用架构 成功案例 如何销售? Sybase 关键技术与产品概述
  • 29. PowerDesigner: 建模及元数据管理 全面的建模技术 流程建模 (BPM) 数据建模 (ER) 面向对象 建模 (UML) XML 建模 信息流动 建模 生命周期管理 需求分析 Impact analysis 模型驱动的开发支持 Java, C#, VB .NET, PB, Web Service, EJB, JDO, Hibernate, XML, BPEL4WS, ebXML, … 与集成开发环境 IDE (Eclipse, JBuilder, PB) 的集成 文档 HTML, RTF, etc. 统一的元数据管理 版本管理 , 安全控制
  • 30. Sybase IQ Sybase IQ 是一个高优化的数据仓库服务器,在标准硬件平台和操作系统上,具有以下特点: 查询性能提升 10-100 倍 存储效率提高 2-5 倍 有效控制总拥有成本 TCO 减少 DBA 的工作 降低硬件资源开销:磁盘,网络等 减少备份或容灾的成本 降低能耗,绿色环保 支持 ILM ,有效解决数据长期保存的问题 列式数据库技术 (Column Database) 无处不索引 (Index EVERYWHERE)
  • 31. Sybase IQ 的核心技术之一:列式架构 传统关系型数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 SYBASE IQ c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 数据垂直存储 – 每个列都是单独存储的 数据就是索引 查询时只读取需要的列 – 极大地降低了系统的 I/O 每个列由独立的线程处理 – 查询并行处理 数据按行(记录)存储 查询通常需要大量的 I/O ,尤其在无法利用索引的情况下 建立索引非常耗时和耗资源 为了获得查询效率不得不大大增加数据库的硬件配置
  • 32. Sybase IQ 的核心技术之二:专利的索引 索引即是数据 没有索引和数据的分别 专利的 Bit-Wise 索引 任何一列可以建立多个索引 系统保证至少会存在一个索引( FP ) 索引的选择和设计主要基于: 数据的基数(离散值的个数) 在查询中的使用方式 和 SQL 语句的顺序无关
  • 33. Sybase IQ 自适应的查询处理 启动查询 1 查询 3 服务器资源被不停地进行重新分配 CPUs 使用 CPUs 使用 CPUs 使用 启动查询 2 启动查询 3 查询 2 查询 1 Resources are rebalanced Resources are rebalanced Resources are rebalanced 资源被重新调配
  • 34. Sybase IQ 数据分层存储方案 数据分区(层)存储 光纤盘或固态盘 SAS 或 eSATA 信息生命周期管理 Sep Aug Jul Jan Feb Mar Apr May Jun 将 “ 最热 ” 数据装载 到最快的存储上 Dec 移动分区到较低成本的存储上 将 “ 最热的 ” 分区放在最快的存储上 随着时间推移,再逐步将分区向较低成本存储上移动 共享、压缩、分区的 列式数据存储 Scale out Scale out 活动数据存储 近线数据存储 历史数据存储
  • 35. Sybase IQ – 数据存储开销大幅度降低 数据压缩 – 显著降低存储空间和维护成本 基础表 : 0.2 - 0.5TB 索引 : 0.05 - 0.3TB 聚合 / 汇总 : 0 - 0.1TB 汇总 聚合 1 - 2TB 索引 0.5 - 3TB 基础表 “ 原始数据 ” 无索引 0.9 - 1.1TB 2.4-6TB Transactional DBMS 加载相同数据 : “ 传统的数据仓库” 是 Sybase IQ 数据仓库的 3 - 6 倍 0.25 - 0.9TB 输入数据 : 1TB 数据源: 文件, ETL ,复制, ODS LOAD LOAD
  • 36. Sybase IQ 高可用性及扩展性 超快 并行分析 高速内部互联 Kerberos – 认证 ECC/RSA/FIPS- 安全加密 连接 共享、压缩、分区的 列式数据存储 外扩展 外扩展 外扩展 外扩展 协同 读 / 写节点 读节点 读节点 读 / 写节点 活动数据存储 近线数据存储 历史数据存储 节点 节点 1 节点 3 节点 4 节点 5 高速实时 数据加载 高性能 批量 ETL 高并发 报表 客户端 数据加载和查询 图形化系统管理 主节点 读 / 写节点 节点 2
  • 37. Sybase IQ Multiplex : 高扩展性 查询负载 : 每个用户随机执行类似 TPC/H 的查询 ( 来源 : HP San Bruno 试验室 , 美国加州 ) 80 120 160 200 240 280 320 360 40 400 0 100 200 300 400 500 1 2 3 4 5 6 7 8 9 10 节点 31 秒 31.6 秒 400 用户 响应时间 = 31.6 秒 增加 : 1.9% (0.6 秒 ) 用户 40 用户 响应时间 : 31 秒 用户 98% Sybase IQ Multiplex 扩展性测试结果
  • 38. Sybase IQ 数据容灾:虚拟备份 利用磁盘阵列的硬件特性,和 Sybase IQ 的备份特性提供 TB 级数据仓库秒级的备份恢复 实现在线备份恢复及远程灾难备份,以及业务连续的运行目标的解决方案 软件名称 EMC HDS IBM SUN Local Copy EMC SnapView_BCV/Clone HDS ShadowImage Volumn Copy Volumn Copy/Volumn mirror Delta Copy EMC SnapView_Snapshot HDS ShadowImage Flash copy Snapshot Remote Copy EMC San copy HDS TrueCopy Globle Mirror ( 同步方式、异步方式 ) Data Replicator ( 同步方式、异步方式 ) 负载均衡 / 通道管理 EMC PowerPath HDS HDLM RDAC MPCIO
  • 39. 问答( Question & Answer ) 谢谢! Thanks!

Editor's Notes

  • #11: In IQ based historical database system, most important parts are historical data storage and data query service. The historical data storage consists of 3 tiers data store. From middle to left, the first tier database is called HDS cache database that store latest 2 years (0-2 years) original transaction data of business system; The second tier is called HDS Main database that will store latest 12 years of transaction data. The 3 rd tier is archive library on Tape which will archive all the transaction data of more than 12 years. On the right, there are 4 types of application, real time query, data retrieval, legacy data query and other back-end applications. These applications will be running on Sybase IQ multiplex environment. The HDS cache database is dedicated data store for real time query from various types of business systems. As the data volume of HDS cache is relatively small, and the database reside in the IQ dbspace on high performance disk ( Fiber Channel , FC disk ) . To keep storage cost low and insure that frequently accessed data is readily available, the HDS Main database is composed of multiple IQ dbspaces, transaction data of less than 7 years reside in IQ dbspaces on FC disk, which will support high performance data access, and transaction data of 7-12 years will reside in IQ dbspaces on cheaper &amp; slower storage ( SATA disk ). As time goes on, data will be moved from high performance storage to cheaper &amp; slower storage. So ILM strategy can be implemented.
  • #16: Background of historical data system project. After the centralized of business and data, the volume of data increased fast. At the same time, the increased demands of acceess (ad hoc query) to historical transaction detail data from business departments, customers and various external organizations stress the existed IT system. Keeping large amount of historical transaction detail data in core banking system on Mainframe slowed down performance of business process, so they want to off load historical data query from business system to protect transaction response time by moving out the transaction data from business system, then consolidating the transaction data into a centralized historical data store. During 2005 to 2009, they implemented 3 phases of the HDS project. Phase 1 : In 2005, based on Teradata Phase 2: In 2007, Migrating from Teradata to Sybase IQ Phase 3: In 2009, Expand and extend with Sybase IQ Multiplex
  • #33: 在 iq 中,索引就是数据。
  • #36: 传统的数据库引擎不能以一种通用的访时进行数据压缩,主要是由于存在以下三个问题: 1 、其按行存储的数据存储方式不利于压缩。这是由于数据(数据库底层的存储为二进制数据)在以这种方式存储视重复并不多。我们发现,按行存储的数据,最多能有 5-10% 的压缩比例; 2 、对于许多的 2K 和 4K 的二进制数据的页来说,为压缩和解压缩而增加的开销太大; 3 、在 OLTP 环境中,大量读取和更新大量读取和更新混杂在一起。每一次更新需要进行压缩操作,而读取只需要解压缩操作,大多数的数据压缩算法在压缩时比解压缩时慢 4 倍。这一开销将明显降低 OLTP 数据库引擎的事务处理效率而使得数据压缩的代价昂贵到几乎不能忍受。 在数据仓库应用中,数据压缩可以用小得多的代价换取更大好处。其中包括减少对于存储量的要求;增大数据吞吐量(大页面设置, IQ 一般的页面至少为 128K ),这相当于减少查询响应时间。 Sybase IQ 使用了数据压缩。这是由于数据按列存储,相邻的字段值具有相同的数据类型,其二进制值的范围通常也要小得多,所以压缩更容易,压缩比更高。 Sybase IQ 对列存储的数据通常能得到大于 50% 的压缩。更大的压缩比例,加上大页面 I/O ,使得 Sybase IQ 在获得优良的查询性能的保跎倭硕源娲⒖占涞男枨蟆