JKDB BACKUP Introduction
0 likes133 views
本文介绍了jkdb的备份恢复模块，该模块包括自动化备份、可调整备份、自动化恢复等多项功能，旨在提高数据管理效率和安全性。模块通过元数据中心管理备份任务，实现故障告警和分布式备份存储。灾难应急方案包括应用级和机房级备份恢复手段，确保数据的可用性和系统的高可用性。
JKDB BACKUP Introduction
- 1. JK.CN JKDB 备份恢复模块介绍 前言 JKDB（jkdb.pajk-ent.com）作为 DBA 部门的整体数据管理平台，承载着整个公司的关系型数据以及缓存数据的管理与维护工作。 JKDB 平台整体上是多个功能模块的一个集合，包括了备份恢复，实例管理，装机需求，应用管理，元数据管理，容量预测，自助工作 流等功能模块。对外 JKDB 通过权限控制，可以对业务部门暴露元数据信息,实时监控，实例状态等信息。对内 JKDB 为 DBA 部门提供 了可视化的操作界面，极大的方便了日常运维与管理工作，JKDB 作为一个容器，将诸多核心模块串联起来，最大程度的满足了流程以 及安全审计的需求。 此篇着重介绍 JKDB 的备份恢复模块功能以及相关灾难应急手段。
- 2. JK.CN 备份模块整体架构: JKDB-PLATFORM Auto-install Meta-data Dbinfo-center instance Db/Tab/Cols MYSQL-CLUSTER agent agent agent agent Auto-backup Read Instance Meta-data Update instance backup status Backup-history Auto-Restore 1.full-restore 2.In-time-recovery 3.Auto-slaveinstall Other platforms MFS MFS DB-FILE BINLOG SCM Auto-APPLY Exam_info
- 3. JK.CN JKDB 备份恢复模块主要包含了以下几个功能： 1. 自动化备份（基于 JKDB 元数据信息的自动化备份） 2. 可调整化备份 （可以任意的调整备份频率，备份周期以及备份节点） 3. 自动化恢复（主要包含自动备库搭建，基于备份文件的整体恢复以及基于任意时间点的恢复） 4. 备份日志审计（主要包括备份历史日志，当前备份任务展示） 5. 备份失败告警（主要依赖检验中心的检测） 6. 分布式备份存储（基于 MooseFS 的分布式文件系统）
- 4. JK.CN 自动化备份 基于元数据的自动化备份，所有的备份任务均基于元数据中心，元数据中心初始化由统一的安装配置模块以及 DBINFO 数据中心模块负 责。 元数据主要包括 实例信息，实例角色，实例所属业务信息，实例 HA 配置信息，实例域名信息等。另外元数据还包括细粒度的信息 包 括数据库分布信息，数据字段信息，表信息等。 自动化任务通过任务脚本触发，调用 XtraBackup tool 对 slave 节点做物理级别的复制，同时通过流式压缩，将备份完成的 tar 包文 件传输至备份存储平台（两台 MooseFS 文件系统，一套存放 FULL-BACKUP 备份，一套存放 BINLOG 备份）。
- 5. JK.CN
- 6. JK.CN 整个实例信息包括监控开启状态，元数据采集状态，备份状态等。备份策略分为（备份频率，备份保留天数，是否备份） 默认我们只备份 ROLE=2（备库），并且 Enable 备份属性的实例。备份保留天数为备份文件在本地的保留天数（所有的备份均存在分布 式文件系统中）。
- 7. JK.CN 自动化恢复 自动化恢复也是基于元数据的恢复模块（分为自动化恢复以及基于时间点的恢复）。 普通的自动化恢复分为以下三个功能： 1. 只做备份恢复，仅仅恢复一个完整的备份集 2. 将恢复的备份加入到集群中成为一个 slave 节点 3. 将恢复的备份加入到集群中成为一个级联状态的 slave 节点
- 8. JK.CN
- 9. JK.CN 基于时间点的恢复可以恢复数据库至 3 个月内的任意时间点。 通过我们的 BINLOG 订阅系统，自动解析 LOG 从而生成恢复语句逻辑恢复至任意指定时间点。 基于时间点的恢复从根本上是依赖自动化备份任务的全备集合（通过从分布式备份存储集群上拉取历史备份集合，结合相关 BINLOG 完 成逻辑恢复）。
- 10. JK.CN
- 11. JK.CN 备份历史以及监控 所有的备份记录均以 LOG 形式留存以供审计需要，当然我们也会定期的对线上的备份数据集做相关恢复验证工作（定期恢复指定 GROUP 的备份集，定期恢复相关时间点的备份以验证备份可用性）。 对当前的备份任务，我们会通过校验中心做相关预警工作。
- 12. JK.CN
- 14. JK.CN
- 15. JK.CN 灾难应急 首先基于应用级别的，我们依赖自身的 HA 模块可以秒级的切换至健康的节点(对前端应用无感知),通过自动恢复模块可以快速的搭建 新的主备集群。 未来基于机房级别的容灾手段： 1. 远程灾备机房 HA 容灾（同城、跨省、跨国机房） 2. 远程备份文件传输至 IDC 进行自动化恢复（结合 DPDK 等技术，基于整个实例级别的 FULL-BACKUP ，IN-TIME-RECOVERY 恢复）。 最后放一张我们备份集群的截图：