hbaseconasia2017: HBase at JD.com
2 likes837 views
该文档介绍了2017年HBase在JD的应用现状，包括四个数据中心、3000多台服务器及600多个业务实例。同时，内容涵盖了高可用性改进、运维实践和未来展望，提及了多个具体的应用场景和技术优化措施。最后，文档展望了Phoenix的容器化部署和认证机制的改进。
hbaseconasia2017: HBase at JD.com
- 1. HBase at JD HBaseCon Asia 2017 xingbo peng & bang wen
- 2. 主要内容 规模现状 应用的业务场景 高可用改进 运维实践 未来展望
- 3. 规模现状 4个数据中心 3000+台服务器 30+个集群，单集群最大规模400+ 业务实例600+ 用户1000+
- 4. 基础版本 0.92->0.94 -> 0.96 -> 0.98 -> 1.0 ->1.1
- 5. 应用业务场景 商智（商家罗盘） 个性化推荐 商品评价/会员PLUS 风控/白条/支付/资管（金融） 订单/青龙 UMP/MDC/CAP/JDH/监控大屏
- 6. 应用业务场景-商智 数据罗盘 存储600T 表620+ 类sql查询 1100w/tps
- 7. 应用业务场景-推荐 首页、商详、购 物车 存储130T 表700+ TP999<200ms 300w/tps
- 8. 应用业务场景-MDC 物理机5.8w， 容器近10w 用户2700+ Metric 5大类，31小类 日增量1.6 TB
- 9. 应用业务场景-监控大屏
- 10. 高可用改进 RSGroup Security Replication Client Tuning Other
- 11. RSGroup HBASE-6721 RSGROUP 多租户业务分级（独立、共享） 差异化配置管理 移动分组滚动重启 资源弹性管理 成本核算
- 12. RSGroup
- 13. Security Hadoop集群安全 JDHadoop 版本 黑白名单、绿色通道 保护目录 HBase权限 服务端：认证、授权， SASL+IP 实现 客户端：InstanceID+Access
- 14. HBase鉴权流程图
- 15. Replication HBASE-13153 Bulk Loaded HFile Replication HBASE-15809 Basic Replication WebUI HBASE-16447 Replication by namespaces config in peer HBASE-11393 Replication TableCfs should be a PB object rather than a string HBASE-17698 ReplicationEndpoint choosing sinks
- 16. Client 一键切换 故障主备切换、数据迁移 秒级切换 集群、分组、实例
- 18. 一键切换-架构
- 19. Tuning Compaction 优化 Hlogs参数优化 堆外内存 读写队列分离 GC参数优化 Quata 分布式Log Replay Jute buffer
- 20. other HBASE-14644 Region in transition metric is broken HBASE-14963 Remove use of Guava Stopwatch from HBase client code HBASE-15319 clearJmxCache does not take effect actually
- 21. 运维实践
- 22. 监控 Mummut监控 目标：集群jmx、日志、服务器运行指标等信息 处理能力：秒级8Kw 架构实现：tcollector + celery + redis + tsdb + granfa + bdp_phoenix 其它监控 ganglia、mdc、ops、ump 巡检 基础服务、磁盘健康、swap、连接数、僵尸进程、集群配置
- 23. 监控-Mammut
- 24. 监控/Mammut
- 25. 告警 报警方式：电话、咚咚、短信、邮件 监控中心7x24小时 SLA（TP99<200ms）：方法性能调用次数、可用率 Metric：AverageLoad，sizeOfLogQueue，ritCount， DeadRegionServer，numActiveHandler， numCallGeneralQueue
- 26. 集群迁移 0.94->1.1
- 27. 集群迁移 1.1->1.1
- 28. 业务运营
- 29. JDHBase生态
- 30. 未来展望
- 31. Phoenix 版本：4.10 Patch PHOENIX-3757 System mutex table not being created in SYSTEM namespace when namespace mapping is enabled PHOENIX-3756 Users lacking ADMIN on 'SYSTEM' HBase namespace can't connect to Phoenix 改进 适配jdhbase认证机制 支持多用户同时登陆，改造cache用户逻辑
- 32. Phoenix
- 34. 感谢！