2014 Hpocon 姚仁捷 唯品会 - data driven ops
1 like880 views
该文档讨论了如何通过数据驱动的操作加强业务分析，包括数据可视化的重要性、调试方法和容量规划。强调了利用数学和线性模型预测资源需求，以及智能报警在异常检测中的应用。文档还介绍了数据在分布式系统中的处理和分析方法。
2014 Hpocon 姚仁捷 唯品会 - data driven ops
- 1. Data Driven Ops @超⼤大杯摩卡星冰乐 2014-11-08
- 2. Agenda • Ops/Biz Data in VIP • How to Debug • Maths-Driven Ops
- 3. Ops Data in VIP
- 4. What We have Done
- 7. What We are Doing now • Full Nginx Data Into HBase for searching
- 8. Metrics Layer • System：Linux • App：Java，PHP，tomcat… • Biz：things about Money…
- 9. 数据可视化的重要性 • 单⼀一的⼀一个数据点不说明任何意义 • 数据的趋势才是我们需要关注的
- 11. • 皇上---------Boss • 太监说的事---------数据说明的问题
- 12. 太监是什么？
- 14. How to Debug
- 15. ⾼高性能意味着什么 • ⼤大量服务器 • 分布式系统 • ⼤大量的错误
- 16. What is Maths • ⾼高中数学——解⽅方程，⼏几何 • ⼤大学数学——微积分
- 17. ⼀一道题 • ⼩小明有⼀一天想测试⼀一下⾛走路快还是骑⾃自⾏行⻋车快。如果 你是⼩小明，你怎么测试？
- 18. 控制变量法
- 19. Rule: Changes makes issues
- 23. ⽐比较什么 • Linux Metrics • App Metrics • Log⽇日志
- 24. 怎么去看⽇日志 • 出问题的时间点附近，有没有异常 • 灵活使⽤用awk，sort，cut，uniq。。。
- 25. 数学在容量规划上的⽤用 处
- 27. 解⼀一个⼀一元⼆二次⽅方程 • f(x)=ax+b • f(1)=3 • f(2)=4
- 28. 类线性系统的容量预测 • ⼤大促需要多少服务器，就是寻找服务器数量和流量之 间的关系 • 我们使⽤用线性模型进⾏行预测
- 29. 为什么是线性模型
- 31. ⺫⽬目标
- 33. 原理 • 最⼩小⼆二乘拟合 • 对于线性模型，有现成公式套
- 37. 智能化报警
- 38. • 当我们看到trend，⼈人类是怎么分辨是否出问题的？ • 能不能⽤用计算机语⾔言来表⽰示？ • 这就是报警条件 • 如何⾃自动⽣生成报警条件
- 39. Etsy Kale • skyline:extendible algorithms automatically detect what it means for each metric to be anomalous • oculus:Once you’ve identified an interesting or anomalous metric, Oculus will find all of the other metrics in your systems which look similar.
- 42. Further • Andrew-NG在Cousera的课程——Machine Learning
- 43. 回顾 • 数据可视化重要性 • 横向，纵向debug问题 • 线性模型的容量规划 • 智能报警
- 44. Q&A
- 45. Thanks all!