Why use MySQL

⺩王朝阳(Data Architect@iqunxing.com)
＊数据库技术爱好者：获有Oracle 10g/11g OCM，Oracle 10g/11g/12c
OCP， MCITP/MCTS DBA(MSSQL2008)，RHCE，Java Programmer等认
证。
＊数据库技术使⽤用者：+5年数据库使⽤用及管理经验，精通异构数据库
(Oracle/MySQL/MSSQL/NoSQLs)和异构操作系统(Linux/Unix/Windows)之
间的数据同步；擅⻓长数据库的设计和调优；通过⼤大数据技术进⾏行⽤用户⾏行为
性分析和智能推荐；部署MySQL的集群和⾼高可⽤用环境,并实现Oracle到
MySQL的数据同步和迁移。
＊数据库技术研究者：独⽴立开发mysqlexp⼯工具(⽤用于从MySQL数据库⾃自定
义导出数据)、mysqlclone⼯工具(⽤用于克隆MySQL数据库)和sqluldr⼯工具(⽤用于
从Oracle数据库导出⽂文本数据)，并进⾏行后续的更新和完善。
＊数据库技术分享者：作为上海Oracle⽤用户组(SHOUG)成员、OCM联盟
(OCMU)成员，经常参与技术类交流活动；担任云和恩墨⾼高级讲师、尚观
科技Oracle讲师进⾏行专业的培训⼯工作，向更多数据库爱好者传播数据库知
识；活跃于OTN和ITPUB等论坛, 并⻓长期维护和更新⾃自⼰己的数据库技术交
流博客(royalwzy.com)。
个⼈人介绍

• MySQL介绍
• MySQL分布式数据库应⽤用
• MySQL⾼高可⽤用技术介绍
• MySQL相关⼯工具介绍
主要内容

• MySQL历史背影介绍。
• MySQL的发版机制。
• MySQL对甲⾻骨⽂文的意义。
• MySQL vs Oracle。
• 如何成为⼀一名优秀的MySQL DBA⼈人员。
MySQL介绍

• 1996.05：MySQL1.0发布。
• 1996.10：MySQL3.11.1发布。
• 1998.01：瑞典的MySQL AB公司开发了BDB(Berkeley DB)引擎，因为它⽀支
持事务，所以Mysql也开始⽀支持事务了。⾄至此才是我们⼀一直认为的MySQL数
据库。
• 2000.04：MySQL对旧的存储引擎进⾏行整理，命名为MyISAM。
• 2001：MySQL4.0发布。Heikiki Tuuri向MySQL提出建议，希望能集成他们
的存储引擎InnoDB，这个引擎同样⽀支持事务处理，还⽀支持⾏行级锁。
• 2003.12：MySQL5.0发布，也是⽤用的⽐比较多对5.x版本，增加了视图和存
储过程等特性。
• 2008.08：MySQL5.1发布。
• 2008.01.16：Sun收购MySQL。
• 2009.04.20：Oracle以每股9.50美元，74亿美元的总额收购Sun。
• 2010.04.22：MySQL5.5发布，也是变化⽐比较⼤大的⼀一次版本升级。半同步
复制等特性。
• 2013.02.05：MySQL5.6.10 GA发布。(最近的稳定版本是
5.6.21(2014.09.23)。预览版本是5.7.4(2014-03-31)。)
• 2013.06.18：Oracle修改MySQL授权协议，移除了GPL许可证。
MySQL的历史

• GPL(General Public License)
1.MySQL Community Edition
2.MySQL Cluster Community Edition
3.MariaDB/Percona Server
• Commercial
1.MySQL Classic Edition
2.MySQL Standard Edition
3.MySQL Enterprise Edition
4.MySQL Cluster CGE
5.MySQL Embedded (OEM/ISV)
MySQL的发版机制

• MySQL 代表了Oracle 所提供的同类产品中
最出⾊色的,⾯面向基于Web 的应⽤用程序的数据库
解决⽅方案,它也是嵌⼊入式数据库的不错选择。
• 因此,MySQL 使Oracle 的产品更为完整,是对
Oracle DB 的有⼒力补充。
• Oracle ⼤大⼒力投资MySQL 的原因是为了提供
可驱动下⼀一代 Web,移动和嵌⼊入式应⽤用程序的
MySQL 解决⽅方案。
MySQL对Oracle的意义?

• 功能⽅方⾯面：
1.Oracle：⽆无论 OLAP 还是 OLTP，⽆无论是锁定机制还是事
务⽀支持，⽆无论是内置函数还是外部可扩展功能，都⾮非常强⼤大。
2.Mysql：更擅⻓长OLTP业务，但由于不⽀支持Hash Join/Sort-
Merge Join，以及分析函数相对较少，所以OLAP⽅方⾯面功能相对
⽋欠缺，但⽀支持基本的事务以及锁定机制。
• 性能－写⼊入：
1.Oracle：需要记录 Redo Log 且保证每次事务都fsync到物
理磁盘以保证事务安全，连续写；数据的写⼊入⼤大多是在内存中
完成，后台进程进⾏行内存到磁盘的定期批量刷新，随机写为
主。
2.Mysql：InnoDB引擎(Oracle拥有)与Oracle类似；MyISAM
引擎⽆无事务所以没有事务⽇日志到磁盘的fsync问题，但由于其表
锁的原因，并发⽐比较弱。但是总体看来和 Oracle 相差不⼤大。
MySQL vs Oracle

• 性能－简单查询：
1.Oracle：在⾼高并发场景下，由于其在事务控制实现⽅方⾯面的优
势，以及多进程的机制，显⽰示出了相对明显的优势。
2.Mysql：在并发数不是太⾼高的前提下（50以下），相对于
Oracle 没有显⽰示出弱势，甚⾄至部分存储引擎下还有⼀一些优势，但是
随着并发数的增加，就逐步体现出了与 Oracle 的差距，这与其基于
线程的机制也有⼀一定关系。
• 性能－复杂查询：
1.Oracle：具有丰富的统计信息，CBO优化器相对于 Mysql 来说
也先进很多，加上对 Hash Join 的全⾯面⽀支持及丰富的分析函数，⽆无论
是从功能还是性能⾓角度来说，多表 Join 都是 Oracle 的优势所在。
2.Mysql：其查询优化器所能参考的统计信息相对较少，优化器
深度也⽐比 Oracle 少很多，所以在多表 Join 的时候出现执⾏行计划异常
并不少⻅见。此外，不⽀支持 Hash Join 的天⽣生缺陷也让其 Join 能⼒力⼤大打
折扣。
MySQL vs Oracle

• 扩展能⼒力：
1.Oracle：由于其极⾼高的⼀一致性要求，造成架构上的不少
限制，导致其扩展成本相对⾼高很多。
2.Mysql：原⽣生分布式架构的优势在于并发⽀支持，但延时
问题⼀一直被⼲⼴广为诟病。所以⼤大部分场景下是⼈人⾁肉进⾏行分布式
拆分，但其Replication特性加上对⼀一致性的约束相较Oracle
弱，使其架构灵活性很⾼高。
• 可维护性：
1.Oracle：这⼀一点上 Oracle 具有⾮非常⼤大的优势，⽆无论是
性能调优、监控、备份，数据存储、安全、集群维护⽅方⾯面，
Oracle都提供了⾮非常丰富的⼯工具和解决⽅方案。
2.Mysql：原⽣生⼯工具相对简单，但由于其开源的特性，有
⼀一些第三⽅方开发的⼯工具⽀支持，但总提仍然⽐比 Oracle 少了很
多。
MySQL vs Oracle

• 安全性：
1.Oracle：严格的数据隔离级别实现，强⼤大的审计功能，⽀支持⽤用户组合
⾓角⾊色，严格的⾝身份验证机制。
2.Mysql：只有InnoDB引擎⽀支持简单的事务，没有审计功能，不⽀支持⾓角
⾊色，没有权限回收功能，内置的⾝身份验证机制，没有基于回滚的恢复功能，
不⽀支持在线的表修改操作（⽐比如：类似于ALTER TABLE或CREATE TABLE⼀一类
的操作都是⾮非事务性的.它们会提交未提交的事务，并且不能回滚也不能做灾
难恢复.Schame被保存在⽂文件系统上，这⼀一点与它使⽤用的存储引擎⽆无关。）
• 商业⽀支持：
1.Oracle：商业软件，全套的商业服务⽀支持。完善的⽂文档⼿手册⽀支持，⼏几
乎涵盖所有功能。
2.Mysql：有商业服务⽀支持，但⽂文档过于简单，包含的内容也⽐比较少。
• 软件成本：
1.Oracle：License费⽤用⽐比较⾼高，企业版55W/2Core，之后每年都需要付
合同价22%的服务费。
2.Mysql：有开源也有商业版本，但价格相对⾮非常便宜。
MySQL vs Oracle

• Why Use MySQL!!!
那么问题来了！

• 如何成为⼀一名DBA?
• 如何成为⼀一名Mysql DBA?
• 如何成为⼀一名优秀的DBA?
• 如何成为⼀一名优秀的MySQL DBA?
• 考证是否真的有⽤用?
如何成为⼀一名优秀的MySQL DBA⼈人员?

• What?
• Why?
• How?
MySQL分布式数据库应⽤用

• 本质就是数据切分。
What?

• 解决数据库容量问题。
• 解决单台机器性能压⼒力的最优选择。
• 减⼩小了宕机的概率（⾼高可⽤用为:90%，1-(1-
90%)^n）。
• 极⼤大提⾼高访问速度和并发量（特别是锁）。
• 任何机制的引⼊入带来的优点的同时会带来很
多的缺点，我们只使⽤用优点即可。
Why?

• ⽔水平切分
1.范围
2.哈希
3.映射
• 垂直切分
1.热数据
2.冷数据
How?

• 定义数据路由规则（DRR）。
• 添加分布式数据访问层（DDAL）。
• 通过反范式化避免关联。
• 避免跨库事务，可以通过消息队列达到事务
最终⼀一致性。
• 引⼊入集群和负载均衡概念。
注意事项！

• MySQL Replication
• MySQL Clustering
• MySQL Proxy
• DRBD
• Galera
• Percona XtraDB Cluster
MySQL⾼高可⽤用技术介绍

• 什么是SLA？
• 公司⼀一年的利润是多少？
• 为了提⾼高SLA等级需要投⼊入多少？
从哪些⽅方⾯面考虑HA
99.9999% <32s
99.999% <5.3mins
99.99% <53mins
99.9% <8.7hours
99% <87.6hours

• MySQL复制的架构设计
1.M-S
2.M-M
• 常⽤用的技术
1.MMM
2.MHA
MySQL HA-MySQL Replication
M
VIP
M
APP
M
VIP
S
APP

• 优点
1.配置⽐比较简单。
2.可以有多台从库，实现读写分离。
• 缺点
1.M-S架构还是单节点。
2.M-M架构的话需要解决数据冲突和修复的问题。
3.Failover需要依赖MHA/MMM脚本。
4.投票选举机制太复杂。

• WTF

• MySQL Clusing的⼯工作原理
1.基于存储引擎⽅方式的⾼高可靠性⽅方案，是事务安全的，实时
复制数据，可⽤用于需要⾼高可靠性及负载均衡的场合。
2.由N个节点构成，每个节点均运⾏行着多种进程（包括
MySQL服务器，NDB Cluster的数据节点，管理服务器）。
• 常⽤用技术
MySQL + NDB-Cluster Engine
MySQL HA-MySQL Clustering

• 优点
1.Share Nothing。每个组件有⾃自⼰己的内存和磁盘，不存在单
点故障。
2.可⽤用于负载均衡／⾼高可靠性场景。
3.⾼高伸缩性。
• 缺点
1.随着数据库的变⼤大，对内存的需求变得更⼤大，因此成本很
⾼高。
2.维护成本⾼高。
3.复杂查询性能受限。
MySQL HA-MySQL Clustering

• MySQL Proxy的⼯工作原理
1.是⼀一个处于客户端和MySQL服务端之间的简单程序，⽤用于
监测、分析或改变它们的通信。
2.相当于⼀一个中间层代理，负责将前台应⽤用的连接请求转发
给后台的数据库，并且通过使⽤用lua脚本，可以实现复杂的连
接控制和过滤，从⽽而实现读写分离和负载平衡。
3.对于应⽤用来说MySQL Proxy是完全透明的。
MySQL HA-MySQL Proxy

• 优点
1.⽤用于负载均衡、故障转移、查询分析、查询过滤和数据修
改等等
2.读写分离：主数据库处理事务性查询，让从库处理SELECT
查询。数据库复制被⽤用来把事务性查询导致的变更同步到集群
中的从库。
• 缺点
1.官⽅方⽅方版本性能低，多年不更新。
2.Proxy本⾝身⾝身是瓶颈。
3.需要使⽤用Lua语⾔言。
MySQL HA-MySQL Proxy

• DRBD的⼯工作原理
1.Distributed Replicated Block Device。
2.是⼀一种块设备，类似于⺴⽹网络RAID1的功能。
3.当数据写⼊入本地⽂文件系统时，数据还将会被发送到⺴⽹网络中
另⼀一台主机上以相同的形式记录在⼀一个⽂文件系统中。
4.本地(主节点)与远程主机(备节点)的数据可以保证实时同
步，当本地系统出现故障时，远程主机上还会保留有⼀一份相同
的数据，从⽽而达到HA的⺫⽬目的。
• 常⽤用技术
MySQL + DRDB + Heartbeat
MySQL HA-DRBD

• 优点
1.对数据⽂文件进⾏行保护。
2.没有集群软件通病，如脑裂（不要⾃自动启动）。
• 缺点
1.没有负载均衡。
2.浪费资源：备机⺫⽬目前还不能提供读。
3.恢复成本⾼高：⽆无法代替备份，可能会造成坏数据块。
4.故障转移时间成本⾼高：⽆无法做到秒级以内。
5.对于MyISAM表⽤用处不⼤大：DRDB主要是针对InnoDB引擎使
⽤用。
6.增加写操作负担：主要是InnoDB设置为
innodb_ﬂush_log_at_trx_commit=1导致许多⼩小的写⼊入和fsync()
调⽤用，则DRBD同步将会⽐比较缓慢。
MySQL HA-DRBD

• 完成的事务在集群内的⼲⼴广播。
• 应⽤用从其它节点接收并全局验证通过的事件到本地。
• 集群内通信，节点存活的检测。
• 多点写⼊入时的锁冲突检测机制。
• 等待队列中事务的并发提交。
MySQL HA-Galera-复制架构

• 优点
1.多主多活同步复制架构。
1.同步复制：事务要么在所有节点提交或不提交。
2.多主复制：可以在任意节点进⾏行写操作。
2.节点⾃自动配置：成员的添加和移除是⾃自动的。
3.⾏行级别并⾏行复制。
4.IST & RSU特性。
1.IST(Incremental State Transfer)增量状态传输。
2.RSU(Rolling Schema Update)旋转更新架构。
• 缺点
1.加⼊入新节点，开销⼤大。需要复制完整的数据。
2.所有的写操作都将发⽣生在所有节点上。
3.有多少个节点就有多少重复的数据。
4.只⽀支持InnoDB引擎。
MySQL HA-Galera

• 数据库必须⽀支持事务。
• 复制事件要能够原⼦子性执⾏行。
• 复制事件必须全局有序。
MySQL HA-Galera-Why InnoDB is Choosen!

• 分布式系统的CAP理论
1.C－⼀一致性：所有节点的数据⼀一致。
2.A－可⽤用性：⼀一个或多个节点失效，不影响服务请求。
3.P－分区容忍性：节点间的连接失效，仍然可以处理请
求。
• 任何⼀一个分布式系统，需要满⾜足这三个中的
两个
1.MySQL Replication: 可⽤用性和分区容忍性。
2.Galera: ⼀一致性和可⽤用性。
Galera vs MySQL Replication

• 封装了Galera，更易⽤用。
• 完全兼容MySQL和Percona Server。
• Percona的⽀支持以及活跃的社区交流。
MySQL HA-Percona XtraDB Cluster

• 冷备
• 热备
• 逻辑备份
• 物理备份
HA环境下也需要做备份

• MYSQLEXP
• MYSQLCLONE
MySQL相关⼯工具介绍

• MYSQLEXP is free, simple and efficient. It’s
used to export data from mysql database.
• You can execute a sql statement explicitly or
read it from sql file, yet you can flexibly specify
the field delimiter, and what field enclosed by.
MYSQLEXP-What is MYSQLEXP?

royalwzy@tools$ ./mysqlexp
mysqlexp Version 2.1.0.0, for OS X, by Wang Zhaoyang(royalwzy.com)
<sonne.k.wang@gmail.com>
This tool is used to export data through sql statement.
Usage: mysqlexp [OPTIONS] [database]
-?, --help Display this help and exit.
-I, --help Synonym for -?.
-h, --host=name Connect to host, [localhost] for default.
-u, --user=name User for login, [root] for defualt.
-p, --password=name Password to use when connecting to server, [] for
default.
-D, --database=name Database to use, [mysql] for default.
-P, --port=# Port number to use for connection, [3306] for default.
-S, --socket=name The socket file to use for connection.
-c, --charset-set=name The charset to use for connection, [utf8] for default.
-v, --verbose Write more information, [0] for default.
-V, --version Output version information and exit.
-H, --header Whether display header or not.
-d, --delimiter=symbol Field delimiter, [,] for default.
-E, --enclose=symbol What field enclose by.
-e, --sql=statement Sql statement to execute.
-s, --sqlfile=name The file to store sql statement, instead of reading
from command line.
-f, --dumpfile=name Write data to the dump file, [mysqlexp.csv] for
default.
-b, --feedback=nums How many rows to feedback, [500000] for default.
MYSQLEXP-How to use it?

1.by sql statement:
royalwzy@tools$ ./mysqlexp -hlocalhost -uroot -p*** -S "/data/mysql/mysql.sock" -Dtest -
H -d"," -E""" -e "SELECT * FROM bank_cnaps" -f "/tmp/dumpfile.csv" -b 20000
2014-12-01 16:43:24.693194 INFO: 0 row exported.
2014-12-01 16:43:24.722960 INFO: 20000 rows exported.
2.by sql file:
vi /tmp/mysqlexp.sql
SELECT * FROM bank_cnaps
royalwzy@tools$ ./mysqlexp -hlocalhost -uroot -p*** -S "/data/mysql/mysql.sock" -Dtest -
H -d"," -E""" -s "/tmp/mysqlexp.sql" -f "/tmp/dumpfile.csv"
2014-12-01 16:47:19.663454 INFO: 0 row exported.
MYSQLEXP-Quick Examples!

MYSQLCLONE is free, simple and efﬁcient.
It’s used to transfer a mysql database to the
other.
MYSQLCLONE-What is MYSQLCLONE?

royalwzy@tools$ ./mysqlclone
mysqlclone Version 1.2.0.0, for OS X, by Wang Zhaoyang(royalwzy.com)
<sonne.k.wang@gmail.com>
This tool is used to clone database.
Usage: mysqlclone [OPTIONS] [database]
-?, --help Display this help and exit.
-h, --help Synonym for -?.
--src-host=name Source connect to host.
--src-user=name Source user for login.
--src-password=name Source password to use when connecting to server.
--src-port=# Source port number to use for connection, [3306] for default.
--src-socket=name The source socket file to use for connection.
--src-db=name Source databases to clone, cann't be system databases.
--dst-host=name Destination connect to host.
--dst-user=name Destination user for login.
--dst-password=name Destination password to use when connecting to server.
--dst-port=# Destination port number to use for connection, [3306] for
default.
--dst-socket=name The destination socket file to use for connection.
--dst-db=name Database names are remapped to another database, cann't be system
databases.
--dst-bin-log Whether generate binlog or not , [false] for default.
-m, --mode Which mode to transfer data, can only be load or insert, [load]
for default.
-d, --drop-src-db Whether drop source database or not, [FALSE] for default.
-D, --no-data No row information, [FALSE] for default.
-E, --events Events included, [FALSE] for default.
-R, --routines functions and procedures included, [FALSE] for default.
-x, --lock-all-tables Locks all tables across all databases, [Lock the table to be
read] for default.
-v, --verbose Write more information, [0] for default.
-V, --version Output version information and exit.
MYSQLCLONE-How to use it?

MYSQLCLONE-Quick Examples!
1.LOAD mode:
royalwzy@tools$ ./mysqlclone --src-host=localhost --src-user=root --src-db=test --dst-host=localhost --dst-
user=root --dst-db=test1
2014-12-05 21:05:00 INFO: database test started to clone, and remapped to test1.
2014-12-05 21:05:00 INFO: - table [t1] was transferred, Records: 0 Deleted: 0 Skipped: 0 Warnings: 0
2014-12-05 21:05:00 INFO: - table [t2] was transferred, Records: 3 Deleted: 0 Skipped: 0 Warnings: 0
2.SCHEMA only:
user=root --dst-db=test1 -R -E -D
2014-12-05 21:06:08 INFO: - table [t1] was transferred.
2014-12-05 21:06:08 INFO: - table [t2] was transferred.
2014-12-05 21:06:08 INFO: - procedure [pr_test] was transferred.
2014-12-05 21:06:08 INFO: - procedure [pr_time] was transferred.
2014-12-05 21:06:08 INFO: - function [fn_test] was transferred.
2014-12-05 21:06:08 INFO: - event [event_test] was transferred.
3.INSERT mode:
user=root --dst-db=test1 --mode=INSERT
2014-12-05 21:04:16 INFO: - table [t1] was transferred, [0] row succeed and [0] row failed.
2014-12-05 21:04:16 INFO: - table [t2] was transferred, [3] rows succeed and [0] row failed.

Why use MySQL

More Related Content

What's hot (20)

Viewers also liked (7)

Similar to Why use MySQL (20)

More from Zhaoyang Wang (20)

Why use MySQL