Google key technologies
Download as PPTX, PDF0 likes891 views
文档介绍了谷歌的四项关键技术，包括谷歌文件系统（GFS）、大表、MapReduce 和 Chubby 锁系统。GFS 通过将文件分割成块并直接在客户端和节点间传输数据来优化大文件存储；大表支持分布式多维数据映射和历史版本维护；MapReduce 提供并行计算框架以处理大数据；Chubby 是松耦合的文件锁系统，提供共享和独占锁。文中还包含了2009年的谷歌使用情况和性能指标。
Google key technologies
- 1. Google 4 Key Technologies Chen Ting Zhao
- 2. GFS – Google File System • 架构 metadata 特点 • Master 节点管理元数据 • 数据直接在client和 Chunk节点间传输 data • 文件分割为Chunks，一 般为64MB GFS Workload特点 Google使用情况（2009） • 大文件的存储 • 200+ 集群，很多集群有1000+机器 • 一次写入多次读取 • 4+ PB 文件系统 • 40 GB/s 读写负载
- 3. Big Table 分布式多维度稀疏映射 (row, column, {timestamp}) -> cell contents ROW：任意长度，一般10-100Bytes，最大小 于64M COLUMN: 任意维度的信息 TIMESTAMP: 时间维度，维护数据历史版本 过大的表可以通过行范围分为多个tablets - 100-200MB，不连续，分布在不同的机器和机柜 - 负载均衡：从负载重的机器迁移到负载轻的，对常访问的tablets进行缓存 Google使用情况2009 Cluster数量： >500 数据量： 70+ PB 操作访问量： 10M ops/sec I/O： 30+ GB/s 最大Cluster数据量：6000TB+ 3000+ 机器 最大Cluster操作访问： >500000+ ops/s
- 4. Map/Reduce • Map/Reduce是一种简单大数据计算问题的编程 Map的过程是 (k1,v1) -> list(k2,v2) Reduce的过程是 (k2,list(v2)) -> list(v2) Google使用情况2009 Job数量： 3467K 平均完成时间： 475s 输入数据(TB): 544,130 中间数据(TB): 90,120 输出数据(TB): 57,520 平均worker机器数量: 488 Map/Reduce Workload特点： 1. 计算问题可以分解成为若干并行执行的模块，并通过Reduce模块对结 果进行合并 2. 适合顺序的计算过程，较不适合循环和迭代的计算过程
- 5. Chubby 松耦合分布式文件系统的锁 • 创建文件其实就是进行“加锁”操 作 • client通过打开、关闭和读取文件， 获取共享锁或者独占锁； 并且通 过通信机制，向其他client发送更 新信息。 Chubby特点： 1. advisory lock，当一个client将某个文件锁住以后，如果有其他client想不解锁而直 接访问这个文件，这种行为是不会被阻止的。 2. coarse-grained（粗颗粒度的）锁住的时间都比较长，可能是几小时或者几天。 相比fined-grained的负载要小很多，因为加锁解锁并不会太频繁