Google数据中心图片浅析
- 1. Google 数据中心图片浅析 腾讯网络平台部数据中心规划组 李典林 Email:dufresne545@gmail.com 近日，Google 公司第一次允许媒体记者进入其位于世界各地的数据中心进行参观拍摄，向 世人展示其迷宫一样的世界。这些中心的处理器日以继夜地处理着全球网民的搜索请求、Youtube 视频和邮件等。虽然公布的只是一些图片和非常有限的视频资料，且没有详细注释说明，但如古 老的谚语所述：一张图片胜过千言万语，今天我们就这些有限的图片管中窥豹，更多的是猜测， 分别从制冷、机柜、服务器、建筑等方面做一些最粗浅的分析以飨读者，并与同行们共勉。 一、 制冷篇 从下图可以看到这个数据中心的冷站规模很大，整个房间管道林立，并且色彩斑斓非常好看。 空调管道采用了 Google 企业标准色来区分不同管路的功能，比如绿色是冷却水回水管、黄色是 冷却水供水管、蓝色是冷冻水供水管，深红色（或者冷机侧的粉红色管）是冷冻水回水管，白色 的是消防管路等来区别不同的功能，以便运维人员快速定位并查找问题。还有在 IT 设备侧也采 用同样五种颜色的网线等，加上不同数据中心不同主题的装修风格，这些都是数据中心颜色标识 管理的典范。下图的左侧是大型冷水机组，右侧是板式热交换器，以便在室外温度较低时候采用 板换散热实现水侧节能。Google 也非常重视数据中心的耗水问题，据他们估算采用高效节能数 据中心每年可节约几亿加仑的饮用水。
- 2. 还有一些运营中的小细节也考虑非常周全，比如管路屋顶等地方采用了很多的电动吊装葫芦 链条方便重型设备的维护更换吊装，比如在管路底部采用了中间凹两边凸的滚轮型支撑，减少管 路振动和拉伸形变产生的物理应力，比如楼层间的竖管采用了 U 型弯曲以便减少水温变化和建 筑形变带来的隐形损伤，以及冷机周边地面的应急排水口，最后在偌大的机房中运营人员采用同 样是 Google 标准色的 G-bike 用于现场巡视等运维和工艺细节。 二、微模块机柜篇 下图为美国俄克拉荷马州的数据中心，整个机房在大量服务器 LED 指示灯的闪烁下显得非 常整洁和梦幻。从这个整机房的俯视图看，数据中心采用了厂房式大开间框架结构，封闭热通道 的一排排机柜构成庞大微模块阵列，机房顶部是供电网络桥架和消防管路，服务器和交换机的状 态灯闪烁着，只有极少量的机房级照明。整个房间面积很大，走道以及顶部空间都非常宽敞，但 设备区却较为紧凑，机柜间冷通道才两块砖多点的距离（标准砖宽度为 600mm），其中热通道 占用了大约两块砖的距离，而且服务器机柜的深度较短，也就一块砖多些。从图片较近处还可以 发现有蓝色布帘密封的地方，空缺的位置是留给服务器机柜的，这也说明了 Google 的服务器部 署是以机架为单位快速安装部署的。该蓝色布帘密封可以隔绝冷热气流的混合，减少冷量的浪费， 体现了精细化运营的思想。高密度的服务器采用全正面维护，顶部为密集的 TOR 交换机单元。 从这个图还可以看出 Google 采用创新的空调置顶散热方式，整个机房大环境作为冷通道提 供冷量给服务器吸入，加热后的热空气在封闭通道内上升，然后通过热通道顶部的空调盘管制冷 并被几个烟囱状导风管和大散热风扇重新循环回外部冷环境。这种空调置顶布局虽然存在着盘管 漏水、更换维护较难等风险，对产品质量和施工工艺要求非常高，但是其气流组织较为合理，比
- 3. 如热气流自动上升，冷气流自动下沉，可以减少风扇的功耗，且机房大冷池环境可以作为缓冲池 等，减少局部空调故障引发的热保护。据相关资料显示 Google 微模块的整个热通道温度非常高， 像个大烤箱，温度可以达到 49 摄氏度，以至于一旦必须进去维护，那么服务器必须关掉才行。 采用热通道封闭可以提供一个较为舒适的现场运营环境，热量只被限制在热通道中并被冷冻水带 走，考虑大开间的铁皮厂房冷量密封保温特性不太好，但因为 Google 服务器的高温工作特性（如 图中 Google 服务器的深度较短，大约只有 600mm 多的深度，散热会比较容易），送风温度高达 27 摄氏度，因此这个较高温度下的冷量传递损失不会很大，围栏效应的影响几乎可以忽略。 从上面这张照片可以看到 Google 微模块热通道内部的一些细节，比如热通道宽度大约是两 块标准地板砖，里边安装的是机柜顶部空调盘管的安装支架和加固支撑，通过地板底下的快接软 管提供冷冻水给热通道顶部的空调盘管提供冷冻水。从冷冻水管的数量和密度上看，顶部空调盘 管也做了模块化冗余设计，是个很不错的设计。服务器全正面维护，每台服务器采用三个分布式 较大风扇散热，绿光来自服务器内部 LED 状态灯。Google 自行设计的服务器采用尽可能少的能 耗，并控制风扇转速足够低，只要服务器内部温度不要超过设定值就可以了，处处都体现节能。 Google 在供电和制冷等方面总能打破常规，而没有采用商用的传统 UPS 和精密空调方案， 体现了创新颠覆的思想，甚至如右边图 Google 还申请了三明治服务器的专利，采用液冷散热片， 上下两个服务器靠此散热片内部的冷冻水以及循环风扇带走热量等。 当然也不是 Google 的所有机房都采用这些创新的散热方案，比如一些网络设备间和 POD 小 机房等，如下面的这两个例子。该网络设备间采用了传统的风管上送风或者地板下送风方式散热， 双路冗余高可靠供电，但是在这些传统机房模块中 Google 都采用了简单低成本的塑料帘子隔离 冷热通道方案，避免了冷热气流直接混合短路，也大大提高了其能源利用效率。据早期谷歌发布
- 4. 的一个 POD 机房优化视频中可以看到，通过对这些传统机房的精细化运营，比如机房 CFD 仿真 改善气流组织、采用如上的冷热帘隔离、提高送风温度、安装了蓝色 LED 灯用于照明等等措施， 使得 PUE 从原来的 2.4 降低到 1.5 以下，这也 说明即便不用很多创新的思路，通过运营优化也可以实现较好的节能优化效果。 三、Google 服务器篇： 步入 Google 的大型数据中心，整个机房的服务器阵列非常整齐壮观，海量的服务器风扇同 时运转带来巨大的噪音，以至于进入数据中心必须佩戴防噪耳塞。从下图可以看到 Google 的服 务器上架有两种配置方式，分别是低密的十五六台一个柜子，以及高密的每机柜接近三十台左右 （可能采用类似 facebook 的 1.5U 高效风扇设计），TOR 交换机置顶，PDU 和网络快速接口都 在左侧。每台服务器多含有 2 个或者更多的子机，服务器没有前面板也无上盖板成本更低散热更 好，服务器通常很短，采用不同颜色的网线做功能区分，网线和电源线采用快插接口，plug and play。 机柜底下滚轮设计方便整机架快速部署和搬迁，全正面维护，方便现场快速维修和免工具更换。 从这些照片也可以看到不同版本不同类型的 Google 服务器设计，和早前发布的带铅酸电池
- 5. 服务器设计不一样，新版本的服务器结构更为方正美观，但即便如此这些自行打造的简单易维护 服务器要比标准的商用服务器要便宜不少。尽管仍被视为互联网公司，Google 已经成为世界上 最大的硬件制造商之一， 因为它的设备多数是自己制造的。1999 年的时候，Hölzle 从“三个开 电子商店的家伙”那里买了 2000 个剥离下来的电路板。通过改造，去除不必要的部件，Google 构建了自己的服务器（DIY 服务器的价格是 1500 美元 ，而当时的商用机价格约为 5000 美元）， 考虑到其上百万量级的服务器设备，那么 DIY 服务器带来的成本节约会是天文数字。由于 DIY 简单易维护设计，如果服务器出了故障，甚至可以免工具快速维修，如果实在无法维修则直接报 废拆解成电子垃圾回收。且 Google 在定制的服务器内部安装了分布式的带电池 UPS，可以省掉 传统数据中心大量 UPS 的采购成本，并且采用该内置 UPS 可以实现供电效率 99.9%，相比传统 的 UPS 方案也可以实现数据中心总节能 15%，在能源紧张运营电费高企的今天也是非常大的费 用节省。 为了统一管理自己的服务器，Google 开发了一个软件系统，开发者能够通过这个系统指挥 数千个电脑， 如同一个计算机一样。在 2002 年的时候，它创造了 Google File System，可以在 不同的机器上顺利地传送文件。MapReduce 是 Google 为编写云端服务而开发的系统，它的开 源版本 Hadoop 已经成为业界标 准。另外，Google 还开发了一个自动化的决策系统 Borg，用 于决定那条机器最适合某项任务。这对服务器集群的稳定性提出了更高的要求。为此，Google 内 部有一个团队，叫做 SRE（网站可靠性工程团队），他们的任务就是使用各种方法，对服务器 进行破坏，以检测公司进行危机处理的能力。每年，SRE 都会进行一次虚拟的战争，叫做 DiRT （disaster recovery test）。攻击是虚假的，但是几乎和现实一样，危机管理人员必须按照处理程 序来做，如果他们不能找出处理方式，攻击就必须停止，以免影响到真正的用户。
- 6. 在 Google 公司内部的某个墙上展示着一排排的主板，那些代表着 Google 成立以来自己打造 的不同时代的服务器，其中有一块标明着 2008 年 7 月 9 日，那是 Google 有史以来的第一百万台 服务器，但这是个累计的数字，并不意味着那个时间 Google 已经拥有百万台服务器的规模。 四、数据中心建筑篇 Google 每个数据中心的选址都是非常谨慎的，以下图哥伦比亚河畔的 Dalles 数据中心为例， 选择建设在河流旁边开阔的谷地，且可以看到其典型的建筑风格是大开间低层厂房结构，多为结 构较为合理的长条矩形状，大型架空冷却塔和底下的储冷罐位于建筑边上，附近是两个为数据中 心配套的变配电站。直接采用附近水电站便宜的绿色充足水电来给数据中心供电，空气质量很好。 类似选址的还有比利时数据中心采用运河的水处理后来散热，以及芬兰湾哈米纳数据中心直接采 用海水来给数据中心散热，而不像国内数据中心受限于种种原因大型 DC 多在沿海城市，气温及 空气质量不好、电力容量少电费高、多层建筑租金昂贵等。 Google 的 IDC 选址多位于能源较为丰富，气候条件较好的地方，一则可以大量使用绿色低 成本的能源，同时还可以利用较为优越的地理气候条件实现更为节能的自然冷却，目前其主流的 数据中心年 PUE 基本可以达到 1.2 以下的很好水平。且数据中心和周边自然环境融合很好，比 如数据中心周围倘佯的小鹿，漫山的野花，氤氲的冷却塔蒸汽，静谧的河流以及雪地垂钓等，都 体现了人与自然的和谐相处。
- 7. 五、结语 Google 非常注重自己的信息安全，这一点也可以表现在使用过的硬盘全被销毁，就数据中 心的创新技术而言，Hölzle 说 Google 付出了鲜血、汗水和眼泪，也希望其他公司也能付出自己 的艰辛来自己打造，成就更多的发现和伟大。 通常 Google 透露出来的都是一两代之前的技术，虽然这次这么较大规模的公开其数据中心 的秘密，但一如 Google 自己说过的，一旦他们自己的员工看过了 Google 正在打造的 2013 年下 一代数据中心和服务器集群，那么他们将无比抱怨目前的这些设计。即便如此本次披露的这些数 据中心也像是一件件精美的艺术品，使用的技术也是业界非常领先的，让我们在拭目以待 Google 更多更新数据中心技术的同时，也同时能够从这些资料中学习并理会其思想，并同样有孜孜不倦 的创新精神和通过专注实现完美设计，再次与大家共勉。 参考资料： 1、 谷歌数据中心图片集：http://www.google.com/about/datacenters/gallery/#/tech 2、 Wired 采访：http://www.wired.com/wiredenterprise/2012/10/ff-inside-google-data-center/ 3、 Google 数据中心街景：http://video.sina.com.cn/v/b/88070278-2214257545.html