Google最新数据中心方案介绍
- 1. Google 最新数据中心方案介绍 腾讯计算机系统网络平台部 李典林 Google 将其数据中心技术作为一个核心竞争力，很少对外公布其技术细节，因此搜索巨人 的数据中心一直是个谜。近日，谷歌公布了其数据中心能耗发展的图表，在图表中显示近年来谷 歌在能耗控制方面有了明显的进步。在 2010 年第一季度，谷歌新建的数据中心综合电力使用效 率为 1.16（PUE），其中一个数据中心的 PUE 值达到了 1.09。从公布的这些图表中，在纵向上 我们可以看到 Google 在全球各地的多个数据中心 PUE 控制都已经达到非常高的水平；在横向上 看曲线整体倾斜向下，说明还是个逐步改进、不断优化的精细化运营调优过程。这些图表的另一 个显著特点是各个数据中心的 PUE 值随着时间轴，不管是在不同的季节，还是在一天的不同时 间点上都表现出较大的波动性，说明 Google 数据中心的自然冷水平非常高。结合室外自然环境 温度，尽量利用外界冷源带走热量，能不开启机械制冷就不启动。在散热方面只给够用的冷量， 绝不浪费。 （a） Google 多个数据中心的多年 PUE 曲线 （b） Google 某一数据中心的日 PUE 曲线 本文针对 Google 数据中心的这些特点，将介绍 Google 位于欧洲的三个不同实现自然冷却方 式的机房，这些机房都实现了 100%自然冷却，都是没有 chiller（制冷机组）的典型应用案例， 分别是比利时水侧自然冷数据中心、爱尔兰空气侧自然冷数据中心和芬兰海水直接冷却数据中心。 当然本文提到的这些数据中心技术和机房所在当地的气候、政策、资源等相关，且属于完全 定制的数据中心，不好为国内直接移植和借用，但思路和创新精神非常值得国内同行学习借鉴。
- 2. 1、比利时数据中心 Google 比利时的数据中心位于 Saint – Ghislain，该数据中心的第一阶段在 2008 年初投入， 并于 2011 年 Q1 完成全部阶段设计。2011 年 Q1 的 PUE 可以低达 1.09，而全年平均 PUE 可达到 1.11。该数据中心采用蒸发冷却系统，从附近的工业运河抽取用水。“我们设计并制作了一个站 内的水处理厂，”Kava 说道，“这样我们就不用使用供应城市的可饮用水”。该数据中心利用 运河的冷水来带走热量，并自己修建水处理厂，再将处理后的运河水给数据中心提供冷量，只采 用冷却塔来散热，无 chiller，实现了 100%水侧自然冷机房，是谷歌的第一个完全自然冷的数据 中心。 距离数据中心大约 400 米外的工业运河，Google 建设了现场的水处理工厂，直接从运河中 抽取河水。由于运河的水质比较糟糕，必须过滤处理并净化到工业用水标准，但 Google 也不会 将河水过滤处理到非常干净的水平，只要可用于制冷散热即可。然后用水泵将净化后的冷水输送 到模块化储冷大水罐，再供给到各个冷却塔，用于后续蒸发冷却。这个过程结果不仅冷却了服务
- 3. 器，还清洁了水源，当地的部长也称赞 Google 说这是一次双赢的合作。 整个水处理厂的污水处理过程如下图所示： Google 在比利时的数据中心中采用了模块化的无 chiller 自然冷却系统，通过下图中的热交 换器热交换原理，将室内的热量通过存于水箱中温度较低的、处理过的运河水从冷却塔带走，实 现无需机械制冷的目的。 比利时的气候几乎可以全年支持免费的冷却，平均每年只有 7 天气温不符合免费冷却系统的 要求。Kava 指出，机房温度不需要像以前那样低。在 2008 年的时候，美国加热冷冻及空调工程
- 4. 师协会（ASHRAE）建议数据中心的温度应保持在 20 到 25 摄氏度之间——但 Google 建议将其 保持在 27 度以上。“构建一个高效的数据中心的第一步就是简单的提高它的温度，”Kava 说， “机器、服务器、存储阵列、任何东西在比一般数据中心保持的温度高的多的地方都能很好的运 行。对我而言，任何数据中心在 18 或 20 摄氏度以下运行都是相当可笑的。” 在比利时这里，有时候会热的连服务器都不能运行，这时 Google 就会将这里的工作移交给 其他数据中心负责。Kava 没有给出任何细节，但他表示这种数据中心之间的工作交接涉及到一 个叫做 Spanner 的软件平台。这个 Google 设计的平台曾在 2009 年 10 月的一个谈论会上有 所提及，但是这是 Google 第一次公开确认 Spanner 确实有在使用。 根据 Google 在 2009 年的讨论会上的陈述，Spanner 是一个“存储及计算系统，遍及 他们所有的数据中心，并基于限制及使用特点来自动转移和增加数据和计算的副本。”这包括涉 及带宽、丢包率、能源、资源及“失败模式——比如当数据中心内部出现错误的时候。
- 5. 2、爱尔兰数据中心 Google爱尔兰的数据中心位于都柏林，由于是已有退役建筑——市长大厦翻新改造而成的， 由于 Google 在欧洲没有足够的运维人员，所以希望将该数据中心设计成空气侧的自然冷却机房。 该数据中心实现了 100%的空气测自然冷却，采用直接蒸发制冷技术，并且定制了个热回收单元， 全部工程完成于 2010 年上半年，是 Google 在欧洲的第二个无 chiller 数据中心。 都柏林具有非常好的气候条件，一年绝大多数时间天气都非常不错，由于该数据中心受已有 建筑结构和散热供水等的限制，没法安装大型的冷却塔，因此采用了模块化的 AHU 方案。 从室外取自然空气送入到混风室跟机房内回风混合，经过滤和加湿等环节，用 AHU 风扇送 到直接蒸发盘管进行冷却，最后通过送风管道进入机房。进入机房的冷空气经 IT 设备加热后， 采用热通道封闭方案隔离热气流，部分参与回风，部分则直接排放到室外。直接蒸发制冷技术在 夏天用于调峰，比如在高温天气冷却室外热空气，也可以在干燥的冬天用于机房湿度调节。
- 6. 3、芬兰海水制冷数据中心 在 2009 年的二月份，Google 耗资 5200 万美元购买了一座位于芬兰 Hamina（哈米纳）的废 弃的造纸厂，他们认为这座拥有 56 年历史的建筑是建设其众多服务于大量网络服务的大规模计 算设施之一的理想场所。Google 和 DLB 公司一起将其进行改造设计成数据中心，目前已经完成 第一阶段的测试和运行。 这个数据中心的独特之处在于采用了 100%的海水散热。Google 利用该造纸厂已有建筑，包 括造纸厂原有水下通道，并采用模块化制冷单元和闭式的内循环冷冻水（淡水）对开式的外循环 冷却水（海水）的热交换器传热，然后将升温后的海水送到室外的温度调节房，这个房间的主要 作用是将送出的热水和进入的新鲜海水进行混合。在回到海中之前，Google 会用更多的海水来 冷却它。“当我们将水排出到海湾的时候，它的温度和湾内海水温度会很相似，”Kava 说，“这 就将对环境的影响降低到最小。”虽然这个数据中心供回水的 Delta T 和取得的 PUE 值 Google 暂时没有透露，但相信应该是非常低的水平。
- 7. 根据 Kava 所说，公司的环境许可并没有要求控制水温。“这让我自己感觉很好，”他说， “我们不是只做我们被要求做的。我们去做那些我们认为对的事情。”这是一个关于 Google 很 平常的消息。但是 Kava 指出那些 ISO 认证说明这家公司正在不断努力达到它的目标。“当局者 迷，局外者清。这时第三方的加入就非常必要。” 当然采用海水来散热有很多技术上的挑战，需要做热仿真，包括各个季节海水的不同温度、 水垢带来的影响，以及海水对管路的腐蚀性等。比如在 Hamina 数据中心中 Google 采用了玻璃 纤维材料的水管（上图中乳白色管道）用于防止海水腐蚀，并在热交换器上采用了镀钛的板换叠 片等技术。虽然这些技术在数据中心行业中也许还比较新，但海水散热在其他行业中也有较多应 用，因此可以从相关行业学习这些经验和教训。
- 8. 为了保障设计可行，在概念设计阶段 Google 做了很多热仿真工作。采用 CFD 技术，验证了 风向和风强等对海水温度的影响，以及不同时间海水的潮汐效应。另外还需要考虑芬兰湾水位高 低，海水温度变化和盐度大小以及海藻等对机房散热的影响。Google 还根据该地区过去三十年 海水温度的数据，来确定管道从哪里取水和哪里排水，以及进出水口安装水面下面多深的地方等。 采用海水来冷却还有一些需要考虑的地方，由于不好直接采用化学过滤等，因此海水换热器 的设计就非常关键了。Google在Hamina的设计中采用了四重的海水过滤系统，分别是粗效过滤、 沿途过滤、药剂过滤和高效过滤器环节，并为了长期维护方便现场建设了可更换的 CIP（clean in place）过滤环节。 此外还有需要注意的地方是大型海水冷却泵的水击（water hammer）作用导致的损坏，该损 坏主要来自阀门快速关闭时对管路带来的强烈冲击，产生的原因是关闭阀门后水被抽走导致的管 内真空，从而管内外压力差很大。而用于防止海水腐蚀采用的玻璃纤维材料的水管强度不够高， 在水击发生时的压力下容易造成管路爆裂，为此 Google 专门设计了个空气输入阀门，来控制压 力差变化并缓冲其带来的冲击。 总之海水冷却并不适合于所有人，设计中需要专业的工程学知识和技术，需要考虑很多东西， 并且前期投入较大，因此对于小规模的数据中心建设并不划算，但应用在大体量的数据中心会带 来非常多的益处。“对于某些规模较小的数据中心运营商/用户来说，（新型海水冷却系统）可 能不具有经济效益，但它却有社会效益。它可以提供一个可靠的热源——芬兰海湾每年都会结冻，” Kava 说道。还有，海水由于常年温度变化小且可预计，是非常稳定可靠的冷源，且可以几乎没 有传统空调水系统带来的水消耗问题，并可以得到非常低的 PUE 值。