Google数据中心微模块初探
- 1. Google 数据中心微模块初探 腾讯网络平台部数据中心规划组 李典林 Email：dufresne545@gmail.com 前面一个文章《google 集装箱数据中心浅析》中笔者对 google 的室外型模块化数据中心做 了简单整理，但在 2005 年之后的几年时间内 google 不再采用大体量大颗粒度的室外型集装箱， 而改用了室内型更小颗粒度更为灵活的微模块技术来打造其庞大的基础设施。针对这个变化笔者 从一个 google 的模块化数据中心冷却技术的专利（该专利在 2012 年已经公开），以及在 2012 年 google 发布的一系列数据中心照片和北卡数据中心的街景视频（地址如文章底部的参考资料， 针对这些图片和视频笔者也整理了个文章《google 数据中心图片浅析》），做一些最大胆的假设 和最粗浅的分析（这些笔者都不负责任）以飨读者，并与同行们共勉。 《连线》杂志的记者 Connie Zhou 在 2012 年发布了一系列的 google 数据中心照片，这也 是 google 第一次对外公布其数据中心的详细信息，从其拍摄的上面这个图我们可以看到庞大的 数据中心内密布着一排又一排的机柜，整个机房的层高很高，周边是宽阔的运输通道，顶部是横 竖交错的母线排和消防照明等管路，服务器状态灯蓝光闪烁，总体非常简洁清爽。 再看仔细点的话，大家会发现这个机房和传统意义上的数据中心有明显的不同，既没有送风 地板，也没有空调吊顶风管或者空调间等，那么数据中心内部非常核心的散热空调在哪里，又是 如何散热的呢？带着这些疑问，可能有些眼尖的同学已经看到了一排排机柜顶部的多个“烟囱” 以及“烟囱”底下的厚厚空调盘管。是的，这个才是 google 数据中心散热的秘密核武器，后面 会详细分析其空调原理，这里先按下暂且不表。
- 2. Google 在发布这些图片的时候肯定卖了个关子，在偌大的机房内选择了这样的一个角度， 如第一排机柜上方隐藏的空调，点但不破，还有第二排机柜列右侧的那些机柜空缺位置蓝色布帘 及其背后隐藏的秘密---我们后面会发现其机柜的部署及建设方式和传统的机房也有很大的差异， 那么 google 又是如何做的呢？带着这些疑问，开始今天的 google 数据中心微模块探秘之旅吧。 一、google 数据中心微模块原理介绍 这些谜底始于 2012 年公布的一个 google 模块化数据中心冷却的一个专利。下图是 google 数据中心微模块的一个模型，图中标签为 200 的整个微模块由标签为 204 和 206 的两组连体三联 柜，以及机柜列间通道顶部的空调盘管 212 和风扇阵列 202 构成。从这个专利我们可以看到 google 的数据中心机柜是以连体三联柜为最小的建设颗粒度，或者以 6 个机柜和置顶空调构成的的微模 块为最小颗粒度来建设的。如前面开篇语中提到的机柜空缺位置蓝色帘子，那里就是摆放连体三 联柜的机柜位，只是暂时机柜还没就位，先用布帘子（或者白铁皮）先挡住防止热气流外泄。 如上图，连体三联柜朝外侧为冷通道，内侧即空调下方为热通道，这样背靠背的两侧服务器 机柜散发出来的热空气在机柜间的密闭热通道内聚集并自然上升，被顶部的空调盘管制冷后，再 经盘管顶部的 6 个高效率 EC 大风扇带走飘散到整个机房大环境中，然后冷空气自然下沉重新回
- 3. 到机柜的冷通道侧被服务器吸入，重新开始完成整个循环。整个过程气流组织非常短而高效，几 乎没有多少冷量传递损失，且符合热空气上升冷空气下沉的自然对流法则。热通道完全封闭后， 空调送回风温差 deltaT 非常高，因此需要的空调风量较小，风机的转速较低，损耗也可以很小， 真正实现了高效散热的目的。 还有从前面开篇语整机房的图片我们可以看到三联柜的每个机柜深度都很浅（应该不超过 700mm 深），但内部宽度很宽（柜内净宽度应该达到 21 英寸），这种宽而短的服务器散热效率 也非常高，很容易实现高温服务器的设计，服务器自身风扇的能耗也可以很小。三联柜内密布着 服务器，机柜顶部还用于安放 TOR 交换机。这些机柜、服务器和网络设备从工厂完成全部布线、 建设和测试，以整机柜的方式通过机柜底部滚轮搬运到空缺的三联柜泊位，并和列间顶部空调锁 固，再插上电和光纤就可以快速投入生产，真正实现快速建设部署，低能耗高效率投产的目的。 二、数据中心制冷模块篇 下图是整个微模块空调部分的示意图，其中左下图是挪走三联柜后（或者前面图中蓝色帘子） 空调盘管的正视图，右下图是从机柜尾端部看整排机柜的侧视图。这些图更有助于大家看到其气 流组织，如下图箭头所示。当然这里采用了迎风面积更大、制冷能力更强的 V 型盘管，和前面 图中所示的顶部一字型水平盘管原理一样，都是将机柜尾部散发出来的热量通过盘管内流动的冷 冻水带走热量，然后通过顶部的大风扇将制冷后的冷空气重新循环回到机柜服务器的入口。
- 4. 这些图清晰地展示了 google 置顶空调盘管及其支撑支架等细节，整个制冷模块宽度大约是 6 英尺或者 72 英寸的长度，刚好相当于 3 个外宽为 24 英寸标准 600mm 宽的机柜宽度。每个模块 最下面有标签为 104 的叉车预留槽位用于叉车搬运和定位，以及底部标签为 110 的支撑，不但可 以提供盘管的固定（盘管检修时候只需从支撑上将盘管拆卸下来更换即可），还预留出底部的气 流通道用于盘管两侧之间气流的流通。这个抬高设计既可作为两边热通道的通道共享或者冗余， 在两边三联柜的热负荷不一样的情况下还可以重新分配气流。地板底下的冷冻水供水管 314，可 以从带毛刷的 112 出口分出多路支管连接到 116 的盘管接口（采用快接头），给上方的空调盘管 提供冷量。当然如果不想做架空地板的话，那么也是可以把供水水管放在 V 型盘管下方的左右 两个通道内，减少架空地板的建设费用。但实际笔者和 google 同僚讨论架空地板必要性的时候， 对方的答复是架空地板建设投资只占不到 5%的机房建设成本，但可以规避带来的漏水风险，并 带来检修便捷性等，这些考虑最终让 google 还是选择了架空地板的方案。 微模块顶部标签为 120 的是空调风扇阵列，由 6 个独立的标签为的 122 风扇构成，其中 124 是风扇驱动控制器。这些风扇采用高效率的 EC 风机，加上 V 型盘管较大的迎风面，以及 deltaT 很高，因此风扇的转速很低压差很小，运行起来就非常节能。此外顶部风扇阵列周边的四根标签 为 128 的支撑柱上面可以安装网线布线等托架，如开篇语中的机房照片所示，可以用于机柜顶部 的弱电信号等布线使用，充分利用了顶部空间还减少了专门架设布线桥架的投资。还有空调顶部 突出标签为 118 的 L 型导轨横条用于机柜和空调之间的紧固，既固定了机柜，又密封了热通道。 前面的微模块单元图只是其中一个微模块的示意，当整个机房建设的时候，会有多个这样的 模块不断复制和不断延伸，这个时候每个微模块单元就会不断延展成了一整排微模块阵列。此时， 微模块间的热通道 114 和冷通道 113 就联通共享在一起了，这种情况下每个微模块还可以从附近 的模块借冷量或者分散热量到周边的模块内，达到了微模块间的冗余。当其中的任何一个微模块 内的盘管或风扇故障，甚至负荷过高，或者干脆负荷过低顶部没有放置盘管时，都可以从周边模 块获取冷量（如左上图右侧的箭头），这样进一步提高了制冷模块间的冗余和系统可靠性。
- 5. 上图是实际热通道内的照片，由加固框架支撑的制冷模块逐个排开，冷冻水供水软管从地板 下穿过毛刷孔再连接到顶部的一字型水平盘管内，两侧全部前维护的服务器堆叠密布（看图片似 乎此定制服务器的厚度也是 1.5U），蓝绿色 LED 发出的照明光显得很梦幻。 三、数据中心微模块布局篇 下图是机房内多排机柜单元和制冷单元的布置示意图，我们可以更为清楚得看到制冷单元和 整机柜是如何搭配的。机柜每三个一组，顶部的 TOR 放在三联柜中间，每三个柜子依次排开。 两排机柜间根据实际机柜的功耗和设备类型，搭配不同数量的制冷模块，比如高负荷的计算类机 柜列比存储型的机柜列制冷模块要多。如果出现部分区域的设备功耗密度较低，则可以多个三联 柜共享稍微少量的制冷模块，这样制冷模块间的顶部空隙可以通过薄铁皮来封闭热通道，如下图 标签 418 所示。如果某个三联柜需要搬迁或者维修，则可以通过底部滚轮灵活由一个运营人员就 可容易推走，如下图标签 424，但推走后的机柜位需要制冷模块正面的铁皮封板封堵住热通道， 以免整个封闭热通道的热气流泄露到机房冷环境中，如下图标签为 416 的封板所示。 下图是含了数据中心制冷基础设施的更为详细的剖面图，从这个图我们可以清楚看到冷站 604 提供的冷冻水通过地板下维护空间内（考虑地板下管路检修维护需要，实际 goolge 某个项目 的地板下高度高达 122cm）的冷冻水管 614 和 612，送到机柜上方的制冷模块来带走设备产生的 热量。冷站 604 包括了冷却塔 622、板式换热器 626、冷机 620 和水泵 624/616 等，采用三通阀 等设计，可以灵活选择采用直接冷却也可间接冷却。实际建设的时候，冷站也可以是模块化的工 厂预制单元，运送到机房现场和对应的多排机柜列对接即可投入使用，真正达到了模块化快速建 设的目的。冷站模块间的冗余，也可以通过将这些不同的冷站模块互联到公共接头的主环网中， 通过互联互通的环网结构来实现冷站间的冗余，即便某个冷站故障也不会影响整个系统。
- 6. 实际 google 的数据中心为了节能运行，会将机房的温度设置得较高，整个机房作为冷通道， 整体温度场较为均匀，且较为适合运维人员操作。服务器的进风温度往往高达 27 摄氏度甚至更 高。热通道内的温度则高得多，甚至不适合于运维人员呆在里边，因此服务器全部设计成冷通道 前维护。比如热通道内的温度会高达 43 度以上，经过顶部空调盘管降温后的温度约为 25 摄氏度， deltaT 高达 18 度，这样顶部空调的风量可大大减少，风扇也可低速运行功耗很低。同时整个机 房采用高温 27 摄氏度运行，冷冻水供水的温度也可以设置在 20 摄氏度的高位温度，回水温度则 约为 40 摄氏度，这样高温差运行也可大大节省水泵的功耗。如果冷冻水的供水温度可以达到 20 摄氏度，这样每年制冷主机真正需要开启的时间就非常少，甚至在欧洲的几个数据中心都实现了 无冷机运行，而冷机能耗是机房内最大一块，所以这些设计可以大大节约了制冷的能耗。 四、集装箱数据中心建设布局篇 为了支撑其百万量级的服务器需求，Google 的数据中心通常建设面积都非常庞大，服务器 数量更是数以好几万计的规模。比如底部参考资料中的北卡数据中心光架空地板面积就接近 2
- 7. 万平方米，据 google 数据中心主管 holtz 介绍当时已投入运行服务器更是多达五万多台。由于选 址多为远离城市的郊外地区，地广人稀，所以其机楼通常不像国内城市数据中心的多层建筑设计， 而往往采用单层的大开间框架式结构，更为节能环保，功能单元布局和人流、物流也更为合理。 如下图的某个 google 数据中心为例，中间两个巨大的机房模块，南北两侧分别是数据中心 空调和电力基础支撑，水电分离。左侧是物流运输的卸货平台及拆包测试等功能间，右侧是运维 人员办公区等支撑区域。不管是供电还是供冷的能量路径最短，以及人流物流的通道也非常合理， 非常清晰，一目了然。 下图是整个数据中心机房内的全景图，整个机房空间非常开阔（由于面积很大，采用的是更 为经济安全的水消防），顶部是照明和消防管网，以及一排排的供电母线排（google 之前采用了 服务器内置电池的市电直供方案，因此不再配置集中的 UPS 等，供电效率接近 99.9%），通过 支路配线盒直接给到机柜服务器供电。再往下就是直接架设在制冷模块顶部的走线桥架，以及三 联柜微模块了。从下图放置黑色移动维修台的机柜空缺位，我们可以非常清晰得看到 google 的 数据中心的确如前面分析的一样，先建设好置顶空调及配电接口泊位，采用三联柜的方式滚轮移 动即插即用快速交付。如果该机柜位尚未被占用，则采用三联柜白铁皮或者蓝色布帘临时封堵热 通道，防止热气流跑到整个机房外部空间的冷环境。机房还配备了梯子、叉车和移动工作台、简 易维修工作台、工具箱等，方便现场运维。还有个“暴风战士”守护北卡的数据中心。
- 8. 五、结语 通过前面的介绍，以及和之前集装箱数据中心方案的比较，我们可以看到采用微模块的方式 建设数据中心，颗粒度更小更为灵活，而且不再受到集装箱内狭小空间的限制，运维和搬迁等更 为灵活和方便。通过整个机房的整个冷池作为缓冲，且考虑到了制冷模块、外部冷机等的冗余， 可靠性更高，运营体验也更好。还可以根据不同设备类型和设备的不断升级更新等，灵活配置制 冷模块来快速满足业务不断变化的需要，是个非常好的设计。 虽然 google 透露出来的设计通常是其上一代的技术，即便如此还是非常值得国内同行们去 学习和借鉴，让我们在继续期待 google 能有更多更伟大的设计同时，也能站在巨人的肩膀上走 出一条中国特色的数据中心之路来。 参考资料： 1、 Google 数据中心图集： http://www.google.com/about/datacenters/gallery/#/ 2、 视频: Google 数据中心街景： http://www.56.com/u52/v_NzU2ODMyOTc.html/1030_r344092508.html