Google集装箱数据中心揭秘
- 1. Google 集装箱数据中心揭秘 腾讯网络平台部数据中心规划组 李典林 Email:dufresne545@gmail.com 数据中心模块化最近较为热门，其中较为典型的一种模块化实现方式就是采用集装箱数据中 心，国内在这方面的推广也有一段时间了，但实际应用却又不多，那么集装箱是否适合中国，业 界又是如何来打造的？针对这些问题笔者从一个 google 的集装箱数据中心专利（其实该专利在 2009 年已经公开，网络上也有不少相关图片），以及网络上相关 Google 的集装箱数据中心的视 频，做一些最粗浅的分析以飨读者，并与同行们共勉。 一、google 集装箱数据中心原理介绍 从 2005 年开始，Google 的数据中心就已经开始采用标准的集装箱设计，当时 Goolge 用 45 个集装箱搭建了一个奇怪的设施，有些就放在龙门吊架的二层上，谁也想不到它是一个数据中心， 这种设计在当时可以非常罕见。Goolge 的集装箱中每个可以容纳 1160 台服务器，具有 250KW 的功率，每平方英尺可以具有超过 780W 的功率密度。 图 1 是 google 集装箱数据中心的透视图，从图中我们可以看到每个 40 英尺集装箱中布置了 两排机柜，两排面对面的机柜中间作为冷通道，由地板下安装的多个空调盘管及风扇提供冷量， 整个集装箱对外的接口只有标号为 152/155 的空调冷冻水接口、标号 149 对应的供电接口以及标
- 2. 号 158 对应的网络和管理接口构成。在集装箱的左侧，打开主入口门 164，门口左边是标号为 107 的综合配线架，右边是标号为 131 的电力配电柜，从上图可以看到弱电网线走在服务器机柜底下， 强电配电线缆走在服务器机柜顶部，两侧有两路空调冷冻水管路布置在集装箱的最底部，通过空 调盘管 116 和离心风机 119 来散热。考虑运输和吊装等需求，在集装性的底部 143 位置或者顶部 146 等位置还预留了叉车和吊装的接口。 图 1 图示了集装箱数据中心 100，其可以被用来向诸如数据中心的整体并行计算系统添加计 算能力。在一些实施方式中，不同的集装箱数据中心可以提供替代量的处理能力或存储能力（例 如，2000 个微处理器和 50 兆兆字节的存储），即不同的模块可以是基本上可互换的。在一些实 施方式中，不同的模块可以提供处理能力对存储能力的不同的比率，并且目标应用可以确定适当 的比率。例如存储密集型的应用可以要求具有大量的存储设备的模块，而该应用可能不需要大量 的处理器；被设计为离线模拟大型网络的“实验室网络” 应用可以要求具有大量处理器的模块， 而该应用可能不需要大量的存储设备。 从图 1，我们还可以看到一个集装箱内有多个空调盘管单元，每个单元大概覆盖三个 IT 机 柜左右，当然实际每个空调覆盖的机柜数量会随着 IT 设备的类型灵活调整，比如存储类的设备 功耗较低，则可以少建设几个盘管或者多摆几个机柜等，这些可以在工厂阶段根据需要灵活配置。 二、数据中心制冷篇 下图是整个集装箱的截面图，这个图更有助于大家看到其气流组织，由机柜底部送出的冷
- 3. 量在中间的 312 冷池内被两侧的服务器吸入，经由服务器的风扇 315 吹到服务器尾侧的 309 热通道内，再经地板下的空调盘管 116 制冷后由离心风机 119 吹回冷通道内，形成如下 ABCD 的整个气流循环，气流组织非常短，风机能耗及冷量传递损失都很少，效率很高。 标准集装箱的宽度只有 2.35 米，考虑两排机柜并列，还需要冷通道维护空间及两侧热通道 回风需要，这里可以推断出 google 的服务器深度实际是很短的，初步估计含机柜不超过 700mm。 这种短宽深度的设计也非常适合于服务器散热，较为容易实现高温服务器的目标，据 google 的 介绍其冷通道送风温度高达 27 度甚至更高，因此提升冷通道送风温度的节能效果非常明显。 下图的空调特写部分更为清晰展示了其原理，其中 116 为 A 字型空调盘管，122 供水管和 125 回水管通过快接软管连到该空调盘管上，降温后的冷空气由导风槽 202 及离心风机 119 甩到 架空地板上的冷通道内，集装箱内的热量由空调冷冻水带到集装箱外。每个空调盘管对应三个风 扇，冷却风扇速度可变，并可以精确管理，保证风扇在能够冷却机架的前提下运行在最低速度。
- 4. Google 集装箱数据中心的设计着重于“电源在上，水在下”，机架从集装箱的天花板悬挂 下来，冷却设备在机架下面，让冷空气通过机架。左下图是服务器尾部的电源线连接，右下图是 服务器前部的网络连接，但实际根据 google 公布的集装箱数据中心视频，服务器的供电和网络 接口都建设在冷通道一侧实现完全的前维护或者冷通道维护，因为服务器后面热通道的宽度实在 有限，难以进人维护，以及热通道的温度高达 40 多度，也不适合运维人员高温操作。 据 google 自己公布，其 IDC 的 PUE 值从 2008 年第三季度的 1.21 下降到 2008 年第四季度 的 1.16。PUE 为 1 表示数据中心没有能源损耗，而根据 2006 年的统计，一般公司数据中心的 能效比为 2.0 或更高。Google 的 1.16 已经低于美国能源部 2011 年的 1.2 的目标。Google 集 装箱数据中心实现低 PUE 的几个最佳实践方法大家可以从参考资料的视频地址中找到。 三、数据中心供配电篇 相比大多数企业都从戴尔、惠普、IBM 或 Sun 购买服务器系统，而 google 的服务器系统却 是自己设计的。它在每台服务器都配有 12V 的备用电池（3.2Ah，备电时间很短只有几分钟）， 而不采用大型的不间断电源(UPS)作为备用电源。通常市电直供比 UPS 更有效率，大型 UPS 的 有效率为 92%至 95%，而市电直供的效率为 99.9%。Google 服务器厚 3.5 英寸(2 个机架单位)， 有两个处理器，两块硬盘，八个内存条，主板由技嘉制造，采用来自英特尔和 AMD 的 x86 处理 器。Googl e 甚至还在自己的网络设备中采用了这种电池设计。通过这些设计，可以避免采用传 统低效率的 UPS 方案，达到了 99.9%的供电效率的。下图是 google 服务器 UPS 的供电拓扑图，
- 5. 以及掉电保护控制逻辑。市电正常的时候由市电直接给服务器供电，实现 99.9%的供电效率，同 时让电池充满电；当市电闪断或者停电的时候，则由主板上的 12V 电池过渡放电一两分钟，保 持设备不掉电，直至柴油发电器启动继续提供市电输入。原理较为简单，但实现起来却难度较大。 下图是 google 整个数据中心层级的供电架构，可以包括在模块化数据中心中的示例设施层 级的配电系统 1100 的框图。如图所示，由供给 1101 以电压 VI 提供电力。在一些实施案例中， 该电力由公用设施公司以大约 13 千伏的电压 VI 供应。供给 1101 由电力转换设备 1104 转换为 电压 V2。在一些实施方式中，电力转换设备 1104 是变压器，并且电压 V2 是大约 480 VAC，并 提供有 3 相。在一些实施方式中，在电压 V2 的电力可以被配送给各种模块化计算环境 1106A 和 1106B。可以由电路保护设备 1109 (例如，电路断 路器、保险丝、电涌抑制器等）提供对在电压 V2 的电力的电流保护。在一些实施方式中，每一个集装箱数据中心 1106A 或 1106B 包括分相器 1112,其将三个相中的每一个分离为具有电压 V3 的单相引线。 在一些实施方式中，电压 V3 是 单相 208 VAC。在电压 V3 的三个单相 引线可以作为各种电路被配送到在集装箱数据中心 1106A 或 1106B 内 的负荷。例如，网络交换设备 1115 可以具有专用电路。一个风扇或多 个风扇 1118A 和 1118B 可以具有专用电路（在一些实施方式中，为可靠起见相邻的风扇可以由不同的电路供 给）。灯 1121 可以具有专用电 路。处理板 1124A-1124C 的组可以具有专用电路（例如，机架 中的一列处理器板，或者机架的另一部分 1125A、1125B 或 1125C 可以具有专用电路）。其它 设备 1127 也可以具有专用电路（例如，灯光、火焰 /烟雾检测设备和灭火系统）。如所示出， 在电压 V3 的每一个电路可 以具有过电流设备 1130 (例如，电路断路器、保险丝、电涌抑制器 等）。 在一些实施方式中，每一个处理器板 1124A-C 包括服务器板载电源 1133，其将具有电压 V3 的电力转换为适合在对应的处理器板上的组件的一个或多个电压。
- 7. 园区布局非常清晰，上部是冷水机组（google 数据中心多采用高效的水系统来散热）和冷却塔等， 左侧是两组中低压配电及柴油发电机组给两排集装箱阵列分别供电，供电路经最短。中间就是集 装箱数据中心的“轮船码头”---集装箱泊位，如果把每个集装箱当成轮船的话。泊位提供两排集 装箱的供电、供水及网络，同时还兼做运营人员的检修维护通道，两侧粉红色区域为物流进出和 应急通道，布局非常合理。 如上图所示，这里引入泊位的概念，类似于船舶码头，做好基础的供电、网络和冷冻水补给 等给多个靠岸的集装箱数据中心提供源源不断的能源和信息通道。实际建设的时候集装箱部分可 以在工厂标准化按需预配制，与此同时，泊位的搭建工作可以同步开展，甚至标准化的泊位也可 以在工厂预制，比如模块化的变配电集装箱、模块化的柴发集装箱、模块化的空调散热单元等， 这些可以提前下单采购，并在工厂同步开展建设，在现场快速模块化拼装，达到快速建设的目的。 从左下图我们可以看到集装箱数据中心 901-910 沿着数据中心泊位 913 两排排列。泊位 913 可以将电力、网络和冷冻水导引至每一个集装箱数据中心 901-910。实际建设时候冷冻水的供水 主管路就从冷站通过 913 地板下输送到每个集装箱内的支管的；从变压器降压后的每个集装箱供 电线缆也从变配电站过来，通过 913 的地板下线槽连接到每个集装箱；同样的从每个集装箱出来 的上联网络也会汇聚到专门的园区网络核心集装箱中，再上联到其他数据中心。 电力设施可以以高压电力（比如 13 千伏）的形式经由公用设施线缆 916 将电力提供给模块 化数据中心 900。设施层级的变压器 919(例如，到 480VAC，三相）可以将进入电力的电压降低 并且在设施层级配电盒 922 处配送并导引至泊位 913 内的各种集装箱数据中心。在一些实施方式 中，可以提供其它公用设施备用或补充电力。例如，柴油备用发电机（图未示出）可以与模块化 数据中心 900 同处一地；如果公用设施电力受损，柴油备用发电机可以向模块化数据中心提供临 时电力。
- 8. 右上图是另外一种以多个集装箱数据中心 1001-1008 构建，并具有叠置配置的另一个示例模 块化数据中心 1000 的透视图。除了配置，模块化数据中心 1000 非常类似于模块化数据中心 900： 它包括设施层级的冷却设施 1025，设施层级的电源 1016；设施层级的通信设施 1028；以及模块 化计算环境 1001-1008。垂直泊位 1013 可以将公用设施导引至模块化计算环境 1001-1008，并且 设施层级的冷却设施1025可以被设置在泊位 1013上面。可以提供设施层级的电力转换设备1019 和配电设备（未示出）。 下图是 google 某个集装箱数据中心内集装箱模块的实际摆放示意，结合了前面提到的两种 建设模式，既有同层的多模块铺开摆放方式，又有上下两层的堆叠模式，通过龙门吊等方式吊装， 有效充分利用了建筑空间并保持了搬迁输运的便捷性。 作为一个额外的示例，数据中心可以被设置在船上；可以由船上的船用发电机提供电力，并 且冷却设施可以由舱外海水或者油轮上储存的热油来散热，后者就是 google 油轮数据中心的概 念，当然这个方案实际最终被证实那只是个愚人节的玩笑。 从前面的分析和实际 google 的建设布局来看，采用集装箱数据中心对建筑结构和运输通道 提出较高的要求，比如需要占地面积较大的大开间低层建筑结构，需要承重很高的龙门吊或者专 用吊车等设备来吊装或者输送，如考虑搬迁还需要预留较宽的进出通道和空间等，对于国内城市 主流的多层建筑显然不太合适。此外，就集装箱本身而言，如果采用 40 英尺的大集装箱，建设 和部署的颗粒度有些偏大不够灵活，如果采用 20 英尺的短箱，箱内物理空间又有一定受限，特 别是 2.35 米的宽度对于普通的标准服务器机柜而言空间利用率更是严重不足，只能摆放一排机 柜或者采用多个小室结构，只有类似 google 这种两排定制的短服务器可以实现较高的空间利用
- 9. 率，但也还存在维护空间不足等问题。 当然集装箱数据中心仍有非常多的优点，并且在一定的 行业或者特殊领域内有非常好的应用和案例，未来集装箱数据中心仍有较好的发展。 五、结语 前面只是对 google 集装箱数据中心的一些简要介绍，而且集装箱技术大约是 google 在 2005 年左右的技术，考虑到集装箱的一些限制和不足，后来 google 就不再采用此技术了，转而进化 到采用室内型微模块数据中心的阶段，这些可以从前些日子 google 发布的一些室内微模块图片， 以及下图 google 数据中新 7 年的发展历史中我们可以发现一些端倪。后续笔者会继续就 google 的这些室内型微模块技术做些粗浅分析，和同行们共同探讨研究，并希望通过对 google 这个业 界的标杆学习，促进国内数据中心行业的发展。 参考资料： 1、 视频: 探访 Google 的集装箱数据中心 http://v.youku.com/v_show/id_XMTAyMTk4NTE2.html 2、 Google 集装箱专利 http://211.157.104.87:8080/sipo/zljs/hyjs-yx-new.jsp?recid=200680055433.0