微模块数据中心概念及其颗粒度初探[1]
- 1. 微模块数据中心概念及其颗粒度初探 腾讯 IDC 平台部数据中心规划组 李典林 随着微模块技术在腾讯的规模应用，并在标准化、机房能效、建设速度、资源储备及运 营标准化等方面取得良好效果，该技术已经逐步成为行业未来的重要发展方向。目前业界也 在逐步跟进，且各家都提出了自己的解决方案，各有各的特点，有了较好的发展势头，但定 义不清、理解不同带来了规格不统一，版本过多，标准化程度低等问题，因此笔者认为有必 要在概念定义和颗粒度等方面做个简单的梳理，一起讨论优化，得到较优模型，并巩固版本， 学习业界优秀设计，形成具有中国特色的微模块发展之路。 一、微模块数据中心概念定义 首先，微模块的定义或者概念一直没有得到较好的明确，和我们熟悉的模块化数据中心 以及集装箱数据中心等概念需要有所区别。模块化数据中心的主要特点是从园区、建筑单体、 基础设施模块、机房模块、机柜阵列等模块化分期建设，是个广义概念，不管是微模块数据 中心、集装箱数据中心还是更大颗粒度的大机房模块都是模块化数据中心的典型表现形式。 集装箱数据中心和微模块数据中心都是模块化数据中心建设模式的典型应用，只是前者 有标准集装箱外形尺寸等的边界条件，颗粒度受限于外框尺寸，因此标准化程度相对更高， 也正因有外壳的保护，更为适合部署在室外开放空间或者框架式简易厂房内。但集装箱受外 形尺寸的限制，且颗粒度相对较大，整体灵活性不够高，且考虑中国城市土地昂贵，机房建 筑多为多层结构，柱网密集，层高不够，整体搬运空间很小，因此城市地区能满足集装箱部 署的场地不多；而郊区或者偏远农村，因为电力、光纤、道路、市政管网等配套相对较差， 也不好开展集装箱数据中心的规模部署；最后，集装箱数据中心露天摆放或者简易维护，对 贵重设备及业务运安全存在一定风险，运营体验也不够好，所以集装箱数据中心在国内的发 展道路一直不太顺利。 考虑集装箱数据中心部署存在的一些问题，目前腾讯的实践表明，工厂预制、现场拼装 的室内型微模块数据中心技术更适合目前阶段的中国数据中心行业。首先，微模块没有绝对 外框限制，可以根据建筑情况选择合适版本，颗粒度也较小，分期投资更为灵活，成本更低； 其次，工厂预制现场拼装的建设模式，可以适应普通建筑更矮的楼层层高，以及电梯或楼梯 搬运等，现场可按需柔性配置电力及空调模块等调整机柜功率密度，满足业务快速多变的需 求；最后，以微模块为基本单位，和 2 到 3 代服务器生命周期匹配，整体交付，整体退役， 易改造升级，部分长生命周期的部件甚至还可以利旧复用或者回收处理，资源灵活性好。 此外，我们认为微模块数据中心不能简单地和冷（热）通道封闭等传统技术混为一堂， 既然是要实现分期部署灵活配置的模块化数据中心，就尽量实现较为彻底的模块化，把供电、 散热、监控、电池等结合在一起，实现麻雀虽小但五脏俱全的小数据中心模块。因此定义的 微模块数据中心是指以若干机架为基本单位，包含制冷模块、供配电模块以及网络、布线、 监控在内的独立的运行单元。该模块全部组件可在工厂预制，并可灵活配置，到现场快速拼 装。其颗粒度应该介于模块化数据中心的机房大模块和服务器机柜之间的合适大小，提供一 种更为灵活和可变的组合形式。如果把整个微模块比喻成一台大型计算机，那么微模块内部 的不间断电源（含电池）就是服务器电源、散热空调就是服务器风扇、IT 机柜就是服务器的 CPU 及内存等计算单元、监控系统就是服务器的内部监测控制部分。物理接口方面，微模块 和外界的接口就是供电、空调、以及光线铜缆，和建筑的安装泊位。类似不同类型的服务器， 微模块的版本也可以分别设计成计算或者存储等类型。通过模块化部件设计，就可以灵活配 置电源或者空调模块数量，再根据机柜功率密度配置不同数量的 IT 机柜，按需灵活组合。
- 2. 前面介绍了不少微模块的相关概念，其一个显著特点就是工厂预制现场组装，可根据 IT 及业务类型柔性配置其功能单元，就像乐高玩具一样，用标准部件搭积木，组合成需要的各 种类型。因此其潜在的特点就是部件解耦、功能清晰，需要接口标准化，部件规格简单化， 实现免工具或者少工具快速安装实现。比如部件的尺寸规格尽量选择在 600mm 或者 300mm 这个标准宽度，高度适宜控制在 2500mm 以内以便电梯可以运输，底座、封闭顶板及门框 等结构件和机柜等接口也尽量标准化，可通过螺栓或者卡扣等方式快速拼接。此外，为了腾 出更多的宝贵空间给到 IT 机柜，支撑的电源、电池、空调、配电、监控、水分配柜等建议 占用尽量少的空间。同样，为了进一步提高利用率并降低成本，需要充分发掘每个支撑部件 单元的潜力。归根到底，数据中心的设计是个多方平衡的结果，其本质是数学和逻辑的问题， 前者是颗粒度，后者是秩序。所以，在采用标准部件柔性配置，保证了数据中心灵活性的同 时，在搭积木的过程，还需要考虑选择合适的颗粒度来达到最佳模型，实现标准化和版本化。 二、微模块颗粒度梳理 虽然微模块模型的定义上没有明确其具体组件的数量和尺寸，也不像标准集装箱数据中 心有明显的物理边界尺寸，其模型中主要的变量是 IT 机柜的功率大小及数量，两者决定了 微模块的供电、制冷、外形尺寸、重量规模等等，越多的机柜数量及单机柜高功率密度会导 致越大颗粒度的微模块。反过来，供电、制冷、外形尺寸以及重量等也会反过来影响到 IT 机柜数量及机柜功率，因此虽然微模块没有明确定义机柜功率及数量，但仍有一定的边界条 件，下面会针对不间断电源、空调制冷能力、建筑柱网距离、配电柜及 CDU 物理空间、电 池后备时间及楼板承重等多方面来分析，得到当前阶段下微模块较为合适的模型及其颗粒度。 1、 不间断电源系统容量选择 前面我们提到了电源系统是否该内置到微模块的必要性问题，如果初期按终局容量需求 建设一套集中式的大型交流或者直流 UPS 系统，然后 UPS 输出再拉到每个微模块内，不管 是前期一次性建设高投资成本，还是长时间低负载运行的低效率高运营成本都是不合适的， 况且技术革新带来的效率提升及无需大型开关和传输粗线缆等更低前期投资也享受不到。所 以，在微模块内较为合适安装分布式一体化的高压直流或者模块化 UPS 系统，其模块化设 计可以根据负载情况灵活配置电源模块的数量，并且可以自动实现轻载下的节能休眠，这对 于分布投资和能效提升都很有帮助。我们前面也提到了标准化机柜尺寸及腾出更多空间来放 IT 设备，那么电源系统宜采用 600mm 宽的单机柜来实现。目前主流不间断电源厂家的一体 化电源系统单机柜容量多不超过 160KW，加上需要的 N+1 或者 N+2 电源模块冗余，以及 10 到 15 分钟左右的电池后备时间需要的额外充电功率，再考虑 90%左右的电源负载率，那么 真正能给到 IT 负载的可用容量基本在 125KW 以下，所以得到第一个容量边界条件，就是微 模块内的 IT 总功率需求尽量能控制在 125KW 以内。当然，如果采用市电直供技术，电源只 是充电器等深度定制设计则另当别论，这里暂不展开论述。 图 1 一体化分布式电源系统和分体式集中大电源系统
- 3. 2、 精密空调制冷能力选择 数据中心末端散热解决方案中，目前主流的是采用 DX 直膨式空调或者水冷精密空调， 前者能效不高，且很多外机的铜管需要外接，不太适合于用在大型数据中心内部。对于水冷 精密空调又分为集中式地板下送风或者分布式行间就近送风等方式，考虑分布投资及更高能 效，目前有成熟的行间空调解决方案。同样考虑采用标准尺寸，有 300mm 或者 600mm 两 种规格。据相关资料表明 600mm 宽的行间空调其制冷能力和 300mm 宽空调相比并没有成 比例增加，单位千瓦散热成本偏高，还占用较大微模块空间，且颗粒度较大，冗余成本较高。 再以典型的 300mm 宽行间空调为例，在 10 到 12 摄氏度的冷冻水供水温度下，其制冷 能力大约只有 25KW。考虑微模块内两排机柜对吹，较为合适配置偶数数量的行间空调，且 需要考虑 N+1 冗余。采用 N+N 的 2N 冗余空调成本过高，而 7+1 以上的冗余配置，裕量太 小也不太建议。因此，综合考虑制冷能力、机柜空间占用以及空调冗余数量，选择 5+1 的 300mm 宽空调用于高功率微模块，制冷能力为 125KW 左右；选择 3+1 的 300mm 宽空调用 于中低功率微模块，制冷能力约在 75KW 左右是较为合适的选择。 图 2 典型行间空调的制冷能力 当然，如果不采用成熟的行间空调产品，而采用定制 AHU 或者定制更高散热能力的行 间或者置顶空调解决方案也是可以的，只是涉及产品深度定制不够通用，且其分析思路也是 类似的。考虑目前行间空调产品的单位千瓦散热成本比传统的精密空调要高出不少，且空调 颗粒度相对较大冗余成本较高，所以为了充分发掘行间空调的散热能力，推荐选择 75KW 或 125KW 附近的 IT 总功率较为合适。 3、 建筑柱网对微模块尺寸的限制 目前国内数据中心建筑多为非钢结构的多层砖混结构建筑，那么在机房内经常会有安装 时碰到柱子的问题。微模块的建设思路是尽量标准化，越简单越好，因此希望能够尽量避免 碰到柱网带来的现场改造以及非标定制，所以需要考虑到柱网对微模块尺寸的影响。 对于国内多数非钢结构设计的砖混类型数据中心建筑，典型的柱间距为 7 米到 11 米， 由于国标 GB50174 对数据中心的封闭冷通道长度有一定距离要求，6 米以内允许单边开门， 超过 6 米以上则需要两侧开门，因此还需要预留微模块两头的开门空间。再考虑运货斜坡及 转弯半径，建议单边门前的通道宽度至少要有 1 米 5 以上。如果微模块布置在两柱子间，且 要求双边开门，这样总的柱网间距要求至少是 9 米以上，因此对于标准尺寸为 600mm 的机 柜，考虑其他供配电、空调、电池等支撑机柜的空间，如果单模块的 IT 机柜数量增加超过 12 个机柜的话，对柱网的要求就会很高，微模块的适应性也不强。当然如果微模块尺寸能 控制在 6 米以内，则允许单边开门，对柱网的挑战就会小很多，但可摆放的机柜数量就受到 较大限制，且支撑的电源、空调部分成本就较高，也不够经济。 为了解决这些问题，一个可能的解决办法是酌情在机房模块内没有柱子的地方多摆机柜， 或者摆放长模块，而在有柱子的地方摆放短模块，甚至允许在没有柱子的地方，将两个微模 块拼装对接，合理提高机房空间及支撑动力部分的综合利用率，比如下面的这个案例布局。 综上，微模块颗粒度的第三个限制条件是，在有柱子的地方，IT 机柜的数量尽量控制在 12 个柜子以内，但没有柱子的地方则没有这个限制，包括钢结构大开间厂房也没有此限制。
- 4. 图 3 建筑柱网对微模块布局的影响 4、 综合配电柜及 CDU 的物理空间限制 如前面讨论，微模块希望能尽量集成配电以及水分配等单元到模块内部，同样建议占用 尽可能少的模块空间，因此在一个机柜内能摆放的支路数量是受到机柜空间的限制的，且还 需考虑运维操作空间，相应就影响到可以支撑的总机柜数量。考虑有限的配电柜空间和水分 配 CDU 空间，及维护操作和散热需求，再预留适量备用支路，单个配电柜只能支撑 36 路以 内的机柜输出，而 CDU 只能支撑 6-8 台左右的行间空调。如果每个机柜需要 2 路输入，最 多只能支撑 18 个机柜；如果每个机柜需要 3 路输入，则最多只能支撑 12 个机柜左右。当然， 如果采用母线排技术去掉配电柜，或者无需 CDU 的方案，也可以不受此条限制，但不通用。 图 4 水分配 CDU 单元及综合配电柜内部物理空间限制 5、 电池后备时间及重量对电池柜及楼板承重的限制 前面提到过电池是否放到微模块内部的问题，如果电池不放到微模块内部，仍采用集中 方式放到电力电池室，电池备电时间可以更长，物理尺寸等也基本不太受限，但带来的一个
- 5. 问题是每次部署一套微模块都需要到电池室去建设一组电池，不管是电池室的承重加固改造， 以及较长电池线缆的投资，还有在已投入生产的电池线缆槽内额外施工增设电池线都是较为 麻烦的事情，所以我们还是建议直接将电池放到微模块内部。这样分摊电池重量到微模块底 座以及整个机房内，减少建筑改造，提升机房利用率，且可以利用微模块空调给电池提供一 个合适的温度。铅酸电池的极少量排氢等也可以通过行间空调带到机房大环境中稀释掉。 言归正传，电池的容量选择主要却决于电池后备时长以及微模块的功率颗粒度---即 IT 总功率需求。且如前面所言，电池如果要放到微模块内部，同样希望每组电池是 600mm 宽 的一个电池柜搞定。如果考虑运维冗余需求，还希望微模块内实现电池 1 主 1 备，那么还需 要两组电池，至少占用两个电池柜。 此外单体电池的容量大小也会影响到电池柜的安装空间，这里以 240V 高压直流应用为 例，20 节 12V 铅酸电池需要放置在一个 600mm 宽机柜内，那么单体电池的容量不能太大， 才能保证每层能摆放下 4-5 节电池，整个机柜装 4-5 层。或者采用两个电池柜各装一半数量 的单组铅酸电池方案，但后者是以牺牲运维冗余，以及牺牲微模块机柜空间为代价的。 按照前面 120KW 的 IT 功率需求，且按 GB50174 通常建议备电时间为 15 分钟，这样计 算得到的每节铅酸电池的重量需高达 65kg 左右，加上电池柜柜体重量，20 节电池的电池柜 总重量总计高达 1.5 吨。虽然部分重量可通过整个微模块底座散力，但仍对建筑楼板的承重 提出较高要求。此时每组铅酸电池勉强可以安装在一个机柜内，且对建筑的挑战还不是很大。 假如单个微模块的总功率继续加大，且电力充足，则会进一步加剧对建筑楼板的承重要 求，对机房建筑的承重构成很大挑战，需要花费楼宇加固建设成本以及额外时间成本，且单 个电池柜装不下一组铅酸电池，需要花费更多微模块空间用于安装电池。因此不建议单微模 块超过 120KW 更大容量的 IT 总功率需求。当然，如果采用能量密度更大的锂电池等其他解 决方案也可，但技术成熟度风险以及投资成本会有增加，本文也不详细展开讨论。 图 5 过大的电池单体电池柜安装空间受限 图 6 电池重量对数据中心建筑承重带来的挑战
- 6. 前面我们对微模块的各支撑部分组件做了简单梳理，虽然概念上没有定义微模块的机柜 数量以及总功率等，但从各个支撑部件考虑，并就中国当前国情，在采用现有成熟标准产品 下，还是存在一定的边界条件和合适颗粒度的。比如电源决定的总 IT 功率不超过 125KW， 空调 5+1 下总 IT 功耗不超过 125KW，3+1 下不超过 75KW，建筑柱网之间的 IT 机柜数量不 超过 12 个（非柱子之间则不受此限制），CDU 建议不超过 6-8 个主供水进出回路，配电柜建 议不超过18 个柜子，10-15分钟铅酸电池后备时间下IT总功率也不建议超过120KW左右等。 再考虑不同业务不同类型服务器的功率有高有低，有高密度 IT机柜和中低密度IT 机柜之别， 对应的微模块也有高密度高功率微模块、中密度高功率微模块、中密度中功率微模块和低密 度中功率微模块等几种类型。 综合前面的讨论分析，我们推导出较为适合当前推广使用的如下 4 种微模块组合类型： 1、 高密度高功率微模块：IT 总功耗 120KW 左右，IT 机柜数量为 12 个，行间空调 6 台； 2、 中密度高功率微模块：IT 总功耗 120KW 左右，IT 机柜数量为 18 个，行间空调 6 台； 3、 中密度中功率微模块：IT 总功耗 75KW 左右，IT 机柜数量为 12 个，行间空调 4 台； 4、 低密度中功率微模块：IT 总功耗 75KW 左右，IT 机柜数量为 18 个，行间空调 4 台； 最后，对于低密度 IT 机柜如果也采用低功率微模块方式来建设，由于不能充分发掘微 模块的供电、制冷、监控及结构件等潜力，单位千瓦造价偏高不推荐采用，这里也不再讨论。 三、小结及展望 本文对微模块概数据中心概念作了简单定义，并基于当前国情及主流成熟标准产品梳理 出较为合适的 4 种微模块类型，当然这些分析都是基于非深度定制的产品，只采用标准商用 IT 设备及成熟机电设备直接集成方案，能更为广泛地被行业所借鉴采用。但肯定不限于此， 如果只对其中的局部部件作些深度定制，也会得出不同的模型，比如没有建筑柱间距限制或 者采用定制的散热量更大的行间空调或者置顶空调，其模型也会有所调整的。当然如果能从 IT 设备层面深度定制，或者将行间空调等剥离出来采用 AHU 等方式，那微模块会更为精简 和标准化。比如 google 采用的 6 个 IT 机柜和置顶空调构成的 hot-hut 微模块，采用的是定制 的带电池服务器就没装额外 UPS；或者 1 个 48V 电池柜带 6 个 IT 机柜的 facebook 微模块， 采用的是集中风扇墙蒸发散热及市电直供 48V 电池后备定制服务器等；或者下一代 open rack 安装市电直供的电源插框及内置锂电池 BBU 更为灵活；以及 1 个 OCC 带 6 个 IT 机柜的 yahoo 微模块，采用了定制的 OCC 置顶空调及集中 UPS 供电等。这些都是 IT 及基础设施深度定制 的经典案例，颗粒度也多以 6、12、18、24 等为基本单元，模型的梳理也是类似，且也是国 内数据中心微模块未来发展的重要方向。我们当前宜立足商用标准产品，不断完善现有版本， 展望未来深度定制，继续不断创新，一起继续打造有中国特色的微模块数据中心发展之路。 图 7（a）google 微模块 图 7（b）yahoo 微模块
- 7. 图 8（a）facebook 微模块 图 8（b）openrack 的 V2 示意图