数据中心的高压直流之路
- 1. 数据中心的高压直流之路 腾讯计算机系统网络平台部 李典林 传统的数据中心大都通过 UPS 来实现掉电保护，通常所有 IT 负载都要经过 UPS 来供电， 假定实际运行 UPS 的平均效率为 90%（虽然目前 UPS 最高效率是可以达到 95%以上，但我们知 道 UPS 的效率和负载率有关，如左下图所示，随着负载率的提升，效率才会变高，那么正常情 况 20%-40%负载率下很难会达到最高效率点。根据在运行 UPS 的实际测试数据，绝大多数情况 下的效率不高于 90%），那么每 100 度电，经过 UPS 这个环节就白白损耗掉 10%。不仅如此， 我们还需要考虑 UPS 散发出来的热量需要额外的空调带走，按数据中心典型 PUE 为 1.8 来算， 那么 UPS 环节带来的总能耗达 18%，很不节能。 （a）UPS 效率和负载率的关系 （b）传统机房的能耗分布 我们还知道 UPS 设备的拓扑结构比较复杂，因此其单机可靠性一直不是很高。为了解决单 点故障问题，通常会引入 2N，甚至 2*（N+1）的冗余配置，那么这种情况下，虽然一定程度上 提升了整个系统的可靠性，但带来的问题其实不少。首先，投资成本双倍增加，而且占用了很多 机房的宝贵空间，并增加了运维的复杂度。其次，同前面解释过的一样，UPS 系统的负载率在 2N 情况下会比较低，此时 UPS 的效率也很低，额外增加了不少电费开销并浪费了很多宝贵的能 源。最后，单机 UPS 的容量可能不够大，那么往往会采用并机模式，同样由于 UPS 自身结构的 复杂性，且并机要求幅度、频率、相位等同，加上并机板自身也为单故障点，并机风险较大。 很多实际发生的案例表明在市电电网正常情况下，但因 UPS 自身故障引起机房掉电情况。 UPS 是大容量危险设备，其内部电容等元件寿命只有五年，因此电容击穿、漏液短路等危险也 时有发生，轻则造成系统宕机，重则导致机房着火，而且出了事故，第一时间现场无法处理，严
- 2. 重依赖厂商响应速度。综上所述，传统的 UPS 供电方案，可靠性也不是很高。或者说为了达到 较高可靠性，需要把系统做得很复杂，且投资很大。 这里再补充一点关于模块化 UPS 的看法，虽然模块化 UPS 部分解决了分期投资以及可调负 载率从而效率更高等问题，但同样存在多模块设计并机复杂引起的可靠性问题仍没很好解决，而 且由于电池挂接在逆变器之前，也无法实现轻载下的节能休眠等功能，因此不是很好的解决办法。 （c） UPS 配电的复杂性 （d） UPS 故障引发机房燃烧事故 笔者作为国内较早从事高压直流产品开发，并进行后续应用研究的同行，在这里和大家一起 探讨发掘，以便让此技术得到更好应用。本文主要分析比较 240V 高压直流解决方案的一些特点。 上图是高压直流的简单拓扑结构，很直观得展现了 240V 高压直流的一些特点：1、减少变 化级数，整体效率更高；2、电池直挂在输出母线上，相当于提供另外一路备份，可靠性更高；3、 兼容现有绝大多数 IT 设备的高频开关电源，用电设备几乎不用任何更改，推广非常容易；4、拓 扑非常简单，可靠性提高；5、高压直流系统为模块化热插拔设计，运维非常方便。
- 3. 关于 240V 高压直流兼容现有绝大多数 IT 设备的高频开关电源可行性分析，可参考拙作《交 流电源的高压直流直供可行性分析》一文。鉴于此，该技术的推广门槛非常低，用电设备基本不 用任何改造，经过简单测试验证后即可投入应用。国内已有多个数据中心跑在 240V 高压直流供 电环境下，一直工作稳定可靠，因此也从理论和实际都证明了该方案可行。而且由于电池直挂母 线，可作为很大的一个滤波池，滤除电网串过来的毛刺以及其它供电支路谐波的影响，给用电设 备提供一个很好的供电电源。电信行业几万台设备，及多年的应用数据表明，采用 240V 高压直 流给 IT 设备供电，电源的可靠性不仅没有降低，而且还提升一倍以上。 1、高压直流系统的模块化设计。如下图，高压直流系统采用模块化设计，可大容量并机集 中式供电也可小容量一体柜分布式供电，供电方式非常灵活。采用分布式供电的高压直流系统可 以直接放置在列头柜位置，无须配套的独立电力室，大大节省机房空间。而且分布式供电故障影 响面小，只影响一小区域，不像 UPS 出故障则影响一大片区域的供电。高压直流系统不仅供电 设备可以分期建设，而且设备内部还可随着 IT 设备上架量不断增加，逐步按需配置模块个数。 而且直流并机没有频率和相位相同的需求，因此并机非常简单可靠，同样系统扩容也非常容易。 模块化设计的另外一个重大好处是运维得到了大大解放，而且不再依赖于 UPS 厂家的支持。 如果发现了故障模块，需要做的只是热插拔更换故障模块，像换块服务器硬盘一样简单，一线的 现场人员即可处理，非常便捷。我们知道 48V 的通信电源系统非常成熟可靠，而且大家有丰富 的运营经验，那么 240V 高压直流技术的运营几乎借鉴了 48V 系统的原理，也非常便捷可靠。 2、关于高压直流系统的高效率。前面的分析，我们知道高压直流系统不再采用 2N 配置( 如 果要求高可靠性，完全也可以实现 2N)，而采用的是系统内部模块的 N+1 配置，且可以根据实 际负载情况配置合适的整流模块个数，得到较高的负载率，从而有很高的系统效率。
- 4. 不仅如此，由于高压直流系统自身具备的节能休眠功能，可以根据实时负载需求开启合适的 工作模块个数，保证在全负载范围和机房全生命周期都可实现高效率。而不像传统的 UPS 方案 在机房建成初期设备上架率较低时候效率很差。 高压直流系统的一个非常明显的优点是不但自身可实现成熟的电池管理，而且还有智能休眠 节能功能，其原因仍是电池直挂母线。由于电池直挂母线，那么瞬时的负载冲击可以通过电池放 电来做缓冲，休眠退出过程中电池放电，然后设备退出休眠后再正常带载，因此不会拉垮系统； 而传统的模块化 UPS 方案若启动休眠，由于电池挂接在逆变环节之前，则可能无法及时退出休 眠导致整个系统宕机掉电。 空载下高压直流系统启动节能休眠后功耗很低只有几百瓦，日耗电 6 度，而传统的 UPS 空 载日耗电 160 度，低载下节能非常明显。并且最新的高压直流系统休眠控制策略还具有同步老化 以及定时唤醒功能 ,保证整个系统的各个整流模块同步老化 , 并提高系统的可靠性。
- 5. 下表为国内某运营商的实际运行数据，我们可以看到节能和节省投资非常明显。 3、关于高压直流系统的可靠性。前面我们已经知道高压直流系统内是 N+1 的配置方式，那 么即便坏了一个整流模块，对系统的可靠性几乎没有影响。而且电池作为另外一个备份单元，也 可给运维人员提供充足的割接改造等腾挪时间。 下图比较了传统 UPS 单机和 240V 高压直流拓扑结构，从结构上看，高压直流系统和传统 48V 通信电源系统差异很少，只是电压更高些，整体结构非常清爽，非常简单。即便整流环节出 了故障，还有电池直挂母线继续保障系统供电。反观 UPS 方案，由于涉及静态旁路、整流环节、 逆变环节、以及输出静态开关，甚至输出升压变压器等，越复杂的系统，出故障的概率就要增加， 因此整体可靠性较 240V 高压直流方案要低很多。
- 6. 4、关于高压直流的安全性。很多同行一听到高压直流，都觉得非常恐怖，似乎高压则安全 性差，直流则无法脱开，那么是否是这样呢？我们下面来分析这个问题。 高压直流系统和传统的 UPS 方案不一样，采用的是正负极输出浮地方式，不像 48V 通信电 源系统采用正极接地方式，也不像传统 UPS 采用中线接地方式。由于整流模块内部输出安规电 容的原因，实际高压直流系统正负极到大地的电压都是 135V 左右（240V 的高压直流系统额定 电压为 240V，但默认电压为 270V，好比 48V 电源系统的默认电压为 54V 一样，两者是 5 倍的 关系），根据人体正常电阻约为 6300 ohms 左右，那么误碰到其中一极的 135V 直流估算下来的 电流不足以对人体造成伤害的，况且通常我们还穿鞋等，因此实际即便误碰到任何一根母排，人 体是几乎没有感觉的（非专业人士勿试，也强烈不建议模仿），如下图单手触摸母排照片所示。
- 7. 如果正负母排的任何一级接地了 输出接地，则会导致设备掉电 电感觉，但根据理论估算，同样不会对人体有较大伤害 实际设计中为了避免此意外发生 题时候提早预防并定位故障点 反观传统的 UPS 系统，从下面的表格可以知道其实人体对交流的耐受能力远远低于直流 其可能原因是人体心脏的心跳频率和交流 更容易引起心室震颤（共振原理 1、单机供电方案 从前面的分析上看，我们知道高压直流系统的单机可靠性要远高于 为高压直流设备内部的 N+1 的模块化设计 可靠性，但毕竟是单路系统， A、B 路给双电源服务器供电 掉电。这种结构的一个不足是 如果正负母排的任何一级接地了，虽不会造成系统掉电（而传统 UPS 方案 则会导致设备掉电），此时若误碰到另外一极，则 270V 直流可能会让操作人员有触 同样不会对人体有较大伤害（再次强烈不建议拿自己安全做测试 为了避免此意外发生，通常要求高压直流系统配置绝缘监测仪，以便出现系统绝缘问 题时候提早预防并定位故障点。 从下面的表格可以知道其实人体对交流的耐受能力远远低于直流 其可能原因是人体心脏的心跳频率和交流 50Hz 或者 60Hz 的工频较为接近，那么交流触电时候 共振原理？待考证），导致生命危险。因此 240V 高压直流其实挺安全 我们知道高压直流系统的单机可靠性要远高于 UPS 单机的可靠性 的模块化设计，以及有电池直挂母线作为备份。虽然可以有较高的 ，那么可以采取下图的双路供电配电结构，采用来自同一电源系统的 路给双电源服务器供电，虽然是假双路供电，但任何一路跳闸，另外一路仍可保证设备不 这种结构的一个不足是单电源设备的可靠性还不是非常高。 方案，任何一相火线 直流可能会让操作人员有触 再次强烈不建议拿自己安全做测试）。 以便出现系统绝缘问 从下面的表格可以知道其实人体对交流的耐受能力远远低于直流， 那么交流触电时候 高压直流其实挺安全。 单机的可靠性，因 虽然可以有较高的 采用来自同一电源系统的 另外一路仍可保证设备不
- 8. 2、双系统双路供电配电结构 对于一些要求超高可靠性的系统，可以采用双系统双路供电配电结构来供电，这种配置方式 下可靠性非常高，不仅实现了 2*(N+1)配置，还有两路电池直接挂在母线上，达到了运营商骨干 网的可靠性等级。这种方式可靠性问题是解决了，但不足之处是投资成本会加大。其实很多情况 下，业务的可靠性无需这么高，因此是否有新的拓扑结构来实现低成本且高可靠呢？ 3、一路市电一路高压直流方案 我们这里创新性得提出如下的一路市电加一路 240V 高压直流的供电方案，既可以实现低成 本，还能实现高可靠，非常值得推广。当然这个拓扑涉及三个问题，一个是市电直接给设备供电， 是否会造成设备损坏或者掉电？第二个是直接将 240V 高压直流给设备供电，设备是否支持？第 三个是市电直接给设备供电，以及高压直流的引入是否会引起谐波问题？
- 9. 关于第一个问题，我们知道身边就有无以计数的电子设备等跑在市电电网下，正常情况下极 少出现问题，那么对于性能以及可靠性要求更高的 IT 设备电源，也是基本没问题的。况且对于 双电源设备，即便市电供电的这个电源因电网原因出现异常，270V 供电的另外一个电源仍能保 证系统可靠工作不掉电。当然为了保证整体系统的可靠性，市电直供输入的防雷接地等工作要做 好。那么第二个问题，其实前面已经介绍过了，普通 IT 设备的电源绝大多数都是支持 240V 高 压直流的（同样可参考拙作《交流电源的高压直流直供可行性分析》），除了极少数电源内部增 加了频率检测等机制（完全可以通过升级软件屏蔽此功能等办法来解决），那么在前期在设备上 架前做好高压直流适应性测试即可。当然少量的单电源设备可以从高压直流支路取电，仍可实现 较高可靠性。第三个关于谐波的问题，我们知道传统的 UPS 采用的是晶闸管不控整流技术，不 管是 6 脉冲还是 12 脉冲，单靠 UPS 设备是无法达到很低的电流谐波的，那么高的谐波电流不仅 影响运行可靠性，造成能源浪费的同时还可能被电网公司罚钱，而高压直流技术则没有此问题。 原因是高压直流设备采用成熟的功率因数校正技术，功率因数很高且谐波很小基本可以达到 A 类机房的要求，无须再配置额外的谐波治理设备。同样现在的 IT 设备采用的高频开关电源，且 谐波也很小，因此市电直供部分也无须谐波治理，配电结构非常简单。 继续分析这个拓扑结构的可靠性，从前面的 UPS 单机可靠性以及高压直流单机可靠性数据 来比较这种拓扑结构和 2N 配置的 UPS（市电可靠性按 99.86%来算，目前大多数数据中心所在 城市的电网可靠性基本都可达到此值）。根据计算可以得到如下可靠性： 2N UPS 可靠性：1-（1-0.99999)*(1-0.99999) 10 个 9 一路市电一路高压直流可靠性：1-（1-0.9986)*(1-0.9999999) 10 个 9 我们发现一路市电一路高压直流方案的可靠性和 2N 的 UPS 配置差别不大，基本是一个量 级的。那么鉴于此这种方式可以省去一路 UPS 的投资，而且省去那一路的 UPS 带来的电费也相 应可以省掉， 意味着可以带来 capex 和 opex 的大大节省，下面我们再来好好算这笔帐： 假定一个大型数据中心有 10 万台服务器，每台服务器按 200W 功耗计算，在相同的可靠性 下计算。 先来算 capex： 传统 2N UPS 方案，按单机 800KVA 的 UPS 来算（若按 400KVA 系统算，会省钱更多）， 每台含电池 120W 算，需要投资 120W*2*10 万*0.2KW/(800KVA*0.9*0.8)=8330W; 一路市电一路高压直流方案，按单机 140KW 的高压直流系统，每台含电池 30W，需要投资 30W*1*10W*0.2KW/（140KW*0.85）=5042W。
- 10. 节约投资 3288W，这里暂且还没考虑 2N UPS 方案下需要低配、旁路、隔离变压器、谐波治 理、STS 等等配电环节的额外投资，因此总体算下来，capex 方面可以减少投资 5000W 以上。 而且这里计算的高压直流价格偏高，随着高压直流技术的成熟，未来价格有很大的下降空间。 另外补充一点，由于高压直流输出电压范围很宽，那么相应的电池放电电压也宽，因此可以比 UPS 配置更少的电池。此外功率因数高谐波小，柴发的容量也可以少配置很多，总体成本低。 最后高压直流系统可以以列头柜方式放置在机房中，无须再配置 UPS 电力室，因此可以减少机 房辅助区域的面积，提升机房的空间利用率，获得更多投资回报。 再来算 opex； 由于一路市电加一路高压直流方案，市电支路上几乎 100%利用率没有损耗，而高压直流支 路上由于有节能休眠功能，可在任何负载下都可达到 93%以上的效率，那么综合效率可以达到 96%以上，而 2N 的 UPS 方案我们仍按实际效率 90%来算，因此前者至少节能 6%。 同样以 10W 台服务器规模，每台服务器 200W 功耗，按 PUE 为 1.7 及典型峰平谷电价下来 为 7 毛钱来算，那么年节省电费：10W*0.2KW*1.7*8760 小时*0.7 元*6%=1251W 综上所述，采用一路市电加一路高压直流方案，可节省投资 5000 万，且每年节省电费 1250W， 非常可观，而且高压直流的运维非常简单，大大减少一线人员的工作量。 随着数据中心技术的发展以及降低运营成本和节能减排的需求，高压直流技术不管是在节能、 投资成本、可靠性以及运维便捷性等方面较传统的 UPS 都有明显优势，随着高压直流供电方案 在大型的互联网数据中心等场合的越来越广泛应用，将逐步成为未来数据中心供电的趋势。