设为首页 联系我们 友情链接 网站导航 知识窗
中央空调 家用空调 空调末端 特种空调 运输空调 冷冻冷藏 热泵热水机 水/地源热泵 蒸发冷却空调 压缩机 热交换器 配件及原料 智能控制 空气净化
您所在位置:首页  > 技术

数据中心冷却技术的发展与演进

发表日期:2021/2/8 10:12:27 来源:《制冷与空调》 评论 总点击量:

随着中国数字化进程的加快和5G技术的商用,数据中心呈现蓬勃发展趋势。从云计算、雾计算到边缘计算,互联网技术日新月异,冷却技术随着数据中心的发展与时俱进。近几年来,关于数据中心冷却技术的研究成果开始逐渐见诸于期刊。高彩凤等以某典型数据机房为研究对象,对其热环境进行了现场实测和CFD模拟,认为封闭冷通道能够更有效地提高机房空调冷量利用效率。孙大康等通过试验和数值模拟分析不同功率、开放通道和封闭通道情况下,地板高度对数据中心地板下送风特性及制冷效率的影响。易伶俐对比了上送风、地板下送风和列间空调送风的优势和劣势,并提出了数据中心空调设计的要点。赖柏年等以数据中心空调水系统的机房空调末端为研究对象,结合实际工程对传统下送风机房专用空调和3种新型末端进行了不同机房功耗下的CFD模拟分析,并与实测的机房热环境数据进行了对比。王振英等针对我国不同气候区的气候特点,以某中等规模数据中心为例,量化给出了季节性和区域性气候差异对数据中心制冷系统能效的影响,分析了风冷式和水冷式系统在不同气候区的应用优势。王克勇等认为在大型数据中心机房采用水冷式冷冻水空调系统已经成为一种趋势,分析了3种典型的水冷式冷冻水空调系统的优缺点。张海南等认为:热管式自然冷却与空气侧自然冷却相比,不影响室内空气质量和湿度;与水侧自然冷却相比,由于内部为相变传热,传热效果及自然冷源利用率更高。王飞从机房空调的设备层面介绍了自然冷却技术的应用现状,对比了重力型热管系统、动力型热管系统以及变频型热管系统的应用场景。杨硕通过构建节能模型,对比分析了冷冻水型空调、风冷空调加装热管模块前后的节能情况,并探讨了热管技术在数据中心应用的可行性。王泽青利用建筑能耗模拟软件,模拟了中国大陆地区数据中心3种典型气候地区的3种自然冷却模式下的空调能耗并进行了对比分析,给出了水侧自然冷却地理位置的分界线。刘海潮等针对水、空气、制冷剂等分别作为间接蒸发冷却过程的冷却介质及产出介质做了相关研究,认为将冷却介质、工作介质与产出介质多级组合,充分采用其他自然冷源,可使间接蒸发冷却技术得到广泛应用。耿志超等提出了间接蒸发冷却空调技术的几种形式,并对其在数据中心的应用形式进行了分析。傅烈虎等介绍了Facebook在美国俄勒冈州的数据中心的空气侧全新风自然冷却方案,并对该方案进行了气流组织仿真分析。在本文中,笔者主要介绍数据中心冷却技术的发展与演进,旨在帮助读者了解数据中心冷却技术的发展,从而对冷却技术有一个全面而深刻的认识。

1  数据中心的冷却对象

数据中心是进行数据计算、存储和交换的场所,它不仅包含大量的存储器、交换机、服务器等电子信息设备,还包含大量的配电柜、不间断电源、蓄电池、精密空调、冷水机组、水泵等动力设备。数据中心的冷却对象主要是电子信息设备,这些设备以高耗电量高热量而著称,并且以显热为主要表现形式,同时这些设备要求环境的温湿度波动范围小。传统建筑行业民用空调的特点是显热比低,温湿度控制精度差,难以直接在数据中心应用,数据中心必须采用专用的精密空调。究其根本原因是空调服务的冷却对象不同,前者为人服务,提供舒适性环境;后者为电子信息设备服务,提供设备安全稳定运行的温湿度环境。两者本质都是必须结合冷却对象的特性为其提供相应的运行环境。

2  数据中心的环境要求

数据中心的环境要求是随着电子信息设备的技术发展而逐渐演进的。摩尔定律表明,电子信息设备内的集成电路芯片上所集成的电路的数目,每隔18个月就翻一番。这意味着电子信息设备的集成度越来越高,单位体积内的耗电量越来越大。因此,电子信息设备对其工作的环境要求也是随着技术的发展而不断变化。

ASHRAE TC9.9委员会先后对《数据处理设备热指南》进行了4次官方发布,最初发布是2004年版的,在2008年发布的版本中扩大了温湿度的建议范围,如表1所示。电子信息设备内元器件主要为中央处理器、存储器和硬盘等,虽然这些元器件正常运行的温湿度范围各不相同,但是对于整个电子信息设备而言,其正常运行环境以所有设备的最不利工况为基本要求。从温度的角度分析,温度过低会造成过度冷却,不仅增加了冷却设备的能耗,而且容易产生凝露,造成元器件腐蚀或短路;温度过高会造成电子设备过热而发生运行故障的概率增大。从湿度的角度分析,湿度过低容易产生静电,湿度过高会产生凝露,这些现象都会给元器件造成损坏。随着材料科学的发展和生产制造工艺的进步,电子信息设备最不利的工作环境要求逐渐得以改善。当前主流厂家的电子信息设备均能够在进风温度18~27 ℃下良好运行。正是基于电子信息设备自身运行环境日渐宽松,其本身耐热耐燥能力逐渐增强,因此,当前主流厂家的电子信息设备均能够在进风温度18~27 ℃下良好运行。

表1  ASHRAE TC9.9数据中心温湿度的建议范围

ASHRAE TC9.9委员会在2011年发布《数据处理设备热指南》第3版,相比2008版更新了服务器进风温度的分级等级,将2008版的数据中心温湿度范围(分为1级和2级)调整为2011版的A1,A2,A3和A4四个等级,如表2所示。2011版分级的温湿度推荐范围与2008年版保持一致,温湿度允许范围有些变化,如表3所示。

表2  ASHRAE TC9.9的2008版和2011版数据中心环境分级

表3  ASHRAE TC9.9(2011版)数据中心温湿度推荐范围和允许范围

2011版《数据处理设备热指南》的温湿度建议范围在焓-湿图上的温湿度包络区域如图1所示,最里面的包络区域为ASHRAE TC9.9委员会推荐的温湿度区域,其他包络区域由内向外逐步扩大,依次分别为A1,A2,A3和A4四个等级区域。任何空气调节方式都要将温湿度区域范围外的空气状态通过空气调节手段处理到ASHRAE TC9.9推荐的温湿度区域范围内,如果某地区的室外空气状态本身就处于ASHRAE TC9.9委员会建议的温湿度区域,并且这种状态占全年的时间很长,那么在该地区就有应用自然冷却技术的可能。

图1  ASHRAE TC9.9(2011版)温湿度建议范围在焓-湿图上的表示

ASHRAE TC9.9委员会在2015年发布了《数据处理设备热指南》第4版,数据中心温湿度建议范围如表4所示。相比2011版,变化主要在于统一了A1,A2,A3和A4等级的温湿度推荐范围的湿度下限,如图2所示。这意味着将来对数据中心的加湿要求有所降低,数据中心可以容忍的最低相对湿度为8%,数据中心几乎不用加湿。这个变化会直接影响今后机房精密空调的研发设计与加工生产,并且为节能提供了一定空间。

表4  ASHRAE TC9.9(2015版)数据中心温湿度推荐范围和允许范围

图2  ASHRAE TC9.9 的2011版和2015版数据中心温湿度推荐范围的比较


3  常见的气流组织形式

3.1  电子信息设备的气流组织

电子信息设备的气流组织形式主要3种,如图3所示。F-R形式是当前电子信息设备的主流气流组织,是服务器等设备的典型进出风方式,服务器的这种进出风方式也是目前最易对服务器进行冷却的一种气流组织,且常见于冷或热通道封闭的方案中;F-T形式和F-T/R形式是传输设备(比如交换器等)的典型进出风方式,特别是后者一般常见于运营商的传输机房,并且该气流组织不易进行冷却方案的实施,容易造成冷热气流混合。如前文所述,电子信息设备的主流气流组织形式为前进风-后出风方式,因此,电子信息设备的主流冷却方案是基于该方式设计的。常见的电子信息设备冷却方案(这里不讨论芯片级液冷,因为其还未成主流)包括机柜级主动式冷却(图4)、机柜级被动式冷却方案(图5)、行级冷却方案(图6)。

图3  电子信息设备的气流组织

图4  机柜级主动式冷却方案

图5  机柜级被动式冷却方案

图6  行级冷却方案

机柜级主动式冷却方案就是业内常说的水冷机柜,可以近似认为是一个“冰柜”,将IT设备直接放在水冷机柜内进行冷却,一般常见于超级计算机中心这类高性能计算场所,其冷却介质一般是水。

机柜级被动式冷却方案是近几年中国移动主推的冷却方案,业内称之为水冷背板或热管背板,其冷却介质既可以是水,也可以是制冷剂。之所以称为被动式冷却,原因是冷却单元只有换热盘管,没有风机,完全依赖服务器自身的风机提供风压。

行级冷却方案是目前行业客户和运营商常用的方案。它采用封闭通道的方式,一般情况下是封闭冷通道形成冷池,对整列服务器机柜进行封闭式集中冷却,并且很多运营商在当前节能减排的背景下,纷纷采用这种方案对老旧机房进行节能改造,以达到降低机房PUE的目的。

3.2  数据中心机房级气流组织

数据中心机房级气流组织形式是与数据中心行业的发展密不可分的。在数据中心发展的早期,大部分是运营商的数据中心,并且电子信息设备的发热量都不大,导致每个42U机柜的整体功率密度都不高,一般都在2千瓦/机柜以下。因此,最早的气流组织形式就是如图7所示的风帽送风方式,现在很多老旧的运营商机房里还能见到这种传统的送风方式,其实还是摆脱不了民用空调气流组织方式的影子。这种风帽送风的气流组织形式提供的送风距离较短,一般在机外余压200 Pa的情况下,送风距离为15 m。

图7  风帽送风方式

随着信息技术的发展,电子信息设备的集成度越来越高,发热量越来越大,导致单机柜功率密度达到3~5 kW。如果继续采用风帽送风方式,就会导致数据中心出现局部热点。因此,如图8所示的地板下送风方式应运而生,并且在相当长的一段时间内成为气流组织的主流形式,直到现在这种方式在数据中心依然随处可见。地板下既是送风静压箱,也是线缆布放空间。当采用地板下送风且地板下同时布防线缆时,地板下静压箱高度不宜低于500 mm,数据中心的层高不宜低于3 000 mm。

图8  地板下送风方式

当电子信息设备的功率密度进一步提高后,即使采用地板下送风也会产生局部热点。需要对数据中心局部过热的机柜进行精确送风冷却。图9所示的风管送风方式是最直接的精确送风方式之一。风管送风方式送风距离远,并且对过热设备定点精确冷却,很好地解决了局部热点问题。但是,风管送风要求精密空调的机外余压足够大,以保证足够的送风距离和风量。另外,这种气流组织形式对风管的设计和施工工艺要求较高。

图9  风管送风方式

当前数据中心的单机柜功率密度一般设计在5~10 kW之间。如此高的散热量除了采用封闭通道方式对机柜列进行冷却,还需要对机柜就近送风冷却。图10所示的水平送风方式是这一方案的典型代表。将精密空调直接部署在机柜列间,最短距离的靠近冷却对象,从而对机柜就近送风冷却。这种气流组织的好处是便于机柜和精密空调以模块方式部署,使得数据中心的业务与投资根据实际需求按需扩展和平滑过渡。

图10  水平送风方式

还有2种就近送风的气流组织形式,分别是图11所示的通道顶部送风方式和图12所示的机柜顶部送风方式。这2种气流组织常见于高热密度数据中心场景中,既可以作为主用的气流组织形式,也可以作为其他气流组织形式的补充,对高热密度机柜进行辅助就近送风冷却。其实这2种气流组织形式最符合冷气流下沉、热气流上升的热力学原理,但其缺点是在工程实施上不容易进行通道封闭。如果不对通道进行封闭,就会出现图13所示的环流现象和图14所示的旁流现象。这2种恶劣的气流现象都会造成气流组织混乱,出现冷热气流混合,导致冷量流失和浪费。常见的评价数据中心气流组织的指标有机架冷却指数(RCI)、回风温度指数(RTI)、供热指数(SHI)和回热指数(RHI)。

图11  通道顶部送风方式

图12  机柜顶部送风方式

图13  环流现象

图14  旁流现象


4  从风冷式冷却方案到水冷式冷却方案的转变

根据冷却介质的不同,数据中心机房级冷却方案可分为2类:仅有制冷剂循环的风冷式精密空调方案和既有制冷剂循环又有载冷剂循环的水冷式冷水机组方案。在数据中心发展的早期,由于其规模不大(单个数据机房内机柜数量不大于1 000台),且单机柜功率密度也不高(数据机房整体功率一般不超过2 000 kW),一般以风冷式精密空调方案为主。但随着数据中心的数据量日益呈爆炸式增长(根据《国务院关于加快培育和发展战略性新兴产业的决定》(国发〔2010〕32号):数据中心机架数量在3 000~10 000台的大型和超大型数据中心),其业务规模越来越大,单机柜功率密度也越来越大,风冷式精密空调方案已经满足不了规模化增长的需求,也无法冷却越来越高的单机柜发热量。因此,在大型数据中心中水冷式冷水机组方案逐渐成为主流,如图15所示。虽然民用建筑行业业已使用水冷式冷水机组方案,但因为其冷却对象的差异,造成冷水机组的运行工况不同。在数据中心领域,一般使用高温冷水机组或双工况冷水机组,一方面满足数据中心高显热比的要求,另一方面提高冷冻水的供回水温度可以提高冷水机组能效,达到节能降耗的目的。在不同的换热或制冷环节,有不同的冷却方案和制冷方案,常见的数据中心冷却方案如表5所示。

图15  典型的水冷式冷水机组方案

表5  常见的数据中心冷却方案

过去很多年以来,数据中心内水不进机房成了一条不成文的规定。但随着数据中心功率密度越来越高,规模越来越大,风冷式冷却方案已经难以满足数据中心的散热需求,在这一大环境下水冷式冷却方案开始逐渐登上了舞台。如表6所示,数据中心的单机柜功率密度每5年几乎以15%~20%的增速在提高,发热量越来越大,最高的单机柜功率密度已经达到50 kW,超过了风冷式冷却方案的冷却极限。广州超算中心定制的超级计算机单机柜功率密度高达80 kW,采用的就是水冷式冷却方案。

数据中心的冷却方案从风冷式转为水冷式,除了功率密度的提高和规模效益,还有节能减排在驱动这种转变。水的比热容是空气的4倍多,单位流量的水比空气要携带更多的热量或冷量;另外,水的密度是空气的800倍多,携带相同的热量或冷量时水比空气需要更小的流量,意味着可以使用更小的管径,而且耗电量能够降低。从表7可以看出,传递10 Rt的热量或冷量,风冷式冷却方案的耗电量比水冷式冷却方案多出14倍。

表6  服务器功率密度发展趋势

表7  风冷式冷却方案与水冷式冷却方案对比

5  自然冷却技术的应用

自然冷却技术本不是新鲜事物,在工业大厂房内的置换通风技术本质上也是自然冷却技术的应用,只不过工业厂房不仅关注温度湿度,还关注空气洁净度及换气次数,以保障人员健康要求。数据中心自然冷却技术的兴起源自国家政策对新建机房低PUE的要求。2013年,工信部、发改委、国土部、电监会和能源局联合发布《关于数据中心建设布局的指导意见》,明确提出将数据中心从市场需求和环境友好角度出发,分类型引导建设的指导要求:新建数据中心PUE要求低于1.5;老旧数据中心经改造后PUE要求低于2.0。在国家政策号召下,自然冷却技术成为节能减排降低PUE主要的有效手段。根据数据中心冷却方案的不同,自然冷却技术分为风侧自然冷却技术和水侧自然冷却技术。

5.1  风侧自然冷却技术

当室外温度达到ASHRAE TC9.9(2015版)《数据处理设备热指南》要求时,室外空气经过处理后直接送入室内,从而利用室外自然冷源,这是风侧直接自然冷却技术,如图16所示。由于整个送风过程中间没有换热环节,因此它是自然冷却技术中效率最高、全年自然冷却时间最长的方案。但是在某些地区,由于空气污染比较严重,而数据中心机房对空气洁净度要求较高,一般要求达到ISO 8级或MEVR 13,因此必须对直接引入的新风进行除硫、除尘和过滤净化。另外,直接引入新风会引入新的湿负荷,还需要对新风的湿度进行控制。鉴于上述原因,尽管风侧直接自然冷却的效率高,但其运维成本也很高,在数据中心的实际工程项目中极少采用风侧直接自然冷却方案。

图16  风侧直接自然冷却示例

将室外空气(或进行喷水降温处理后)通过热交换器与机房内空气换热,使室内温度达到ASHRAE TC9.9(2015版)《数据处理设备热指南》要求,从而达到利用室外冷源的目的,这就是风侧间接自然冷却技术,如图17所示。与风侧直接自然冷却相比,它仅需要采用室外新风维持室内正压,从而保证室内相对稳定的湿度和洁净度。风侧直接自然冷却会发生室内和室外空气的热质交换;风侧间接自然冷却使得室内和室外空气只发生热交换,没有质交换。

图17  风侧间接自然冷却示例

5.2  水侧自然冷却技术

水侧自然冷却技术分为水侧直接自然冷却技术和水侧间接自然冷却技术。水侧直接自然冷却如图18所示。在夏季,开启冷水机组正常运行模式,为传统机械式制冷方案,如图18(a)所示。在冬季,关闭冷水机组,将冷却水作为冷冻水使用直接导入空调末端设备,从而实现自然冷却,如图18(b)所示。这种方案的优点是,自然冷却时直接使用冷却水,可以最大化地使用自然冷源;其缺点是对水质要求很高,若水质得不到保证,冷却水进入空调末端设备长期运行会造成盘管脏堵,致使换热性能降低甚至影响设备正常运行。

图18  水侧直接自然冷却技术示意图

水侧间接自然冷却如图19所示,其基本原理是在冷却塔与冷水机组之间增加一个板式换热器。在夏季,开启冷水机组正常运行模式,板式换热器停止使用,此为传统机械式制冷方案,如图19(a)所示。在冬季,关闭冷水机组,冷却塔中的冷却水与空调末端设备中的冷冻水通过板式换热器进行换热,从而实现自然冷却,如图19(b)所示。这种方案的优点是,实现了冷却水与冷冻水的物理隔离,保护了空调末端设备,也保证了供冷的可靠性;其缺点是增加了板式换热器这个换热环节,使得相比直接自然冷却全年可进行自然冷却的时长缩短。

图19  水侧间接自然冷却技术示意图

6  定制化的冷却技术

ASHRAE TC9.9要求的数据中心温湿度包络区如图20所示。室外空气的状态点落在包络区内表明在此种情况下有自然冷却的可能性,还需要结合具体状态的时长进行经济性分析,从而判定自然冷却的可行性。因此,结合地理气象条件和建筑特点,空气调节技术是开源的和定制化的,不受限于某一单一的冷却技术,而是多种冷却技术创新的结合体,可以是冷却,也可以是蒸发,还可以是冷凝,甚至还有加热。

图20  焓-湿图包络区(依据ASHRAE TC9.9《数据处理设备热指南》2004版绘制)

绿色网格组织结合中国的地理气象数据,绘制了中国的自然冷却地图。它指出了自然冷却技术应用的地理位置及在满足干球温度≤27 ℃和露点温度≤15 ℃状态下自然冷却的相应时长。为各种自然冷却技术应用的可行性提供了地理位置参考。

自然冷却技术方案的工程应用对现场施工工艺要求高。但随着近年来数据中心工厂制造的兴起,出现了一些将工程产品化的自然冷却设备。其中以风侧自然冷却为典型代表,这种风侧自然冷却设备有多种安装方式,可以侧墙安装,如图21(a)所示;也可以屋顶安装,如图21(b)所示。

图21  风侧自然冷却设备安装示意图

目前主流的风侧自然冷却方案均是以间接冷却为主,且有3种冷却技术依据室外工况的变化联合工作:在不会发生潜热交换的室外工况下为间接蒸发冷却模式;在发生潜热交换的室外工况下为间接新风自然冷却;在其他情况下以机械式制冷作为补充。

7  结论与展望

数据中心的冷却对象为电子信息设备。不同的冷却方案对应不同的气流组织形式,其共同目的是保证电子信息设备的进风要求达到等级要求。随着数据中心的大规模扩张和单机柜功率密度的增大,水冷式冷却方案的规模效应和节能优势得以凸显。无论风侧自然冷却技术还是水侧自然冷却技术都是利用大自然这个物理环境的冷源,直接自然冷却和间接自然冷却各有优缺点,要因地制宜地应用。结合地理气象条件和建筑特点,有多种冷却技术可以联合应用。

数据中心冷却技术的创新会催生一些工程产品化的冷却设备,从而减少现场的工程难度,未来不再是单一冷却技术的应用,而是多种冷却技术扬长避短结合应用。无论冷却技术如何发展和演进,它始终离不开电子信息设备对数据中心热环境的要求。随着高温服务器等电子信息设备的出现,可以预见更加节能和定制化的自然冷却方案将会成为数据中心主要的冷却方案。




本文选自《制冷与空调》2020年12月刊7-16页;作者:傅烈虎;未经许可,不得转载


发表评论: 共有 访客发表了评论

验证码: 看不清楚?

    精彩内容推荐

    • 2020制冷空调系统节能节水技术交流会顺利举办

      由中国制冷空调工业协会主办,中国通用机械工业协会泵业分会提供支持,上海凯泉泵业(集团)有限公司协办的2020制冷空调系统节能节水技术交流会于10月23日上午在温州举办。来自设备制造商、终端用户、科研设计单位、运维服务领域的专家和代表共计400余人齐聚一堂,对制冷空调系…

    • 关于印发冷链食品生产经营新冠病毒防控技术指南和冷链食品生产经营过程新冠病毒防控消毒技术指南的通知

      关于印发冷链食品生产经营新冠病毒防控技术指南和冷链食品生产经营过程新冠病毒防控消毒技术指南的通知联防联控机制综发〔2020〕245号各省、自治区、直辖市及新疆生产建设兵团应对新冠肺炎疫情联防联控机制(领导小组、指挥部):为贯彻落实“外防输入、内防反弹”疫情防控策略…

    • 2020年中国国际保护臭氧层日纪念大会在线召开

      9月16日,生态环境部召开2020年中国国际保护臭氧层日纪念大会,主题为“加强蒙约履约监督管理,建设履约长效机制”。生态环境部副部长赵英民出席会议并讲话。会议指出,今年是《保护臭氧层维也纳公约》(以下简称公约)缔结35周年。三十多年来,中国认真履行公约和《关于消耗臭…

    排行榜

    一周 | 一月

    精彩专题更多

    • 中国制冷能效项目

    • 《制冷与空调》杂志所刊登的部分标准解读文章一览

    • 2020年全国制冷空调行业年会系列会议

    • 第三届进博会制冷空调行业企业展示

    • 制冷空调行业部分上市公司2020年三季度报盘点

    • 制冷空调行业部分上市公司2020年半年报盘点

    • 2020年全国行业职业技能竞赛——全国智能楼宇及空调系统职业技能竞赛

    • 制冷空调行业部分上市公司2019年年报盘点

    • 制冷空调行业部分上市公司2019年半年报一览

    • 第十三届中国制冷空调行业大学生科技竞赛

    • 制冷空调行业部分上市公司2018年年报盘点

    • 臭氧气候技术路演及工业圆桌会议

    • 保护臭氧层与温室气体减排

    • 改革开放40年制冷空调企业展示

    • 制冷空调行业部分上市公司2018年三季度报集锦

    • 制冷空调行业部分上市公司2018年中报集锦

    • 2018年中国技能大赛——全国机械行业职业技能竞赛制冷工(制冷与空调)赛项

    • 第十二届中国制冷空调行业大学生科技竞赛

    • 20号令变身94号令,关于质疑投诉的要点

    • 详解《中华人民共和国标准化法》

    • 制冷空调行业部分上市公司2017年三季报集锦

    • 全国各地政府采购评审专家劳务报酬标准汇总

    • 第十一届中国制冷空调行业大学生科技竞赛

    • 2017“2+26”城市“煤改清洁能源”补贴政策一览

    • 您需要知道的几个要点

    • 2017北京“煤改清洁能源”招标陆续启动

    • 关注热泵采暖

    • 中央空调政府采购二三事儿

    • 冷冻冷藏

    • 汽车空调

    Top