雷婷 李謙 張凱

中興通訊股份有限公司

0 引言

近年來，隨著5G、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)的興起，各行各業(yè)數(shù)字化轉(zhuǎn)型已經(jīng)成為必經(jīng)之路，20年前數(shù)據(jù)的增長速度大約只有每天100GB，而今，數(shù)據(jù)的增長速率已達(dá)到每秒約5TB，IT算力持續(xù)演進(jìn)，CPU和服務(wù)器功率持續(xù)提升，伴隨AI應(yīng)用的需求增長，AI算力比重進(jìn)一步提升。為平衡效率和成本，作為信息處理、存儲、發(fā)布等核心設(shè)施的數(shù)據(jù)中心，其傳統(tǒng)的規(guī)劃、設(shè)計(jì)、建造、運(yùn)維等全生命周期過程越來越不能適應(yīng)飛速發(fā)展的業(yè)務(wù)需求的變化特點(diǎn)。

隨著數(shù)據(jù)呈井噴式增長、IT算力持續(xù)演進(jìn)，服務(wù)器功耗大大增加，服務(wù)器性能的提升使其功耗在近十年來增加約15倍，相應(yīng)地，數(shù)據(jù)中心的服務(wù)器機(jī)架的供電功率提高了10倍以上：傳統(tǒng)數(shù)據(jù)中心的一個(gè)服務(wù)器機(jī)架功耗為3～5kW，現(xiàn)在高達(dá)6～30kW。在規(guī)模和效率的雙重驅(qū)動(dòng)下，未來單柜功率密度將進(jìn)一步提升，如何構(gòu)建高密可用的數(shù)據(jù)中心已經(jīng)成為全球各大數(shù)據(jù)中心運(yùn)營方、建設(shè)方研究突破的技術(shù)方向。

業(yè)內(nèi)認(rèn)為液冷可解決超高功率密度數(shù)據(jù)中心制冷問題，但液冷技術(shù)產(chǎn)業(yè)鏈尚未成熟，對機(jī)房建設(shè)運(yùn)營方式改變較大，對于8～20kW高功率密度機(jī)房如何解決制冷問題？本文研究了HMDC（High-Density Modular Data Center，高密模塊化數(shù)據(jù)中心）方案，該方案設(shè)計(jì)經(jīng)過3代產(chǎn)品更新迭代，最高可支持單機(jī)柜20kW數(shù)據(jù)中心，能解決絕大部分高功率密度機(jī)房制冷問題。

1 第一代中功率密度HMDC

傳統(tǒng)數(shù)據(jù)中心通常采用精密空調(diào)地板下送風(fēng)方式進(jìn)行制冷，IT機(jī)柜的功率密度通常在4～6.5kW，IT機(jī)柜的功率密度較低。HMDC第一代產(chǎn)品采用列間空調(diào)水平送風(fēng)，封閉熱通道并將冷熱通道隔離，將功率密度提升到8.8kW。

1.1 中功率密度HMDC組成

行間級空調(diào)貼近機(jī)柜水平送風(fēng)，相比房間級空調(diào)更節(jié)能且能支持更高功率密度機(jī)房，本方案擬采用業(yè)內(nèi)常規(guī)600mm寬行間空調(diào)來研究中功率密度機(jī)房制冷。以30個(gè)機(jī)柜為例，第一代中功率密度HMDC總共包含30個(gè)8.8kW機(jī)柜，IT冷負(fù)荷為8.8kW×30＝264kW，不間斷電源HVDC（含電池）冷負(fù)荷為IT冷負(fù)荷的5%，共計(jì)264kW×5%＝13.2kW，總冷負(fù)荷為264kW＋13.2kW＝277.2kW。在HMDC模塊兩端配置配電列頭柜和不間斷配電柜及電池柜，為IT機(jī)柜供電。

采用列間空調(diào)水平送風(fēng)方式進(jìn)行制冷，配置6臺顯冷量為64kW的列間空調(diào)，其中一臺為備用。

圖1 8.8kW中密度HMDC模塊布局圖

1.2 列間空調(diào)水平送風(fēng)的氣流組織

第一代中功率密度HMDC采用列間空調(diào)水平送風(fēng)方式，熱通道封閉，冷熱通道隔離。列間空調(diào)水平送風(fēng)距離在0.6～1.8米，機(jī)外余壓約20Pa；相比于傳統(tǒng)的精密空調(diào)地板下送風(fēng)的送風(fēng)距離1.5～15m，機(jī)外余壓約150Pa。因此，極大地降低了風(fēng)阻帶來的制冷量損失，同時(shí)送風(fēng)距離短及低風(fēng)壓，能夠使服務(wù)器進(jìn)風(fēng)量均勻，解決了機(jī)房局部熱點(diǎn)問題。使得單機(jī)柜功率密度可以滿足8.8kW的制冷要求。

圖2 8.8kW中功率密度HMDC模塊機(jī)房流線俯視圖

1.3 中功率密度HMDC機(jī)房仿真

1.3.1 仿真模型

機(jī)房內(nèi)共安裝3個(gè)8.8kW中密度HMDC模塊，為了驗(yàn)證列間水平送風(fēng)的制冷效果，建立仿真模型。如表1所示。

表1 8.8kW中功率密度HMDC模塊機(jī)房仿真模型設(shè)置表

1.3.2 仿真分析

截面@0.2m，冷通道最低溫度約24.3℃左右，熱通道最高溫度約38.2℃左右。

截面@1.2m，冷通道最低溫度約24.2℃左右，熱通道最高溫度約38.9℃左右。

截面@1.8m，冷通道最低溫度約24.3℃左右，熱通道最高溫度約39℃左右。

截面@機(jī)房某中間截面，冷通道最低溫度約24.9℃左右，熱通道最高溫度約39.3℃左右。

圖3 8.8kW中功率密度HMDC模塊機(jī)房截面1.8m溫度云圖

1.3.3 仿真結(jié)論

仿真結(jié)果表明：該布局方案能夠滿足微模塊及設(shè)備溫度要求。

（1） 氣流組織圖表明：微模塊機(jī)房冷熱通道隔離良好，無冷熱風(fēng)混合情況。

（2） 截面溫度云圖表明：熱通道最高溫度39℃左右，冷通道最低溫度24℃左右。

（3） 設(shè)備進(jìn)風(fēng)溫度圖表明：微模塊機(jī)房機(jī)柜進(jìn)風(fēng)溫度為24～25℃，滿足ASHARE2011進(jìn)風(fēng)不超過27℃要求。

（4） 空調(diào)運(yùn)行狀態(tài)參數(shù)表明：空調(diào)運(yùn)行在較為合理的狀態(tài)，進(jìn)出風(fēng)溫度控制合理。

空調(diào)冗余工況計(jì)算結(jié)果表明，機(jī)房側(cè)部分空調(diào)失效時(shí)，其余空調(diào)負(fù)荷依然在空調(diào)制冷能力范圍內(nèi)。

2 第二代高功率密度HMDC

為了進(jìn)一步支持更高功率密度制冷需求，研究了第二代高功率密度HMDC，該方案將行間空調(diào)水平送風(fēng)方式調(diào)整為兼容行間頂制空調(diào)OCC制冷方式，并在整體方案上做了如下優(yōu)化：

（1）對框架進(jìn)行優(yōu)化調(diào)整，框架結(jié)構(gòu)采用通用框架設(shè)計(jì)，無底座，與機(jī)柜解耦；

（2）封閉熱通道，熱通道從標(biāo)準(zhǔn)1.2m擴(kuò)展到1.8m，增加送風(fēng)截面積滿足高功率密度機(jī)柜制冷要求；

（3）采用頂置空調(diào)，利用熱氣流上升，冷氣流通過OCC頂置空調(diào)換熱后重力下降送風(fēng)，無需風(fēng)機(jī)，做到空調(diào)節(jié)能。

通過以上優(yōu)化，第二代高密度HMDC模塊進(jìn)一步將單機(jī)柜功率密度提高到13.6kW。

2.1 高功率密度HMDC構(gòu)成

以32個(gè)機(jī)柜單機(jī)柜功率密度13.6kW為例，高功率密度HMDC 的IT冷負(fù)荷為13.6kW×32＝435.2kW，不間斷電源（HVDC，含電池）冷負(fù)荷為IT冷負(fù)荷的5%，總冷負(fù)荷為

435.2kW＋21.8kW＝457kW。

在HMDC模塊兩端配置配電列頭柜和不間斷電源配電柜及電池柜，為IT機(jī)柜供電。

采用4200mm和4800mm長的OCC頂置空調(diào)方式進(jìn)行制冷，配置4臺顯冷量為95kW和2臺顯冷量為110kW的OCC頂置空調(diào)，其中一臺顯冷量110kW的OCC頂置空調(diào)作為備用。

主用顯冷量總共為488.1kW，備用顯冷量為109.2kW，占空調(diào)總顯冷量的18.3%。

2.2 OCC頂置空調(diào)的氣流組織

第二代高功率密度HMDC采用了OCC頂置空調(diào)，對框架進(jìn)行優(yōu)化調(diào)整，框架結(jié)構(gòu)采用通用框架設(shè)計(jì)，無底座，與機(jī)柜解耦。封閉熱通道，冷熱通道隔離。服務(wù)器吹出的熱氣流上升到熱通道頂部，經(jīng)過熱通道頂部兩側(cè)的OCC頂置空調(diào)換熱變成冷氣流下落至冷通道。這種氣流組織方式完全利用服務(wù)器風(fēng)扇自身的風(fēng)壓和熱氣流上升的壓力及冷氣流的重力進(jìn)行循環(huán)。由于取消了空調(diào)器的風(fēng)機(jī)，所以比第一代列間空調(diào)水平送風(fēng)的方式更加節(jié)能。由于OCC頂置空調(diào)利用了機(jī)房頂部空間，大大增加了換熱面積，熱氣流上升換熱順應(yīng)了空氣的熱力學(xué)特點(diǎn)，因此進(jìn)一步提高了IT機(jī)柜的功率密度，提高到了13.6kW。

圖5 13.6kW高功率密度HMDC模塊機(jī)房流線俯視圖

2.3 高功率密度HMDC機(jī)房仿真

2.3.1 仿真模型

機(jī)房內(nèi)共安裝3個(gè)13.6kW中密度HMDC模塊，為了驗(yàn)證OCC頂置空調(diào)的制冷效果，建立仿真模型。如表2所示。

表2 13.6kW高功率密度HMDC模塊機(jī)房仿真模型設(shè)置表

2.3.2 仿真分析

截面@0.2m，冷通道最低溫度約24.3℃左右，熱通道最高溫度約38.2℃左右。

截面@1.2m，冷通道最低溫度約24.2℃左右，熱通道最高溫度約38.6℃左右。

截面@1.8m，冷通道最低溫度約24.2℃左右，熱通道最高溫度約38.7℃左右。

截面@機(jī)房某中間截面，冷通道最低溫度約24.9℃左右，熱通道最高溫度約39.3℃左右。如圖6所示。

圖6 13.6kW高功率密度HMDC模塊機(jī)房截面1.8m溫度云圖

2.3.3 仿真結(jié)論

仿真結(jié)果表明：該布局方案能夠滿足微模塊及設(shè)備溫度要求。

（1） 氣流組織圖表明：微模塊機(jī)房冷熱通道隔離良好，無冷熱風(fēng)混合情況。

（2） 截面溫度云圖表明：熱通道最高溫度39℃左右，冷通道最低溫度24～25℃左右。

（3） 設(shè)備進(jìn)風(fēng)溫度圖表明：微模塊機(jī)房機(jī)柜進(jìn)風(fēng)溫度為24～25℃，滿足ASHRAE2011進(jìn)風(fēng)不超過27℃要求。

（4） 空調(diào)運(yùn)行狀態(tài)參數(shù)表明：空調(diào)運(yùn)行在較為合理的狀態(tài)，進(jìn)出風(fēng)溫度控制合理。

空調(diào)冗余工況計(jì)算結(jié)果表明：機(jī)房側(cè)部分空調(diào)失效時(shí)，其余空調(diào)負(fù)荷依然在空調(diào)制冷能力范圍內(nèi)。

3 第三代超高功率密度HMDC

第三代超高功率密度HMDC結(jié)合了第一代中密度和第二代高密度HMDC的技術(shù)。

由于第二代HMDC框架結(jié)構(gòu)采用通用框架設(shè)計(jì)，無底座，與機(jī)柜解耦，因此可將第一代HMDC中采用的列間空調(diào)推入到機(jī)柜列間，在OCC頂置重力送風(fēng)這種方式的基礎(chǔ)上，加入了第二代列間空調(diào)水平送風(fēng)，增加HMDC模塊的換熱面積和風(fēng)量，從而實(shí)現(xiàn)將單機(jī)柜功率密度提升到20kW的超高密度。

3.1 高功率密度HMDC構(gòu)成

高功率密度HMDC總共包含28個(gè)20kW機(jī)柜，IT冷負(fù)荷為20kW×28＝560kW，不間斷電源HVDC（含電池）冷負(fù)荷為IT冷負(fù)荷的5%，共計(jì)560kW×5%＝28kW，總冷負(fù)荷為

560kW＋28kW＝588kW。

在HMDC模塊兩端配置配電列頭柜和不間斷電源配電柜及電池柜，為IT機(jī)柜供電。

采用OCC頂置空調(diào)和列間空調(diào)進(jìn)行制冷，配置4臺顯冷量為94.7kW和2臺顯冷量為109.3kW的OCC頂置空調(diào)，其中一臺顯冷量109.2kW的OCC頂置空調(diào)作為備用。配置4臺顯冷量為64kW的列間空調(diào)，其中2臺列間空調(diào)作為備用。主用顯冷量總共為616.1kW，備用顯冷量為237.7kW，占空調(diào)總顯冷量的27.8%。如圖7所示。

圖7 20kW超高密度HMDC模塊布局圖

3.2 OCC頂置空調(diào)的氣流組織

第三代超高功率密度HMDC結(jié)合第一代中密度和第二代高密度HMDC的技術(shù)，OCC頂置空調(diào)和行間空調(diào)在三個(gè)方向上包圍式的制冷方式，增加HMDC模塊的換熱面積和風(fēng)量。如圖8所示。

圖8 20kW超高功率密度HMDC模塊機(jī)房流線俯視圖

3.3 高功率密度HMDC機(jī)房仿真

3.3.1 仿真模型

機(jī)房內(nèi)共安裝3個(gè)20kW超高密度HMDC模塊，為了驗(yàn)證OCC頂置空調(diào)＋列間空調(diào)的制冷效果，建立仿真模型。如表3所示。

表3 20kW超高功率密度HMDC模塊機(jī)房仿真模型設(shè)置表

3.3.2 仿真分析

截面@0.2m，冷通道最低溫度約24.6℃左右，熱通道最高溫度約38.9℃左右。

截面@1.2m，冷通道最低溫度約24.5℃左右，熱通道最高溫度約39.6℃左右。如圖9所示。

截面@1.8m，冷通道最低溫度約24.5℃左右，熱通道最高溫度約37.4℃左右。

截面@機(jī)房某中間截面，冷通道最低溫度約24.9℃左右，熱通道最高溫度約39.3℃左右。如圖9所示。

圖9 2 0kW超高功率密度HMDC模塊機(jī)房截面1.8m溫度云圖

3.3.3 仿真結(jié)論

仿真結(jié)果表明：該布局方案能夠滿足微模塊及設(shè)備溫度要求。

（1）氣流組織圖表明：微模塊機(jī)房冷熱通道隔離良好，無冷熱風(fēng)混合情況。

（2）截面溫度云圖表明：熱通道最高溫度39℃左右，冷通道最低溫度24～25℃左右。

（3）設(shè)備進(jìn)風(fēng)溫度圖表明：微模塊機(jī)房機(jī)柜進(jìn)風(fēng)溫度為24～25℃，滿足ASHRAE2011進(jìn)風(fēng)不超過27℃要求。

（4）空調(diào)運(yùn)行狀態(tài)參數(shù)表明：空調(diào)運(yùn)行在較為合理的狀態(tài)，進(jìn)出風(fēng)溫度控制合理。

（5）空調(diào)冗余工況計(jì)算結(jié)果表明：機(jī)房側(cè)部分空調(diào)失效時(shí)，其余空調(diào)負(fù)荷依然在空調(diào)制冷能力范圍內(nèi)。

4 結(jié)束語

該方案設(shè)計(jì)經(jīng)過3代產(chǎn)品更新迭代最高可支持單機(jī)柜20kW數(shù)據(jù)中心，解決了絕大部分高功率密度機(jī)房制冷問題。本文提出的技術(shù)方案包含如下創(chuàng)新點(diǎn)：

（1）快速靈活。通過工廠預(yù)制化的產(chǎn)品方式，框架與機(jī)柜解耦，兼容標(biāo)準(zhǔn)機(jī)柜、整機(jī)柜服務(wù)器、小型機(jī)及其他異形機(jī)柜，HMDC的交付時(shí)間可以縮短到8-12周，站點(diǎn)現(xiàn)場交付效率比傳統(tǒng)服務(wù)器上架交付的方式提升10倍以上；無底座設(shè)計(jì)，方便機(jī)柜就位，對場地要求低，普通水泥地面即可安裝；采用模塊化設(shè)計(jì)，后期可按需擴(kuò)容，降低初始投入。

（2）超高功密。采用OCU頂置空調(diào)主用、行間空調(diào)備用的方案，通過優(yōu)化冷熱通道氣流組織，實(shí)現(xiàn)超高功率密度機(jī)柜制冷，相比液冷等方案更易運(yùn)維、更易規(guī)模化部署。

（3）綠色節(jié)能。采用冷熱通道隔離、冷/熱通道封閉的氣流遏制設(shè)計(jì)。制冷末端靠近IT設(shè)備，服務(wù)器入口溫度可提升至27攝氏度，采用自然風(fēng)冷卻機(jī)房整體能耗，降低風(fēng)機(jī)轉(zhuǎn)速和能耗，并降低噪聲。