王香麗

關鍵詞：數(shù)據(jù)中心；PUE；間接蒸發(fā)制冷；浸沒式液冷；冷板式液冷

1引言

在數(shù)據(jù)中心內(nèi)部，信息處理設備消耗的電能幾乎全部轉換為熱量，為了保證設備的正常工作環(huán)境，必須將這些熱量進行擴散，因此需要根據(jù)建設的規(guī)模、區(qū)域及政策導向選擇合適的制冷系統(tǒng)。

PUE值是國際上認可的數(shù)據(jù)中心能源使用效率的衡量指標。其中，PUE設備總能耗+制冷設備總能耗+供配電損耗

PUE是一個比值，越趨向于1，IT設備的電量占比數(shù)據(jù)中心總電量越多，說明數(shù)據(jù)中心電能利用率越高。

對于采用風冷直膨式空調(diào)系統(tǒng)的數(shù)據(jù)中心而言，其全年PUE值大于2：對于采用冷水機組制冷的數(shù)據(jù)中心而言，其全年PUE值在1.6左右；對于采用帶自然冷的冷水機組制冷的數(shù)據(jù)中心而言，其全年PUE值在1.3～1.45左右。

《數(shù)據(jù)中心能效限定值及能效等級》GB40879-2021相關指標如表1所列。

數(shù)據(jù)中心能效限定值為能效等級3級。

《數(shù)據(jù)中心能源效率限額》D811/T1139-2019相關限定值如表2所列。

已穩(wěn)定運行一個自然年以上的數(shù)據(jù)中心，其PUE值應符合限定值要求；新立項或改擴建的數(shù)據(jù)中心，其PUE值應符合準人值的要求。

2022年，國家多個部門聯(lián)合印發(fā)通知，同意在京津冀、長三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動建設國家算力樞紐節(jié)點，并規(guī)劃了10個國家數(shù)據(jù)中心集群，同時對該集群的PUE值作了規(guī)定。詳見表3。

2020年以前，數(shù)據(jù)中心主要采用的制冷形式為帶自然冷的冷水機組制冷，但其PUE值不滿足新的政策要求。為了響應國家號召，需采用更節(jié)能的制冷形式，目前國內(nèi)新的制冷形式主要有：間接式蒸發(fā)機組制冷、液冷。

2間接式蒸發(fā)機組制冷

間接蒸發(fā)制冷是利用室外自然冷源，將室外低溫空氣和室內(nèi)高溫空氣在設備內(nèi)進行熱量交換，從而帶走室內(nèi)熱量，并把冷量送到數(shù)據(jù)機房內(nèi)。

間接蒸發(fā)制冷系統(tǒng)是室外進風和室內(nèi)回風在“空氣一空氣”換熱器內(nèi)進行熱量交換，室內(nèi)外空氣無直接接觸，保證了室內(nèi)空氣的潔凈度。間接蒸發(fā)制冷系統(tǒng)主要有三種運行模式，即干工況自然冷、濕工況自然冷、混合工況。

2.1間接式蒸發(fā)制冷系統(tǒng)架構

干工況自然冷即新風間接冷卻，當室外干球溫度不大于某一溫度Tg時，室內(nèi)外空氣在換熱器進行熱量交換，把數(shù)據(jù)機房室內(nèi)的服務器等產(chǎn)生的全部熱量通過室內(nèi)空氣傳遞給室外空氣，輸送至室外大氣。詳見圖1。

濕工況自然冷即間接蒸發(fā)冷卻，當室外干球溫度大于某一溫度Tg時，對室外空氣進行噴淋冷卻，降低室外空氣干球溫度，且噴淋冷卻后的室外空氣干球溫度不大于Tg。室內(nèi)外空氣在換熱器進行熱量交換，把數(shù)據(jù)機房室內(nèi)的服務器等產(chǎn)生的全部熱量通過室內(nèi)空氣傳遞給室外空氣．輸送至室外大氣。詳見圖2。

混合工況是在機械制冷的前提下，最大限度地使用混合工況自然冷卻。當室外干球溫度大于某一溫度Tg時，對室外空氣進行噴淋冷卻，降低室外空氣干球溫度，且噴淋冷卻后的室外空氣干球溫度大于Tg時，開啟混合工況模式?；旌瞎r工作原理是先通過噴淋降低室外空氣溫度，室內(nèi)外空氣在“空氣一空氣”換熱器內(nèi)進行熱量交換，然后再經(jīng)過壓縮機制冷將室內(nèi)空氣溫度降低到需求溫度，進而把數(shù)據(jù)機房室內(nèi)的服務器等產(chǎn)生的全部熱量輸送至室外大氣。詳見圖3。

間接蒸發(fā)冷技術保證了室內(nèi)空氣不受室外環(huán)境的影響，噴淋加濕空氣也不會影響室內(nèi)濕度。與冷水機組制冷相比，其具有耗水量少、節(jié)能、便于分區(qū)建設、維護方便等優(yōu)點。

2.2間接式蒸發(fā)制冷案例

項目名稱：寧夏某數(shù)據(jù)中心

項目描述：主機房內(nèi)有560個機柜，單機柜平均功率8 kW。電池間和變配電室均采用分體直膨式房間級空調(diào)。

本項目共建設20臺間接蒸發(fā)冷設備，單臺設備制冷量為280 kW，運行模式為18+2。經(jīng)計算，項目PUE值為1.19。

3液冷

隨著大數(shù)據(jù)、人工智能的發(fā)展，數(shù)據(jù)中心規(guī)模也不斷擴大，單機架功率不斷提升。與此同時，數(shù)據(jù)中心單機架功率的提升使數(shù)據(jù)中心熱量積聚問題愈發(fā)顯著，傳統(tǒng)風冷制冷方式散熱能力不足的缺陷逐漸暴露出來，成為影響單機架功率密度提升的主要因素[1]。

當前，我國處于數(shù)據(jù)中心發(fā)展的關鍵時期，數(shù)據(jù)中心算力的需求不斷增長，單機柜功率也不斷升高，并且綠色數(shù)據(jù)中心的建設和發(fā)展受到社會格外關注。此時，要求數(shù)據(jù)中心制冷方式必須迎接挑戰(zhàn)，新型的制冷技術應運而生——液冷。液冷技術的興起，全面改變了數(shù)據(jù)中心基礎設施建設[2]。

3.1液冷系統(tǒng)架構

基于不同的液冷技術原理，液冷數(shù)據(jù)中心發(fā)展出不同的解決方案，主要有浸沒式液冷、冷板式液冷。

3.1.1浸沒式液冷系統(tǒng)架構

浸沒式液冷系統(tǒng)工作原理：高密度服務器布置在浸沒腔體中，腔體中充滿冷卻液，高密度服務器產(chǎn)生的熱量傳遞給冷卻液，冷卻液在冷卻子系統(tǒng)中與外部冷卻水換熱，把熱量傳遞給冷卻水，冷卻水經(jīng)室外冷源設備把熱量釋放到空氣中。詳見圖4。

冷卻液的導熱系數(shù)高于空氣，且整個系統(tǒng)主要耗能設備有室外冷源設備的風機、冷卻液循環(huán)的動力設備，無壓縮機，所以整個系統(tǒng)的能效得到了很大的提高。

2017年，阿里巴巴公司建造了浸沒式液冷數(shù)據(jù)中心，能效方面很突出[3]。2018年10月，中科曙光聯(lián)合上海超級計算中心、國家超級計算深圳中心的E級超級計算機，采用了浸沒式液冷技術，系統(tǒng)峰值功耗高達249kW，PUE值僅為1.04，實現(xiàn)了整機系統(tǒng)的高效節(jié)能[4]。

由于浸沒式液冷系統(tǒng)內(nèi)服務器是浸沒在冷卻液內(nèi)的，對冷卻液的品質(zhì)要求非常高。當前，常用的冷卻液是3M公司的氟化液，造價非常高，使得這一技術發(fā)展受限。

3.1.2冷板式液冷系統(tǒng)架構

如圖5所示，冷卻機柜產(chǎn)生的熱量由專業(yè)冷卻液吸收，吸收熱量專業(yè)冷卻液在CDU內(nèi)和一次側冷卻水進行換熱、釋放熱量與降低溫度，再繼續(xù)在冷卻機柜內(nèi)吸收熱量。吸收了熱量的一次側冷卻水流經(jīng)冷卻塔，把熱量釋放至空氣中。

在冷卻機組內(nèi)冷卻液和服務器無直接接觸，僅進行熱量交換。現(xiàn)在常用的冷卻液為純水，易獲得，且造價低。

冷板式液冷不僅能實現(xiàn)高密度機柜的散熱，并且整個系統(tǒng)主要用電設備為冷卻塔風機和循環(huán)水泵，無壓縮機，提高系統(tǒng)能效。

由于冷板式液冷本身的局限性，其不能將高密度機柜的熱量全部驅(qū)散。剩余的熱量需要采用其他輔助方式進行驅(qū)散，如間接蒸發(fā)機組制冷或者冷水機組制冷等。

3.2液冷案例

項目名稱：北京某數(shù)據(jù)中心

項目信息：主機房內(nèi)有62個機柜，其中40個機柜采用冷板式液冷系統(tǒng)，單機柜平均功率54.5kW，單機柜95%的熱量由液冷負擔，剩余部分由冷凍水房間級空調(diào)負擔：另外22個機柜采用分體直膨式氟泵列間空調(diào)，但機柜功率為8.2kW。電池間和UPS間均采用分體直膨式氟泵房間級空調(diào)。變壓器第一期已建設完成，本期不考慮。

一次側采用閉式冷卻塔，進出水溫度為35/49℃，2用1備。CDU二次側進出水溫度為45/55℃，共配置18臺CDU，12用6備。經(jīng)計算，項目全年PUE值為1.18。

4結束語

通過分析，間接蒸發(fā)制冷技術符合節(jié)能、低碳、綠色的發(fā)展趨勢，使用間接蒸發(fā)冷技術可使數(shù)據(jù)中心PUE值趨向于1。隨著大數(shù)據(jù)、人工智能等技術的快速發(fā)展，單機柜的算力不斷提升，液冷技術應運而生。未來，數(shù)據(jù)中心建設采用何種制冷形式，需根據(jù)其規(guī)模及其用途而定。但其宗旨是要建設綠色、節(jié)能的數(shù)據(jù)中心。