王香麗

關(guān)鍵詞：數(shù)據(jù)中心；PUE；間接蒸發(fā)制冷；浸沒式液冷；冷板式液冷

1引言

在數(shù)據(jù)中心內(nèi)部，信息處理設(shè)備消耗的電能幾乎全部轉(zhuǎn)換為熱量，為了保證設(shè)備的正常工作環(huán)境，必須將這些熱量進(jìn)行擴(kuò)散，因此需要根據(jù)建設(shè)的規(guī)模、區(qū)域及政策導(dǎo)向選擇合適的制冷系統(tǒng)。

PUE值是國際上認(rèn)可的數(shù)據(jù)中心能源使用效率的衡量指標(biāo)。其中，PUE設(shè)備總能耗+制冷設(shè)備總能耗+供配電損耗

PUE是一個(gè)比值，越趨向于1，IT設(shè)備的電量占比數(shù)據(jù)中心總電量越多，說明數(shù)據(jù)中心電能利用率越高。

對(duì)于采用風(fēng)冷直膨式空調(diào)系統(tǒng)的數(shù)據(jù)中心而言，其全年P(guān)UE值大于2：對(duì)于采用冷水機(jī)組制冷的數(shù)據(jù)中心而言，其全年P(guān)UE值在1.6左右；對(duì)于采用帶自然冷的冷水機(jī)組制冷的數(shù)據(jù)中心而言，其全年P(guān)UE值在1.3～1.45左右。

《數(shù)據(jù)中心能效限定值及能效等級(jí)》GB40879-2021相關(guān)指標(biāo)如表1所列。

數(shù)據(jù)中心能效限定值為能效等級(jí)3級(jí)。

《數(shù)據(jù)中心能源效率限額》D811/T1139-2019相關(guān)限定值如表2所列。

已穩(wěn)定運(yùn)行一個(gè)自然年以上的數(shù)據(jù)中心，其PUE值應(yīng)符合限定值要求；新立項(xiàng)或改擴(kuò)建的數(shù)據(jù)中心，其PUE值應(yīng)符合準(zhǔn)人值的要求。

2022年，國家多個(gè)部門聯(lián)合印發(fā)通知，同意在京津冀、長三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動(dòng)建設(shè)國家算力樞紐節(jié)點(diǎn)，并規(guī)劃了10個(gè)國家數(shù)據(jù)中心集群，同時(shí)對(duì)該集群的PUE值作了規(guī)定。詳見表3。

2020年以前，數(shù)據(jù)中心主要采用的制冷形式為帶自然冷的冷水機(jī)組制冷，但其PUE值不滿足新的政策要求。為了響應(yīng)國家號(hào)召，需采用更節(jié)能的制冷形式，目前國內(nèi)新的制冷形式主要有：間接式蒸發(fā)機(jī)組制冷、液冷。

2間接式蒸發(fā)機(jī)組制冷

間接蒸發(fā)制冷是利用室外自然冷源，將室外低溫空氣和室內(nèi)高溫空氣在設(shè)備內(nèi)進(jìn)行熱量交換，從而帶走室內(nèi)熱量，并把冷量送到數(shù)據(jù)機(jī)房內(nèi)。

間接蒸發(fā)制冷系統(tǒng)是室外進(jìn)風(fēng)和室內(nèi)回風(fēng)在“空氣一空氣”換熱器內(nèi)進(jìn)行熱量交換，室內(nèi)外空氣無直接接觸，保證了室內(nèi)空氣的潔凈度。間接蒸發(fā)制冷系統(tǒng)主要有三種運(yùn)行模式，即干工況自然冷、濕工況自然冷、混合工況。

2.1間接式蒸發(fā)制冷系統(tǒng)架構(gòu)

干工況自然冷即新風(fēng)間接冷卻，當(dāng)室外干球溫度不大于某一溫度Tg時(shí)，室內(nèi)外空氣在換熱器進(jìn)行熱量交換，把數(shù)據(jù)機(jī)房室內(nèi)的服務(wù)器等產(chǎn)生的全部熱量通過室內(nèi)空氣傳遞給室外空氣，輸送至室外大氣。詳見圖1。

濕工況自然冷即間接蒸發(fā)冷卻，當(dāng)室外干球溫度大于某一溫度Tg時(shí)，對(duì)室外空氣進(jìn)行噴淋冷卻，降低室外空氣干球溫度，且噴淋冷卻后的室外空氣干球溫度不大于Tg。室內(nèi)外空氣在換熱器進(jìn)行熱量交換，把數(shù)據(jù)機(jī)房室內(nèi)的服務(wù)器等產(chǎn)生的全部熱量通過室內(nèi)空氣傳遞給室外空氣．輸送至室外大氣。詳見圖2。

混合工況是在機(jī)械制冷的前提下，最大限度地使用混合工況自然冷卻。當(dāng)室外干球溫度大于某一溫度Tg時(shí)，對(duì)室外空氣進(jìn)行噴淋冷卻，降低室外空氣干球溫度，且噴淋冷卻后的室外空氣干球溫度大于Tg時(shí)，開啟混合工況模式?；旌瞎r工作原理是先通過噴淋降低室外空氣溫度，室內(nèi)外空氣在“空氣一空氣”換熱器內(nèi)進(jìn)行熱量交換，然后再經(jīng)過壓縮機(jī)制冷將室內(nèi)空氣溫度降低到需求溫度，進(jìn)而把數(shù)據(jù)機(jī)房室內(nèi)的服務(wù)器等產(chǎn)生的全部熱量輸送至室外大氣。詳見圖3。

間接蒸發(fā)冷技術(shù)保證了室內(nèi)空氣不受室外環(huán)境的影響，噴淋加濕空氣也不會(huì)影響室內(nèi)濕度。與冷水機(jī)組制冷相比，其具有耗水量少、節(jié)能、便于分區(qū)建設(shè)、維護(hù)方便等優(yōu)點(diǎn)。

2.2間接式蒸發(fā)制冷案例

項(xiàng)目名稱：寧夏某數(shù)據(jù)中心

項(xiàng)目描述：主機(jī)房內(nèi)有560個(gè)機(jī)柜，單機(jī)柜平均功率8 kW。電池間和變配電室均采用分體直膨式房間級(jí)空調(diào)。

本項(xiàng)目共建設(shè)20臺(tái)間接蒸發(fā)冷設(shè)備，單臺(tái)設(shè)備制冷量為280 kW，運(yùn)行模式為18+2。經(jīng)計(jì)算，項(xiàng)目PUE值為1.19。

3液冷

隨著大數(shù)據(jù)、人工智能的發(fā)展，數(shù)據(jù)中心規(guī)模也不斷擴(kuò)大，單機(jī)架功率不斷提升。與此同時(shí)，數(shù)據(jù)中心單機(jī)架功率的提升使數(shù)據(jù)中心熱量積聚問題愈發(fā)顯著，傳統(tǒng)風(fēng)冷制冷方式散熱能力不足的缺陷逐漸暴露出來，成為影響單機(jī)架功率密度提升的主要因素[1]。

當(dāng)前，我國處于數(shù)據(jù)中心發(fā)展的關(guān)鍵時(shí)期，數(shù)據(jù)中心算力的需求不斷增長，單機(jī)柜功率也不斷升高，并且綠色數(shù)據(jù)中心的建設(shè)和發(fā)展受到社會(huì)格外關(guān)注。此時(shí)，要求數(shù)據(jù)中心制冷方式必須迎接挑戰(zhàn)，新型的制冷技術(shù)應(yīng)運(yùn)而生——液冷。液冷技術(shù)的興起，全面改變了數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)[2]。

3.1液冷系統(tǒng)架構(gòu)

基于不同的液冷技術(shù)原理，液冷數(shù)據(jù)中心發(fā)展出不同的解決方案，主要有浸沒式液冷、冷板式液冷。

3.1.1浸沒式液冷系統(tǒng)架構(gòu)

浸沒式液冷系統(tǒng)工作原理：高密度服務(wù)器布置在浸沒腔體中，腔體中充滿冷卻液，高密度服務(wù)器產(chǎn)生的熱量傳遞給冷卻液，冷卻液在冷卻子系統(tǒng)中與外部冷卻水換熱，把熱量傳遞給冷卻水，冷卻水經(jīng)室外冷源設(shè)備把熱量釋放到空氣中。詳見圖4。

冷卻液的導(dǎo)熱系數(shù)高于空氣，且整個(gè)系統(tǒng)主要耗能設(shè)備有室外冷源設(shè)備的風(fēng)機(jī)、冷卻液循環(huán)的動(dòng)力設(shè)備，無壓縮機(jī)，所以整個(gè)系統(tǒng)的能效得到了很大的提高。

2017年，阿里巴巴公司建造了浸沒式液冷數(shù)據(jù)中心，能效方面很突出[3]。2018年10月，中科曙光聯(lián)合上海超級(jí)計(jì)算中心、國家超級(jí)計(jì)算深圳中心的E級(jí)超級(jí)計(jì)算機(jī)，采用了浸沒式液冷技術(shù)，系統(tǒng)峰值功耗高達(dá)249kW，PUE值僅為1.04，實(shí)現(xiàn)了整機(jī)系統(tǒng)的高效節(jié)能[4]。

由于浸沒式液冷系統(tǒng)內(nèi)服務(wù)器是浸沒在冷卻液內(nèi)的，對(duì)冷卻液的品質(zhì)要求非常高。當(dāng)前，常用的冷卻液是3M公司的氟化液，造價(jià)非常高，使得這一技術(shù)發(fā)展受限。

3.1.2冷板式液冷系統(tǒng)架構(gòu)

如圖5所示，冷卻機(jī)柜產(chǎn)生的熱量由專業(yè)冷卻液吸收，吸收熱量專業(yè)冷卻液在CDU內(nèi)和一次側(cè)冷卻水進(jìn)行換熱、釋放熱量與降低溫度，再繼續(xù)在冷卻機(jī)柜內(nèi)吸收熱量。吸收了熱量的一次側(cè)冷卻水流經(jīng)冷卻塔，把熱量釋放至空氣中。

在冷卻機(jī)組內(nèi)冷卻液和服務(wù)器無直接接觸，僅進(jìn)行熱量交換?，F(xiàn)在常用的冷卻液為純水，易獲得，且造價(jià)低。

冷板式液冷不僅能實(shí)現(xiàn)高密度機(jī)柜的散熱，并且整個(gè)系統(tǒng)主要用電設(shè)備為冷卻塔風(fēng)機(jī)和循環(huán)水泵，無壓縮機(jī)，提高系統(tǒng)能效。

由于冷板式液冷本身的局限性，其不能將高密度機(jī)柜的熱量全部驅(qū)散。剩余的熱量需要采用其他輔助方式進(jìn)行驅(qū)散，如間接蒸發(fā)機(jī)組制冷或者冷水機(jī)組制冷等。

3.2液冷案例

項(xiàng)目名稱：北京某數(shù)據(jù)中心

項(xiàng)目信息：主機(jī)房內(nèi)有62個(gè)機(jī)柜，其中40個(gè)機(jī)柜采用冷板式液冷系統(tǒng)，單機(jī)柜平均功率54.5kW，單機(jī)柜95%的熱量由液冷負(fù)擔(dān)，剩余部分由冷凍水房間級(jí)空調(diào)負(fù)擔(dān)：另外22個(gè)機(jī)柜采用分體直膨式氟泵列間空調(diào)，但機(jī)柜功率為8.2kW。電池間和UPS間均采用分體直膨式氟泵房間級(jí)空調(diào)。變壓器第一期已建設(shè)完成，本期不考慮。

一次側(cè)采用閉式冷卻塔，進(jìn)出水溫度為35/49℃，2用1備。CDU二次側(cè)進(jìn)出水溫度為45/55℃，共配置18臺(tái)CDU，12用6備。經(jīng)計(jì)算，項(xiàng)目全年P(guān)UE值為1.18。

4結(jié)束語

通過分析，間接蒸發(fā)制冷技術(shù)符合節(jié)能、低碳、綠色的發(fā)展趨勢(shì)，使用間接蒸發(fā)冷技術(shù)可使數(shù)據(jù)中心PUE值趨向于1。隨著大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展，單機(jī)柜的算力不斷提升，液冷技術(shù)應(yīng)運(yùn)而生。未來，數(shù)據(jù)中心建設(shè)采用何種制冷形式，需根據(jù)其規(guī)模及其用途而定。但其宗旨是要建設(shè)綠色、節(jié)能的數(shù)據(jù)中心。