陳永剛

（天元瑞信通信技術(shù)股份有限公司，陜西 西安 710075）

0 引 言

隨著我國信息數(shù)字產(chǎn)業(yè)的飛速發(fā)展，全社會對算力的需求不斷提升，預(yù)計每年將以20% 以上的速度快速增長[1]。為提高算力，數(shù)據(jù)中心正在向高密度方向發(fā)展，其規(guī)模的擴大帶來了用電量的不斷增長。根據(jù)國家數(shù)據(jù)顯示，2020年國內(nèi)數(shù)據(jù)中心的年耗電量為2 045億kW·h，占全社會用電量的2.7%，2025年數(shù)據(jù)中心的年耗電量約為3 950億kW·h，占全社會用電量的4.1%[2]。2018—2025年中國數(shù)據(jù)中心耗電量占全社會用電量的比值預(yù)測如圖1所示。

圖1 2018—2025年中國數(shù)據(jù)中心耗電量占全社會用電量比值預(yù)測

數(shù)據(jù)中心巨大的耗電量產(chǎn)生了大量的碳排放，為實現(xiàn)“雙碳”目標(biāo)，國家推出了相應(yīng)的政策法規(guī)及舉措，對當(dāng)前衡量大數(shù)據(jù)能效利用率的主要指標(biāo)電源使用效率（Power Usage Effectiveness，PUE）提出了明確的要求。根據(jù)《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021年～2023年）》，到2023年底，新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下，嚴(yán)寒和寒冷地區(qū)力爭降低到1.25以下[3]。數(shù)據(jù)中心需要從多個維度進(jìn)行節(jié)能減排，在大數(shù)據(jù)機房產(chǎn)生的能耗中有50%來源于基礎(chǔ)設(shè)施，有40%來源于制冷能耗，最后10%來源于不間斷電源（Uninterruptible Power Supply，UPS）和照明，其中制冷系統(tǒng)耗能巨大，僅次于IT設(shè)備，提升制冷效率成為降低PUE、實現(xiàn)節(jié)能減排的重要手段。

1 大數(shù)據(jù)中心傳統(tǒng)制冷方案

傳統(tǒng)數(shù)據(jù)中心采用的最為廣泛的制冷系統(tǒng)是風(fēng)冷型系統(tǒng)，采用房間/行級空調(diào)，通過上送風(fēng)、密閉冷通道下送風(fēng)的方式進(jìn)行近距離的冷量傳輸，減小風(fēng)機功耗，以達(dá)到節(jié)能效果，但只能夠解決服務(wù)器局部的熱點、高密度發(fā)熱等問題，適用于解決2.5～5 kW的單機柜散熱效果明顯。然而隨著技術(shù)更新，大型數(shù)據(jù)中心逐步大量應(yīng)用機架式、刀片式等服務(wù)器設(shè)備，單機柜內(nèi)IT設(shè)備的計算存儲能力、功耗、設(shè)備熱密度都大幅度提高。傳統(tǒng)數(shù)據(jù)機房所用的風(fēng)冷系統(tǒng)，先冷卻空氣，再通過冷空氣與服務(wù)器設(shè)備進(jìn)行熱交換來降溫。但由于空氣的換熱效率、熱流密度很低，空調(diào)冷卻IT設(shè)備存在能耗高、噪聲大、設(shè)備密度低等問題[4]。在這種情況下，傳統(tǒng)冷卻方式早已無法解決當(dāng)前高功率、高密度大型數(shù)據(jù)中心設(shè)備的散熱難題，成為行業(yè)發(fā)展的關(guān)鍵瓶頸。

2 液冷技術(shù)

2.1 冷夜技術(shù)背景

為解決大數(shù)據(jù)高功率、高密度計算服務(wù)器散熱難題，促使數(shù)據(jù)中心液冷技術(shù)興起。液冷在高效制冷方面有天然優(yōu)勢，不僅是制冷方式的改變，還可能變革數(shù)據(jù)中心整個生態(tài)。液冷技術(shù)是用液體取代空氣作為冷媒，與發(fā)熱部件進(jìn)行熱交換，帶走熱量的技術(shù)，相較于傳統(tǒng)風(fēng)冷技術(shù)大幅度提IT設(shè)備的使用效率和穩(wěn)定性。液冷具備強冷卻力，可實現(xiàn)超高密度制冷，大幅度降低數(shù)據(jù)中心PUE。根據(jù)某實驗室的數(shù)據(jù)，傳統(tǒng)風(fēng)冷的PUE值多在1.5以上，液冷的PUE值能低至1.05～1.2。

2.2 液冷技術(shù)介紹及方案類型

液冷技術(shù)是一種采用特殊的液體，要求其液體性能能夠快速帶走IT設(shè)備產(chǎn)生的熱量，并且在液體汽化和液化過程中都能夠高效、快速地進(jìn)行熱交換傳遞，同時液體也要滿足無腐蝕性、低黏度、不導(dǎo)電性能，應(yīng)用于需提高計算能力、能源效率、部署密度等大型數(shù)據(jù)中心場景。液冷分為接觸式（噴淋式液冷、浸沒式液冷）和非接觸式液冷（冷板式液冷）2種。

冷板式液冷：通過冷板將發(fā)熱器件的熱量間接傳遞給封閉在循環(huán)管路中的冷卻液體，通過冷卻液將熱量帶走的實現(xiàn)方式。

噴淋式液冷：面向芯片級器件精準(zhǔn)噴淋、直接接觸式，冷卻液可通過重力或系統(tǒng)壓力直接噴灑至IT設(shè)備的發(fā)熱器件或之連接的導(dǎo)熱元器件上的液冷形式。

浸沒式液冷：將發(fā)熱器件完全浸沒在液體中，使得器件與液體直接接觸，并進(jìn)行熱交換的冷卻技術(shù)，可以分為單相浸沒式液冷和雙相浸沒式液冷[5]。

2.3 液冷性能

液體應(yīng)用所采用的液體介質(zhì)與應(yīng)用模型（接觸式和非接觸式）直接相關(guān)。

（1）非絕緣性液體介質(zhì)：一般絕緣性介質(zhì)的液體（可溶解離子性物質(zhì)的液體）有較高的比熱和導(dǎo)熱系數(shù)，用于非接觸液體場景，可選液體介質(zhì)包括去離子水、甲/乙醇+/水等。

（2）絕緣性液體介質(zhì)：有較高的比熱和導(dǎo)熱系數(shù)，用于對泄露安全要求較高的間接式液冷場景，更適用于液體介質(zhì)直接與元器件接觸的應(yīng)用，可選液體介質(zhì)包括碳氟化合物（氟化液）、有機硅油、礦物質(zhì)油等。

2.4 冷卻液類型分析

目前，主要的冷卻液分為去離子純凈水、礦物油、氟化液3種，表1是3種液體的性能對比。

表1 液體性能對比表

通過對以上3種冷卻液分析，氟化液是目前最適合做冷卻液的材質(zhì)。國內(nèi)數(shù)據(jù)中心機房采用液冷技術(shù)的阿里巴巴、騰訊、百度等企業(yè)，使用的冷卻液大多是進(jìn)口氟化冷卻液，如3M的氫氟醚，Novec 7100和 Novec 7200，這類進(jìn)口產(chǎn)品價格高昂，但在國外應(yīng)用較成熟。

隨著國產(chǎn)氫氟醚逐漸產(chǎn)業(yè)化，根據(jù)相關(guān)報道，2021年舉行的數(shù)據(jù)中心液冷產(chǎn)業(yè)大會有中科曙光、綠色云圖、浙江諾亞、上海卓聰?shù)榷嗉襂T企業(yè)大力推廣液冷技術(shù)的配套服務(wù)器，相信在不久的將來液冷技術(shù)將實現(xiàn)多元化，冷液材質(zhì)的價格市場化。

2.5 3種液冷方案對比

3種液冷方案對比如表2所示。

表2 液冷方案對比表

（1）冷板式雖冷源架構(gòu)復(fù)雜，但商業(yè)應(yīng)用成熟，功率密度滿足未來市場一定時間段的需求，乃有較大市場前景。

（2）浸沒式冷源簡單、散熱效率高，其中單相為互聯(lián)網(wǎng)公司等重點研究方案，兩相主要用于超級計算，技術(shù)難度較大。

（3）噴淋式廠家及案例較少，運營商5G及某些高校處于試用階段。

2.6 浸沒式液冷數(shù)據(jù)中心優(yōu)勢

數(shù)據(jù)中心機房的能耗節(jié)能問題日益凸顯，傳統(tǒng)數(shù)據(jù)中心制冷技術(shù)已無法滿足發(fā)展需求。為了適應(yīng)網(wǎng)絡(luò)變革的需要，浸沒式液冷成為了發(fā)展的主流趨勢。浸沒式液冷作為大數(shù)據(jù)中心的新一代節(jié)能關(guān)鍵技術(shù)，主要體現(xiàn)在以下幾個方面。

2.6.1 能源利用率

浸沒式液冷就是直接與IT硬件接觸，具有出色熱傳導(dǎo)性能的冷卻液中，使電子元器件產(chǎn)生的熱量直接高效地傳遞到冷卻液中，可以讓服務(wù)器保持一定的恒定狀態(tài)，大大降低能耗。同體積冷卻液比空氣散熱傳導(dǎo)效率高3 000倍，相比傳統(tǒng)的數(shù)據(jù)中心節(jié)能70%以上。還有浸沒式冷卻泵產(chǎn)生的噪音，要比風(fēng)冷系統(tǒng)風(fēng)機產(chǎn)生的噪音低20 dB左右。并且它的耗電量只有IT設(shè)備的8%左右，而傳統(tǒng)數(shù)據(jù)中心機電設(shè)備的耗電量占到IT設(shè)備的50%左右。值得注意的是，冷卻液基本上不會有損耗，使用次數(shù)從理論上說是無限的，使得數(shù)據(jù)中心的制冷能源利用率提高到95%。

2.6.2 功率密度

浸沒式液冷可以大幅提高數(shù)據(jù)中心單位空間的服務(wù)器密度，從而更好地應(yīng)用于高密度計算服務(wù)器。傳統(tǒng)數(shù)據(jù)中心采用風(fēng)冷系統(tǒng)，可冷卻的機架功率密度通常為10～15 kW，而浸沒式液冷可以將單機架功率提升到100 kW甚至200 kW以上，較傳統(tǒng)機柜相比提升10～20倍[5]。因此完全可以滿足高密度計算服務(wù)器對散熱的需求。

2.6.3 設(shè)備可靠性

浸沒式液冷采用的液體屬于惰性材料，性能安全可靠、無毒無害、無色無味、阻燃，是絕緣物質(zhì)，不導(dǎo)電、不短路、不腐蝕。使得IT設(shè)備浸沒在適宜溫度環(huán)境中有效避免了濕度、灰塵對設(shè)備的不良影響[5]。此外液體不導(dǎo)電，很好地解決了靜電造成設(shè)備運行效率降低，使用壽命減短的問題，更杜絕了由于靜電引發(fā)的安全隱患。

2.6.4 空間利用率

浸沒式液冷數(shù)據(jù)中心與傳統(tǒng)風(fēng)冷數(shù)據(jù)中心相比，去掉了空調(diào)系統(tǒng)以及對應(yīng)的風(fēng)冷基礎(chǔ)設(shè)施，增加了循環(huán)泵，節(jié)省了大量空間，并且浸沒式液冷高效的冷卻能力使得同等體積IT設(shè)備可以緊密排列，容納更多的服務(wù)器。應(yīng)用浸沒式液冷系統(tǒng)的數(shù)據(jù)中心機房要比傳統(tǒng)數(shù)據(jù)機房風(fēng)冷系統(tǒng)占用機房空間減少1/3，大幅提高數(shù)據(jù)中心的部署密度。

3 浸沒式液冷數(shù)據(jù)中心行業(yè)運行狀況分析

3.1 浸沒式液冷數(shù)據(jù)中心傳統(tǒng)替代比重

隨著大數(shù)據(jù)快速的部署，使得大數(shù)據(jù)機房面臨高密度、高功率、高能耗的發(fā)展趨勢，能夠改善這系列問題的關(guān)鍵技術(shù)日趨成熟，國內(nèi)已有多家企業(yè)具有針對不同散熱需求下的浸沒式液冷技術(shù)解決方案，一些科技公司也已開始將基于浸沒式液冷的散熱系統(tǒng)實際部署在他們的數(shù)據(jù)中心[5]。

目前，液冷數(shù)據(jù)中心對傳統(tǒng)市場包括風(fēng)冷的機房空調(diào)市場、服務(wù)器市場以及數(shù)據(jù)中心基礎(chǔ)設(shè)施（機柜、CDU、冷卻塔等）進(jìn)行替代。2019年，液冷數(shù)據(jù)中心替代傳統(tǒng)市場的比例估計為15%～20%，到2025年，專家估計這一比例有望達(dá)到25%。目前阿里、張北數(shù)據(jù)中心、仁和數(shù)據(jù)中心，網(wǎng)宿科技、嘉定云計算數(shù)據(jù)產(chǎn)業(yè)園，華為、烏蘭察布數(shù)據(jù)中心等大型數(shù)據(jù)中心均已采用浸沒式液冷技術(shù)[4]。2019-2025年中國液冷數(shù)據(jù)中心替換傳統(tǒng)市場比例如圖2所示。

圖2 2019—2025年中國液冷數(shù)據(jù)中心替換傳統(tǒng)市場比例

3.2 浸沒式液冷數(shù)據(jù)中心前景

由中國信息通信研究院和大數(shù)據(jù)研究所牽頭，阿里、華為、騰訊等參與起草的首批《數(shù)據(jù)中心液冷行業(yè)標(biāo)準(zhǔn)》于2022年4月1日正式實施，該標(biāo)準(zhǔn)的發(fā)布有效填補了我國數(shù)據(jù)中心液冷行業(yè)標(biāo)準(zhǔn)的空白。并且根據(jù)國家“東數(shù)西算”工程啟動數(shù)據(jù)中心集群機房開始運轉(zhuǎn)之后，必然產(chǎn)生大量的熱能負(fù)載，所以“冷態(tài)”冷卻系統(tǒng)會成為數(shù)據(jù)中心制冷革新的關(guān)鍵技術(shù)。

國家把節(jié)能減排，碳達(dá)峰、碳中和作為發(fā)展經(jīng)濟的重要指標(biāo)，數(shù)據(jù)中心的IT設(shè)備所造成的能源消耗越來越受到重視。最近，碳達(dá)峰實施方案出爐，方案明確提出鼓勵高效環(huán)保制冷技術(shù)，降低能耗，支持?jǐn)?shù)據(jù)中心采用新型機房液冷等方式，建設(shè)數(shù)據(jù)中心，推廣制冷節(jié)能技術(shù)，優(yōu)化氣流組織，通過智能化手段提高與IT設(shè)備運行狀態(tài)的動態(tài)適配性。與風(fēng)冷相比，液冷系統(tǒng)不僅散熱效率高，運行時噪音更小，可節(jié)省電量30%～50%，機房整體效能將得到30%的提升[6]。浸沒式液冷技術(shù)能源利用率PUE逼近1.0，專家認(rèn)為浸沒式相變液冷技術(shù)將成為行業(yè)主流。若全國50%新建數(shù)據(jù)中心采用浸沒式相變液冷技術(shù)，每年可省450億kW·h，減排3 000萬t二氧化碳[7]，這就是液冷存在的意義，帶領(lǐng)數(shù)據(jù)中心走上高效、清潔、節(jié)約的綠色低碳之路。

3.3 浸沒式液冷數(shù)據(jù)中心趨勢預(yù)測分析

根據(jù)賽迪顧問的數(shù)據(jù)，以液冷數(shù)據(jù)中心對傳統(tǒng)市場進(jìn)行替換作為市場規(guī)模測算基礎(chǔ)，結(jié)合華為、阿里巴巴和中科曙光對液冷數(shù)據(jù)中心的替換率調(diào)查，保守測算出2019年中國液冷數(shù)據(jù)中心的市場規(guī)模為261億元，樂觀估計為351億元，2025年我國液冷數(shù)據(jù)中心的市場規(guī)模將破1 280億元。

浸沒式液冷技術(shù)，變革傳統(tǒng)數(shù)據(jù)中心風(fēng)冷散熱方式，數(shù)據(jù)中心也不需要制冷機、空調(diào)等設(shè)備，可釋放更多空間部署IT設(shè)備，大幅提高數(shù)據(jù)中心的部署密度，運算效率，運行過程中噪音低至42 dB，數(shù)據(jù)中心靜音舒適，不僅如此，浸沒式液冷方案還具備易選址、快速部署、擴展靈活等特點，可快速打造節(jié)能低碳、安全可靠的綠色數(shù)據(jù)中心。目前液冷技術(shù)已開始推向公共交通、公共安全、社會管理、醫(yī)療教育等多個領(lǐng)域，助推各行各業(yè)踐行低碳行動，邁向綠色低碳新未來。

4 結(jié) 論

隨著我國“雙碳”政策實施和“東數(shù)西算”工程全面啟動，推進(jìn)綠色節(jié)能技術(shù)循環(huán)使用、提高清潔能源使用比例、高算力支撐、降低碳排放強度、為數(shù)字化轉(zhuǎn)型賦能，已成為當(dāng)下數(shù)據(jù)中心綠色發(fā)展的必然要求。放眼未來，在超高功率高密度計算機領(lǐng)域，浸沒液冷技術(shù)將發(fā)揮重要價值，極大地節(jié)約能源，最終實現(xiàn)綠色低碳數(shù)據(jù)中心。液冷技術(shù)的興起和普及，將引發(fā)數(shù)據(jù)中心和服務(wù)器的整個產(chǎn)業(yè)鏈的重構(gòu)。