李航 柳曉雷 北京節(jié)能環(huán)保中心

數(shù)據(jù)中心作為數(shù)據(jù)樞紐和應(yīng)用載體，是數(shù)字經(jīng)濟的核心基礎(chǔ)設(shè)施。隨著云計算、5G、人工智能等技術(shù)迅猛發(fā)展，數(shù)據(jù)需求呈幾何級增長，數(shù)據(jù)中心的數(shù)量與日俱增，用電規(guī)模也隨之急劇攀升。據(jù)統(tǒng)計，2018年北京市數(shù)據(jù)中心總耗電量約100億千瓦時,占北京全社會用電總量的8.76%。近年來，我國數(shù)據(jù)中心行業(yè)整體用電量以每年超過10%的速度遞增，占全社會總耗電量比重逐年升高，隨之帶來的能耗、碳排放、水耗問題已成為阻礙數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展的主要矛盾。

近年來，國家發(fā)展和改革委員會、國家能源局、工業(yè)和信息化部、國家機關(guān)事務(wù)管理局等部委相繼出臺了關(guān)于綠色數(shù)據(jù)中心建設(shè)、新型數(shù)據(jù)中心綠色高質(zhì)量發(fā)展的指導(dǎo)意見，北京市、上海市、深圳市、內(nèi)蒙古自治區(qū)、貴州省等“東數(shù)西算”算力樞紐城市也出臺相關(guān)政策，均對新建數(shù)據(jù)中心的規(guī)模、PUE、綠色數(shù)據(jù)中心等級、上架率、單機架功率、WUE等指標提出了限制性或建議性要求。政策的發(fā)布能夠鼓勵引導(dǎo)數(shù)據(jù)中心加大可再生能源利用率、加強先進綠色節(jié)能技術(shù)應(yīng)用，是強化數(shù)據(jù)中心項目全生命周期節(jié)能管理的重要支撐。因地制宜的選擇數(shù)據(jù)中心節(jié)能降碳技術(shù)將成為我國高質(zhì)量推進數(shù)據(jù)中心綠色低碳發(fā)展的必然選擇。

2021年7月，工業(yè)和信息化部在《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021-2023年）》（以下簡稱《行動計劃》）中定義了“新型數(shù)據(jù)中心”的概念，指出“新型數(shù)據(jù)中心是以支撐經(jīng)濟社會數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新為導(dǎo)向，以5G、工業(yè)互聯(lián)網(wǎng)、云計算、人工智能等應(yīng)用需求為牽引，匯聚多元數(shù)據(jù)資源、運用綠色低碳技術(shù)、具備安全可靠能力、提供高效算力服務(wù)、賦能千行百業(yè)應(yīng)用的新型基礎(chǔ)設(shè)施，具有高技術(shù)、高算力、高能效、高安全特征?！薄缎袆佑媱潯分匾龑?dǎo)新型數(shù)據(jù)中心走高效、清潔、集約、循環(huán)的綠色低碳發(fā)展道路，加快先進綠色技術(shù)產(chǎn)品應(yīng)用，鼓勵應(yīng)用高密度集成等高效IT設(shè)備、液冷等高效制冷系統(tǒng)、高壓直流等高效供配電系統(tǒng)、能效環(huán)境集成檢測等高效輔助系統(tǒng)技術(shù)產(chǎn)品。

1 數(shù)據(jù)中心節(jié)能降碳技術(shù)概述

為從源頭上杜絕能源資源浪費，在數(shù)據(jù)中心方案設(shè)計階段，應(yīng)從數(shù)據(jù)中心建設(shè)整體規(guī)劃角度考慮，主要通過應(yīng)用自然冷源降低項目能耗，選用高密度、高能效主設(shè)備；采用液冷先進、熱源快速冷卻等措施；對不同方案進行技術(shù)經(jīng)濟測算比較，最終確定綠色、集約、經(jīng)濟適用的設(shè)計方案。從目前數(shù)據(jù)中心發(fā)展現(xiàn)狀看，數(shù)據(jù)中心節(jié)能降碳技術(shù)發(fā)展趨勢主要包括自然冷源利用、液冷技術(shù)應(yīng)用、運營維護和模塊化等。

1.1 數(shù)據(jù)中心自然冷源利用

數(shù)據(jù)中心為維持室內(nèi)恒定的溫濕度，消耗了巨額的電能資源，自然冷源的充分應(yīng)用能夠起到節(jié)能降碳的效果。目前，數(shù)據(jù)中心利用自然冷源方法主要有間接冷卻和直接冷卻兩種。在氣候適宜的地區(qū)，數(shù)據(jù)中心建設(shè)采用自然冷源，降低使用傳統(tǒng)壓縮機空調(diào)的時間，不僅實現(xiàn)高效散熱降溫，還大幅降低制冷能耗水平，從而減少由排放引起的大氣污染。數(shù)據(jù)中心自然冷源利用已經(jīng)得到了世界上各個國家和業(yè)內(nèi)的普遍認可和實踐，取得了優(yōu)良的效果。

1.2 數(shù)據(jù)中心液冷技術(shù)應(yīng)用

隨著設(shè)備的不斷增加，服務(wù)器越發(fā)的密集，研究發(fā)現(xiàn)傳統(tǒng)風冷降溫已經(jīng)開始不能滿足冷卻需求，這個時候液冷技術(shù)得以發(fā)揮出自己的優(yōu)勢。所謂液冷技術(shù)，就是直接將液體冷卻系統(tǒng)導(dǎo)入服務(wù)器內(nèi)部散熱，或者把服務(wù)器等需要散熱的設(shè)備直接放入冷卻液中，IT設(shè)備散熱通過液冷方式傳遞給水循環(huán)，再通過室外冷卻塔將熱量散發(fā)到室外空氣中。

Research And Markets數(shù)據(jù)顯示，到2023年，全球液冷數(shù)據(jù)中心市場規(guī)模將達45.5億美元，年復(fù)合增長率將達27.7%。國內(nèi)外主流廠商都在推進液冷技術(shù)研究，除了美國的部分公司外，國內(nèi)以曙光數(shù)創(chuàng)、阿里巴巴為代表的廠商也已經(jīng)推出了系列液冷產(chǎn)品。

1.3 數(shù)據(jù)中心模塊化

為了應(yīng)對云計算、虛擬化、集中化、高密化等服務(wù)器發(fā)展的趨勢，數(shù)據(jù)中心引入了模塊化設(shè)計理念，最大程度地降低基礎(chǔ)設(shè)施對數(shù)據(jù)中心環(huán)境耦合。模塊化數(shù)據(jù)中心(MDC)相比傳統(tǒng)數(shù)據(jù)中心集成度更高，各系統(tǒng)匹配運行更高效。模塊化數(shù)據(jù)中心帶來了高效快捷的可管理性，便捷的容量擴展可以隨時解決數(shù)據(jù)中心的容量需求。模塊化數(shù)據(jù)中心主要包括了一系列采用模塊化設(shè)計的基礎(chǔ)設(shè)施設(shè)備，如空調(diào)系統(tǒng)、UPS電源和電池、安全系統(tǒng)、供電單元、模塊機架、安防系統(tǒng)等，通過相關(guān)模塊的匹配組合形成一個完整的數(shù)據(jù)中心。模塊化數(shù)據(jù)中心支持即插即用，數(shù)據(jù)中心只要10余周即可完成從設(shè)計到部署。與傳統(tǒng)的數(shù)據(jù)中心項目進行比較，模塊化數(shù)據(jù)中心所占面積最多可減少50%，相應(yīng)節(jié)約30%的成本。

2 數(shù)據(jù)中心主要節(jié)能降碳技術(shù)及特點

通過梳理匯總國家及地方相關(guān)政策鼓勵使用的的數(shù)據(jù)中心節(jié)能降碳技術(shù)，并參考工信部定期發(fā)布的《國家通信業(yè)節(jié)能技術(shù)產(chǎn)品推薦目錄》，總結(jié)主要推薦技術(shù)主要包括能源供給清潔化、能源資源高效利用化和IT設(shè)備運行維護自動化三大類，具體如表1所示。部分代表性技術(shù)應(yīng)用效果如下。

表1 推薦節(jié)能降碳技術(shù)匯總

2.1 高效供電技術(shù)

通常來講，數(shù)據(jù)中心采用UPS+后備電池方案來解決IT設(shè)備的供電安全和電能質(zhì)量問題。伴隨著社會各界對數(shù)據(jù)中心能效和可用性的要求也越來越高，原有方案所固有的能效水平低和適用性差等缺陷逐漸凸顯，而HVDC供電系統(tǒng)在數(shù)據(jù)中心領(lǐng)域的興起為優(yōu)化供電架構(gòu)提供了新的思路。

傳統(tǒng)高壓直流供電系統(tǒng)主要是由外部電網(wǎng)10kV市電須經(jīng)過中壓配電柜、變壓器、低壓配電柜、HVDC、列頭柜進而進入數(shù)據(jù)中心使用。目前，已有基礎(chǔ)設(shè)施廠商研發(fā)了10kV轉(zhuǎn)240V/336V直流供電系統(tǒng)，該系統(tǒng)實現(xiàn)了集成化部署和配置，高壓市電經(jīng)過10kV轉(zhuǎn)240V/336V直流供電系統(tǒng)，輸出后直接可為數(shù)據(jù)中心服務(wù)器供電，其在投資成本、空間占用、功率損耗方面具備優(yōu)勢。

新型UPS智能調(diào)控“三工況”的應(yīng)用迎來全新發(fā)展。UPS 通過對與輸入電網(wǎng)和輸出負載質(zhì)量相關(guān)的主要參數(shù)進行實時功率跟蹤，并引入 AI 智能算法，對一段時間以來電網(wǎng)和負載的歷史數(shù)據(jù)進行主動學(xué)習和分析。UPS能夠準確區(qū)分不同類型的干擾（電網(wǎng)故障，負載故障，沖擊性負載接入）和下游設(shè)備類型（包括服務(wù)器、變壓器、STS 或機械負載），來決定激活 VFI（整流+逆變雙變換）， VI（逆變+旁通動態(tài)在線），VFD（旁路）三種模式中最佳的運行模式，并做到自適應(yīng)無縫切換，平均效率98.5%。

2.2 制冷節(jié)能技術(shù)—氟泵空調(diào)

所謂“自然冷卻”，是指當室外溫度低于機房內(nèi)（回風）溫度時，通過某些換熱技術(shù)或設(shè)備，把熱量傳遞到室外環(huán)境，通過減少制冷系統(tǒng)壓縮機的使用來降低制冷系統(tǒng)能耗。機房空調(diào)行業(yè)在室外環(huán)境溫度較低的“自然冷卻技術(shù)”能夠有效降低數(shù)據(jù)中心項目PUE，例如 “氟泵自然冷卻”技術(shù)產(chǎn)品已經(jīng)成熟并得到市場驗證。近年來氟泵空調(diào)在北方地區(qū)逐步推廣，其帶來的PUE降低效果明顯。所謂的氟泵雙循環(huán)空調(diào)系統(tǒng)，是采用智能雙循環(huán)設(shè)計，能夠在冬季或春秋過渡季（室外溫度較低）時，采用氟泵對制冷劑進行室外循環(huán)換熱，在制冷季時，再采用壓縮機進行循環(huán)換熱；上述智能雙循環(huán)系統(tǒng)能夠盡量降低壓縮機開啟時間，產(chǎn)生節(jié)能降碳效果，也稱之為智能雙循環(huán)氟泵節(jié)能空調(diào)，依據(jù)其特點，簡稱為“氟泵空調(diào)”，在同一臺制冷機組中可實現(xiàn)壓縮機制冷、氟泵系統(tǒng)制冷、壓縮機和氟泵混合制冷以及重力熱管制冷四套循環(huán)系統(tǒng)，同時可實現(xiàn)間接蒸發(fā)功能，進一步降低PUE。

2.3 制冷節(jié)能技術(shù)—液冷

液冷技術(shù)具有低能耗、高散熱效率、低噪音等技術(shù)優(yōu)勢。液冷技術(shù)主要是指利用液態(tài)工質(zhì)作為中間熱量傳輸?shù)拿浇?，將計算機側(cè)的熱量直接或間接地傳遞至液態(tài)工質(zhì)，工質(zhì)繼續(xù)循環(huán)，最終通過室外的換熱冷卻設(shè)備，將熱量傳遞至室外環(huán)境中。液冷根據(jù)冷媒和發(fā)熱元器件的接觸方式不同，可分為間接冷卻式和直接冷卻式；根據(jù)冷媒是否發(fā)生相態(tài)變化，又可分為單相與相變兩種方式。其中，間接冷卻方式主要以冷板式液冷為主，通過冷板將主要發(fā)熱元器件（CPU、內(nèi)存等）的熱量間接傳遞給冷板內(nèi)的冷媒，具有對計算機系統(tǒng)改動較小、更易于推廣應(yīng)用的優(yōu)點，適用于各類型數(shù)據(jù)中心的新建和改、擴建工程；直接冷卻方式主要包括噴淋式和浸沒式，其中噴淋式液冷將冷媒液體噴淋到發(fā)熱元器件表面（或與之接觸的擴展表面），浸沒式液冷則將全部發(fā)熱元器件浸沒于冷媒液體中，主要利用液體流動（非相變方式）或汽化（相變方式）直接帶走全部元器件熱量，具有散熱效率更高的優(yōu)勢，但對計算機系統(tǒng)設(shè)計要求較高，更適用于大型、超大型算力數(shù)據(jù)中心的新建工程。

根據(jù)中國電子技術(shù)標準化研究院發(fā)布《綠色數(shù)據(jù)中心白皮書2019》，冷板式和浸沒式液冷相比傳統(tǒng)風冷模式具有更優(yōu)異的PUE值，且確保CPU運行溫度低至65℃，有效提高系統(tǒng)系統(tǒng)運行的可靠性和安全性，具體見表2。其中，冷板式液冷早于2011年便實現(xiàn)大規(guī)模商業(yè)化應(yīng)用；而世界領(lǐng)先的浸沒相變式液冷于2018年實現(xiàn)首次落地應(yīng)用，目前已在全國多個大型、超大型數(shù)據(jù)中心項目實現(xiàn)商業(yè)化應(yīng)用。

表2 數(shù)據(jù)中心液冷與風冷的比較分析

2.4 磁光電融合大容量光盤庫

采用磁光電多級存儲融合和全光盤庫虛擬化存儲機制，實現(xiàn)新型光存儲數(shù)據(jù)組織技術(shù)，同時利用新型固態(tài)存儲、磁盤等作為光盤庫的高速緩存，提供適合數(shù)據(jù)中心應(yīng)用的存取接口。2U機柜能夠最大容納12240張光盤，裸存儲容量超過1.2PB；可實現(xiàn)數(shù)據(jù)中心級無縫擴展可實現(xiàn)99.99%的I/O操作時間小于1秒,峰值存取吞吐率≥1GByte/s，單庫容量≥0.5PByte/s，峰值功耗≤1千瓦；單盤丟失不造成數(shù)據(jù)丟失。

數(shù)據(jù)中心可采用兩種及以上混合存儲介質(zhì)及技術(shù)，實現(xiàn)數(shù)據(jù)高效綠色安全存儲。目前具有節(jié)能、大容量、高性能特征的存儲新技術(shù)主要包括：①藍光存儲技術(shù)和產(chǎn)品，藍光光盤具有存儲大容量、長壽命、低成本、低功耗和高安全性的特性。藍光光盤采用無機相變材料，單張容量可達500GB，單機柜容量可達3.2PB；藍光光盤可在常溫常濕的條件下存儲數(shù)據(jù)50～100年，無需數(shù)據(jù)遷移，與磁盤存儲相比總體成本（TCO）大幅降低；在節(jié)能方面，2021年4月中國信通院測試報告顯示，藍光存儲比相同容量的磁盤存儲能耗降低94.72%；且具有防黑客、抗電磁干擾、無輻射等功能特性，可實現(xiàn)數(shù)據(jù)長期、安全、可靠存儲；②閃存技術(shù)和產(chǎn)品，閃存具有低延時、高彈性、高性能、低功耗的特點。在中國計算機行業(yè)協(xié)會2022年發(fā)布的《全球閃存存儲技術(shù)及產(chǎn)業(yè)發(fā)展研究報告》中指出，同等容量的閃存比磁存儲節(jié)能70%，空間節(jié)省50%。大規(guī)模推廣存儲新技術(shù)，將大大降低數(shù)據(jù)中心能耗，與此同時，單位功耗的存儲能力即“存儲能效”的概念也具有深入研究的意義和必要。

2.5 整機柜服務(wù)器技術(shù)

整機柜服務(wù)器是指將服務(wù)器的各個組件按照功能進行模塊化重新組合，實現(xiàn)使用功能集中化、設(shè)計模塊化。此類服務(wù)器可降低對機房環(huán)境的溫度要求，提高送風精度，降低傳輸損耗，便于集中供電或者散熱提高整體效率。

據(jù)推算，風扇墻設(shè)計可以降低?的散熱功耗。集中散熱可以整合成一個散熱風扇墻布局在整個機柜的后部，從而移除每個服務(wù)器節(jié)點的散熱風扇。此外，還可優(yōu)化供電系統(tǒng)效率提升9%。整機柜服務(wù)器在架構(gòu)設(shè)計時考慮到供電效率和成本的優(yōu)化，把機架服務(wù)器中的供電模塊全部抽離出來，僅需8個2.4kW電源模塊，即可滿足48節(jié)點的供電需求，電源使用數(shù)量由96個減少到8個，減少90%的電源數(shù)量。實測轉(zhuǎn)換效率高達94%，與傳統(tǒng)服務(wù)器電源相比，效率提升9%。在空間利用方便也更具備優(yōu)勢，例如1臺42U的服務(wù)器，最低可保證32個節(jié)點部署密度，最多可布置80個節(jié)點，空間利用率大幅提升。

2.6 余熱回收利用技術(shù)

數(shù)據(jù)中心服務(wù)器在運行的過程中產(chǎn)生大量的余熱，雖然余熱品位低，但具有易提取、熱源充足的特點，利用熱泵等技術(shù)將數(shù)據(jù)中心余熱回收利用，在數(shù)據(jù)中心有著廣泛的應(yīng)用前景，尤其是在我國北方地區(qū)，可有效幫助用戶降低用熱成本。但目前來看，我國數(shù)據(jù)中心余熱回收利用情況并不理想。目前我國大約有8萬座數(shù)據(jù)中心，絕大部分余熱直接排向空氣，浪費巨大。以騰訊天津數(shù)據(jù)中心為例，其提取園區(qū)1/40熱量即可滿足辦公樓采暖需求，每年可節(jié)省采暖費50余萬元，減少能耗標煤量達1620.87噸，相當于減少約4000噸二氧化碳排放，碳排放當量約為種植22萬棵大樹，年節(jié)能量達461.62噸，總節(jié)能率達28.48%。

數(shù)據(jù)中心熱回收可以以兩種方式進行，①是數(shù)據(jù)中心自建自用，供數(shù)據(jù)中心項目及周邊廠房生活熱水或冬季取暖使用。②是數(shù)據(jù)中心周邊不具備就地消納余熱場景時，可考慮將余熱納入市政供暖系統(tǒng)，但仍面臨政策支持、管網(wǎng)接入維護、成本核算等問題。

3 結(jié)論與展望

黨中央、國務(wù)院大力推進數(shù)字經(jīng)濟發(fā)展，對數(shù)據(jù)中心綠色化協(xié)同發(fā)展提出了更高要求。北京市在“十四五”時期提出建設(shè)人工智能算力樞紐、打造全球數(shù)字經(jīng)濟標桿城市的目標，意味著現(xiàn)階段既要對首都建設(shè)提供算力保障，又要兼顧高質(zhì)量發(fā)展、綠色發(fā)展。本文通過梳理當前主流的數(shù)據(jù)中心項目節(jié)能降碳技術(shù)應(yīng)用現(xiàn)狀，對科學(xué)指導(dǎo)北京市數(shù)據(jù)中心項目綠色低碳發(fā)展具有重要意義。合理利用節(jié)能降碳技術(shù)是北京市高質(zhì)量推進數(shù)據(jù)中心綠色低碳發(fā)展的必然選擇，從能源利用效率角度來看，如何以更少的能耗水平創(chuàng)造出更多的算力資源和存儲能力，具有探究價值；長遠來看，信息技術(shù)的升級迭代、新業(yè)態(tài)場景的不斷涌現(xiàn)，都將對數(shù)據(jù)中心的規(guī)?；焖俨渴?、AI智能化運維、安全可信度等提出更高要求，也將對數(shù)據(jù)中心節(jié)能降碳技術(shù)創(chuàng)新應(yīng)用帶來深刻影響。