安 真， 周德文， 錢 斌

(華為技術有限公司，北京 100001)

0 引言

2020年03月04日，中央政治局常委會提出“要加大公共衛(wèi)生服務、應急物資保障領域投入，加快5G網(wǎng)絡、數(shù)據(jù)中心等新型基礎設施建設進度”。數(shù)據(jù)中心作為新基建的核心內容，成為整個行業(yè)的關注焦點。

數(shù)據(jù)中心發(fā)展進入新的時期，其發(fā)展也面臨各方面的趨勢和挑戰(zhàn)。這些挑戰(zhàn)需要新的技術和方案來應對和解決，比較顯著的有以下幾個方面。

首先是高密化。來自數(shù)據(jù)中心通用計算的電子信息系統(tǒng)發(fā)展帶來數(shù)據(jù)中心發(fā)展新需求。眾所周知，隨著芯片工藝快速發(fā)展，當前的芯片加工工藝水平已經逼近可加工的理論極限，芯片級的摩爾定律逐漸失去作用，但是各行業(yè)數(shù)字化的發(fā)展速度并沒減慢，系統(tǒng)或產品的性能提升，需要更多物理芯片的堆積，這就帶來了服務器功耗隨算力的線性提升。另外，AI(人工智能)計算的興起，會導致數(shù)據(jù)中心單機柜功率密度的快速提升，據(jù)華為云與計算部預測，到2025年，數(shù)據(jù)中心80%的負載運行AI計算。而運行AI計算的GPU芯片功耗大于通用計算的CPU若干倍。

高密度和大型化帶來數(shù)據(jù)中心的高能耗問題。2018年我國數(shù)據(jù)中心用電總量為1 609億kWh，占全社會總用電量的2.35%。2020年用電總量將達2 023億kWh，占全社會用電總量的2.7%；2030年將突破4 000億kWh，占全社會用電總量的3.7%。

其次是系統(tǒng)更大型化和復雜化，數(shù)據(jù)中心規(guī)模集中效應可以有效降低建設和運營成本，云數(shù)據(jù)中心體量越來越大，萬柜級多地多中心成為云計算企業(yè)的主流需求，市電引入從10kV專線提升到110kV專用變電站，能耗倍增、管理復雜度倍增。

數(shù)據(jù)中心最關鍵的系統(tǒng)是支持IT設施運行的供配電系統(tǒng)和空調系統(tǒng)，前者在很大程度上決定了數(shù)據(jù)中心運行水平的可靠性，后者還對數(shù)據(jù)中心的節(jié)能發(fā)揮了至關重要的作用。本文試圖對此二系統(tǒng)的關鍵創(chuàng)新技術進行概述和辨析。

1 供配電系統(tǒng)架構及新技術辨析

按照功能組成,供配電系統(tǒng)主要由10kV配電、柴油發(fā)電機組、變壓器、低壓配電、UPS電源及其配電、電池、列頭柜等部分組成，其基本原理如圖1所示。

從供配電系統(tǒng)架構可以看出，2N系統(tǒng)因其運維簡單、可靠性高，被行業(yè)廣泛采用，是數(shù)據(jù)中心供配電主流解決方案。美國、英國、荷蘭、新加坡、迪拜等國家或地區(qū)的個別企業(yè)也會采用RR、DR等容錯架構?？煽啃詿o法滿足容錯功能的架構在大型數(shù)據(jù)中心的應用并不多見。

圖1 數(shù)據(jù)中心供配電系統(tǒng)原理示意圖

過去十年，供配電系統(tǒng)創(chuàng)新的焦點是電源形式，除UPS(交流不間斷電源)之外，互聯(lián)網(wǎng)還出現(xiàn)了HVDC(高壓直流)、OCP(開源服務器)電源等多種電源并存的形式，其中UPS又分為工頻塔式、高頻塔式、高頻模塊化等形式。

(1)UPS各種形式的優(yōu)劣分析和發(fā)展趨勢分析

UPS本身的技術發(fā)展路徑相對清晰，高頻技術全面取代工頻技術已成為定局，高頻在效率、成本、占地、諧波等各方面均具備領先一代的優(yōu)勢。主要指標分析如表1。

主流廠商UPS主要指標分析 表1

在高頻技術下，模塊化和塔式兩種形式競爭激烈，業(yè)界通常的認知是，模塊化UPS在用戶側的自主運維難度降低，在安裝維護、后期擴容方面具備塔式UPS無法替代的優(yōu)勢，這也是模塊化UPS被IDC、運營商行業(yè)用戶廣泛應用的原因。當然，行業(yè)內也有少量用戶認為多個模塊并機可能會有風險。其實，就可靠性而言，兩者基本持平，某些維度模塊化UPS還會略優(yōu)，可靠性的詳細對比分析如表2所示。

近年來，絕大多數(shù)新上市的塔式UPS也采用了模塊化架構，可見，模塊化UPS是交流UPS的發(fā)展方向。

除了交流UPS，高壓直流系統(tǒng)(HVDC)在數(shù)據(jù)中心領域也有一定的應用。HVDC并不是一個新生事物，其發(fā)展已經超過20年歷史，美國、日本、歐洲、中國均有長時間的研究。目前，美國、日本、歐洲僅限于局部實驗，因為沒有明顯優(yōu)勢，未能擴大到主流數(shù)據(jù)中心領域。在中國，“一路HVDC+一路市電直供”的架構在節(jié)能和成本上的優(yōu)勢，吸引了一些頭部互聯(lián)網(wǎng)和運營商在自用機房應用。

塔式UPS與模塊化UPS的可靠性對比 表2

但“HVDC+路市電直供”不屬于容錯架構，在HVDC檢修時，市電閃斷導致服務宕機事件已經多次發(fā)生，鑒此，部分用戶已經放棄此種架構，重新回到2N的容錯系統(tǒng)。隨著主流UPS廠商對研發(fā)的不斷投入，UPS的效率在不斷提升，價格不斷下降，HVDC已經不再具備效率、成本優(yōu)勢，加之部分服務器并不兼容HVDC電源制式，HVDC在行業(yè)的應用正在收縮。

UPS、HVDC等電源的創(chuàng)新都只是部件層面的，對供電鏈路影響有限，未來一定是供電鏈路端到端的創(chuàng)新，隨著第三代半導體技術的成熟，10kV級的電力電子電源將成為可能，銅質變壓器被電力電子變壓器取代，其新鏈路如圖2所示。

圖2 下一代供配電系統(tǒng)原理示意圖

(2)儲能的發(fā)展趨勢

電池是數(shù)據(jù)中心供配電系統(tǒng)的重要組成。其中鉛酸電池在數(shù)據(jù)中心行業(yè)長期占據(jù)主導地位，但鉛酸電池循環(huán)壽命短、占地大、對機房承重要求高，且容易造成鉛鉻重金屬環(huán)境污染，這些問題一直是數(shù)據(jù)中心建設和運維的痛點。鋰電池具有能量密度高、占地小、循環(huán)壽命長等優(yōu)勢，幾乎可以彌補鉛酸電池的所有缺點，但因其價格高昂，在以往的數(shù)據(jù)中心并沒有太多的應用。

隨著鋰電池在汽車、5G等行業(yè)更為廣泛的應用，成本降幅持續(xù)增大，國外一些大型數(shù)據(jù)中心已經開始大規(guī)模使用鋰電。相信隨著鋰電應用規(guī)模的擴大，其成本還會進一步下降，未來鋰電池必將取代鉛酸電池，占據(jù)數(shù)據(jù)中心儲能主導市場。

2 數(shù)據(jù)中心制冷系統(tǒng)架構及新技術辨析

過去十年，大型數(shù)據(jù)中心空調基本上從DX(直接膨脹式)定頻空調走向了冷凍水系統(tǒng)。近年來，隨著變頻技術在空調行業(yè)的普遍應用，DX空調能耗高且無法解決連續(xù)制冷的缺陷已經成為歷史，制冷系統(tǒng)正處于多種形式并存的百花齊放局面。

數(shù)據(jù)中心能耗巨大，節(jié)能正在成為數(shù)據(jù)中心建設的普遍訴求。節(jié)能創(chuàng)新主要聚焦在制冷系統(tǒng)的創(chuàng)新。而制冷系統(tǒng)的創(chuàng)新，主要聚焦在自然冷源的有效利用方面。此外，AI等新技術的加持也發(fā)揮出了新的價值。

(1)直流變頻DX技術

DX空調是傳統(tǒng)的制冷方式，隨著直流變頻技術向數(shù)據(jù)中心機房精密空調的引入，機房精密空調的效率大幅提升，成為了新型、廣普適用的節(jié)能技術。采用直流變頻技術的DX空調，除能效大幅提高外，還具有室內占地面積小、控制簡單、氣候適宜范圍廣、無須依賴水資源等優(yōu)點。

鑒于冷媒管不能過長，高差不能過大，建筑設計時，需要提前留出室外機的部署空間。此外，夏天最高溫時，峰值PUE也會較差。當前，中等規(guī)模的數(shù)據(jù)中心大多都是采用了這種技術路線。

(2)空-空換熱技術/間接蒸發(fā)冷卻

換熱采用空氣-空氣換熱器，換熱器由若干板片構成完全隔離的通道，室外空氣經蒸發(fā)冷卻后和機房空氣在各自通道內通過膜片進行換熱。升溫后的室外空氣再送回室外，降溫后的機房空氣重新送回機房。該方案具有的優(yōu)點主要包括：1)自然冷源利用率高，容易獲得較低的PUE；2)室外空氣質量對機房環(huán)境沒有影響；3)設備控制和維護也相對簡單，對運維團隊的專業(yè)要求較低；4)采用間接蒸發(fā)冷卻機組，即使發(fā)生故障，也只會影響到局部機房，故障影響面不會太大；5)工程因素對項目影響小，分期建設更容易。

目前，長江以北地區(qū)的新建數(shù)據(jù)中心已經有了規(guī)模應用，華南地區(qū)也有一些案例。但是，該方案的建筑適應性相對較差，需要在建筑結構設計時匹配機組的安裝和風道。此外，夏天最高溫時，需要啟動壓縮機進行補冷，峰值PUE可能會高于冷凍水系統(tǒng)。

隨著服務器耐熱能力的提升，間接蒸發(fā)冷卻的應用范圍會更加寬泛，未來將成為數(shù)據(jù)中心冷卻的首選方案。

(3)冷水機組水側自然冷

在水冷冷凍水系統(tǒng)中，可以利用冷卻塔+板換或干冷器，通過在常規(guī)空調系統(tǒng)基礎上增設部分管路和設備，實現(xiàn)自然冷卻，達到節(jié)能的目的。風冷冷水機組也可以增加內置或外置的干冷器實現(xiàn)自然冷卻。冷凍水系統(tǒng)屬于集中冷源，應用范圍寬、建筑適應能力強、制冷效率較高，具有一定水平的節(jié)電降耗價值，在各行各業(yè)都有普遍應用。在中、大型數(shù)據(jù)中心里，是最常見的制冷方式。

但是，冷凍水系統(tǒng)對設計和運維的專業(yè)性要求較高，控制相對復雜，很多項目由于缺乏相關的專業(yè)指導和運維管理經驗，各種模式切換存在風險，導致實際節(jié)能效果參差不齊，特別是前期低負荷運行期間。此外，由于多種事故都有可能導致集中式冷凍水系統(tǒng)出現(xiàn)制冷中斷，行業(yè)內因為冷凍水系統(tǒng)導致整個數(shù)據(jù)中心出現(xiàn)宕機的案例也有發(fā)生。

以上海某項目為例，幾種方案對比如表3所示。

方案對比詳表 表3

(4)直接新風冷卻

除了DX空調、冷凍水和間接蒸發(fā)冷卻機組之外，行業(yè)內還有少量客戶已經或正在嘗試直接新風冷卻。直接新風冷卻即直通風方式，利用低溫自然冷空氣或與部分回風熱空氣混合，經過濾、凈化處理后，直接送入機房實現(xiàn)冷卻。該方案沒有中間換熱過程，自然冷源利用熱效率高，如果輔之以蒸發(fā)冷卻裝置，可以更長時間利用自然冷源。

但直接新風冷卻方案存在以下問題。

1)換熱的同時伴隨著物質的交換。任何一個環(huán)境，空氣質量都是難以保持穩(wěn)定的，有時甚至會受到周邊事故的影響?？諝馕廴据^重時，必須對冷空氣進行過濾處理，維護成本高，特別是需要采用化學過濾器時，成本支出較大。

2)室內外空氣不隔離，導致濕度處理復雜，存在頻繁的加濕除濕過程，耗水、耗電量巨大。

3)室外溫度過低時，冷空氣需進行再加熱和加濕或與排風充分混合，否則容易導致凝露。這種溫濕度的控制通常很難做到絕對可靠。

4)需要提前和建筑設計配合，避免送排風短路，避免送風距離過長引起的風機功耗較大。實際項目中，為了實現(xiàn)該目標，設計和安裝都有難度。

正是因為直接新風方案室外空氣處理流程復雜，且存在眾多的不確定性，在行業(yè)內應用不多，難以成為未來的發(fā)展方向。

除了制冷系統(tǒng)自身的特點之外，隨著AI技術在各行各業(yè)的應用普及，空調輔以AI調優(yōu)在數(shù)據(jù)中心行業(yè)也嶄露頭角，并取得了相對較為理想的效果。相信未來，對專業(yè)要求低、運維簡單的DX空調或間接蒸發(fā)冷卻機組，輔以AI技術，將成為數(shù)據(jù)中心制冷方向的主流解決方案。

3 結束語