何曉燕

上海市建筑科學(xué)研究院有限公司

0 引言

2022年上海市政府工作報告中明確指出，將聚力推進城市數(shù)字化轉(zhuǎn)型，加快建設(shè)具有世界影響力的國際數(shù)字之都。上海高度重視數(shù)字產(chǎn)業(yè)發(fā)展，由此對信息基礎(chǔ)設(shè)施具有強烈需求和較高要求。根據(jù)上海市經(jīng)信委2021 年12 月印發(fā)的《上海市新一代信息基礎(chǔ)設(shè)施發(fā)展“十四五”規(guī)劃》（滬經(jīng)信基[2021］1197 號），互聯(lián)網(wǎng)數(shù)據(jù)中心標準機架可用規(guī)模將從2020 年的11 萬架擴展至2025 年的28 萬架，增量達150%，意味著上海將大力建設(shè)數(shù)據(jù)中心的產(chǎn)業(yè)發(fā)展導(dǎo)向。數(shù)據(jù)中心建設(shè)的快速發(fā)展，能源需求也將持續(xù)攀升。上海市經(jīng)信委提供的統(tǒng)計數(shù)據(jù)顯示，上海2019 年投運的IDC 共計107 個，總用電量為33.8 億kWh，折合97.34 萬tce，占全市全年用電總量的2.1%，數(shù)據(jù)中心已成為影響上海完成“碳達峰”“碳中和”工作的重要環(huán)節(jié)。如何全面響應(yīng)國家“雙碳”戰(zhàn)略，增強全社會可持續(xù)發(fā)展能力，需要從數(shù)據(jù)中心的碳足跡出發(fā)，探索低碳數(shù)據(jù)中心的長遠發(fā)展路徑，逐步實現(xiàn)數(shù)據(jù)中心碳中和的目標。

PUE(Power Usage Effectiveness，電源使用效率)是指數(shù)據(jù)中心總能耗與IT 負載能耗之比,PUE值的大小最能準確反映數(shù)據(jù)中心綜合能效。根據(jù)上海市相關(guān)要求，新建數(shù)據(jù)中心PUE 不應(yīng)高于1.3，既有數(shù)據(jù)中心PUE 不應(yīng)高于1.4。數(shù)據(jù)中心節(jié)能是涉及多專業(yè)的系統(tǒng)工程，涉及建筑與熱工、IT 設(shè)備、電氣系統(tǒng)、空調(diào)系統(tǒng)、給排水系統(tǒng)和運營管理等方面，本文結(jié)合筆者的測評工作經(jīng)驗，重點闡述數(shù)據(jù)中心核心區(qū)域即主機房的節(jié)能策略，主要包括機房氣流組織優(yōu)化及UPS 系統(tǒng)效率提升兩部分。因為氣流組織形式是主機房設(shè)計過程中極為重要的一個環(huán)節(jié)，好的氣流組織形式能夠保證冷量快速高效地送至IT 設(shè)備處，并及時帶走熱量，高效節(jié)能；反之即使配置了高效的空調(diào)設(shè)備，也可能會產(chǎn)生局部熱點，空調(diào)系統(tǒng)整體能效低。此外，由于一般銀行或金融類數(shù)據(jù)中心的UPS 單機負載率都長時間保持在20%～40%，因此相比較于UPS 滿負荷時的整機效率，研究UPS 在低負載率情況下的整機效率和提升路徑將更有價值。

1 數(shù)據(jù)中心機房測試數(shù)據(jù)分析

1.1 項目概況

被測數(shù)據(jù)中心機房位于上海市，設(shè)計溫度為20～26 ℃，相對濕度50%RH±10%RH，露點溫度12 ℃。機房內(nèi)共擺放機柜94 個，測試當(dāng)日IT 設(shè)備運行總功率約為142 kW，單臺機柜平均功率為1.51 kW。配置精密空調(diào)8 臺，單臺額定制冷量為1 235 kW。送風(fēng)采用下送上回方式,氣流組織為靜壓地板下送上回+封閉冷通道形式，架空地板高800 mm，采用不同開孔率的地板。

1.2 機房氣流組織測試

該項目采用自主研發(fā)的溫度場自動測試儀進行測試，測量元件為PT100 溫度傳感器，精度±0.1 ℃，本次選取了B-C 列機柜間的冷通道進行測試，測點位置為每個機柜正前方中軸處，測試高度分別為0.25、0.80、1.35 和1.90 m，并繪制不同高度的溫度場熱力圖，如1.9 m高度熱力圖如圖1所示。

圖1 冷通道1.9 m高度熱力圖

圖1 溫度最高點為C24 機柜進風(fēng)口，為33.98 ℃；溫度最低點為C16 機柜進風(fēng)口，為23.89 ℃，可見該通道進風(fēng)口溫差較大。

測試及分析結(jié)論如下：

1）機柜入口溫度分析?？傆嫓y點96個，被測冷通道最低20.34 ℃，最高34.88 ℃，平均溫度24.27 ℃，部分區(qū)域溫度不滿足ASHRAE TC9.9《數(shù)據(jù)中心環(huán)境散熱指南》和國家標準《數(shù)據(jù)中心設(shè)計規(guī)范》（GB 50174-2017），兩個標準均要求IT 設(shè)備的入口溫度保持在18～27 ℃。溫度分布如圖2所示。

圖2 冷通道溫度分布直方圖

2）溫度場分布規(guī)律分析。從圖3 可以看出，測點溫度總體上隨著高度的增加逐漸升高，但由于機柜功率的分布情況等因素，個別機柜前測點溫度分布不具有一般規(guī)律。

圖3 不同高度的冷通道溫度分布圖

3）熱點分布分析。如C22 機柜前最高測點與最低測點的溫差高達12.2 ℃，C24相差9.8 ℃，C17相差6.59 ℃，如圖4 所示。采用紅外成像儀測得C22 最熱點溫度高達42.8 ℃（如圖5 所示）該問題是由于服務(wù)器反裝導(dǎo)致，機柜散熱排入冷通道，造成機房氣流組織紊亂，溫度場分布出現(xiàn)異常。此外，機柜內(nèi)空閑U 位未安裝盲板,導(dǎo)致機柜內(nèi)微環(huán)境氣流紊亂,IT 設(shè)備排出的熱氣流,經(jīng)空閑U 位回流至設(shè)備進風(fēng)口,致使設(shè)備入口溫度大于機柜進風(fēng)溫度,使設(shè)備進風(fēng)溫度升高。

圖4 不同高度的冷通道溫度分布圖

圖5 C22機柜前方溫度熱成像

4）送風(fēng)風(fēng)速分析。該機房采用下送風(fēng)，氣流從空調(diào)機的底部送出，地板以下形成靜壓箱，通過地板出風(fēng)口疏散到機房各個角落，回風(fēng)是從機房上送回到空調(diào)機組。一般采用活動地板作為靜壓箱時，出風(fēng)口風(fēng)速不應(yīng)大于3 m/s，測試期間冷通道地板風(fēng)速為1.18 m/s～4.43 m/s，基本屬于合理范圍。

1.3 UPS測試

該被測機房所在樓層設(shè)有2個主機房，UPS配置形式為2N系統(tǒng)，每個系統(tǒng)采用3臺5 000 020 kVA以并機互投方式為主機房設(shè)備提供不間斷電源，總計6 臺。測試期間每臺UPS 負載率約為15%。采用電能質(zhì)量分析儀對該UPS 系統(tǒng)進線側(cè)進行測試，測試及分析結(jié)論如下：

1）電能質(zhì)量分析。由表1 檢測結(jié)果分析得知，被測UPS上游存在少量諧波，但UPS注入電網(wǎng)的諧波等參數(shù)不能采用常規(guī)電氣性能指標評價。根據(jù)通信用交流不間斷電源(UPS)YD/T 1095-2018（表1所采用標準），輸入電流諧波成分在30%非線性負載時，三類指標要求最大不超過25%，因此，注入電網(wǎng)的諧波符合標準要求。

表1 UPS 電源輸入側(cè)電能質(zhì)量數(shù)據(jù)匯總

2)UPS效率分析。UPS電源效率η的定義是輸出有功功率P 與輸入有功功率P'之比的百分數(shù)，即η=（P/P'）%。UPS 電源效率并不是一個固定的數(shù)值，而是負載率的一個函數(shù)。該項目UPS 在負載率15% 工況下，三臺UPS 的損耗分別為9.65%、11.69%和10.41%，效率分別為90.3%、88.3%和89.6%。廠商資料顯示，該高頻UPS 系統(tǒng)效率可達94.5%，因此，在低負載情況下，UPS 的實際運行效率低于廠家指標。

1.4 pPUE測試

數(shù)據(jù)中心局部PUE 即pPUE 是PUE 概念的延伸，由于部分設(shè)備共用，因此計算pPUE時需要做仔細的拆分。測試工況下共開啟了4臺精密空調(diào)機組，合計35.5 kW，機房IT設(shè)備總功率為142 kW，因受計量器具配備不足限制，暫無法拆分冷源和UPS 損耗等共用設(shè)備能耗；則在不考慮上述分攤的情況下，計算pPUE為1.43。當(dāng)然，由于部分能耗未進行分攤，因此單獨評價該pPUE無實際意義。但如果各機房模塊均采用此pPUE計算方法，則在同等條件下計算結(jié)果可以橫向比較氣流組織對精密空調(diào)綜合能效的影響，也不失為一種簡易可行的評價方法。

2 數(shù)據(jù)中心機房能效提升路徑

2.1 氣流組織優(yōu)化

氣流組織形式選用的原則是：有利于電子信息設(shè)備的散熱，建筑條件能夠滿足設(shè)備安裝要求。主機房空調(diào)系統(tǒng)的氣流組織形式，應(yīng)根據(jù)電子信息設(shè)備本身的冷卻方式、設(shè)備布置方式、設(shè)備散熱量、室內(nèi)風(fēng)速、防塵和建筑條件綜合確定，并宜采用計算流體動力學(xué)對主機房氣流組織進行模擬和驗證。當(dāng)電子信息設(shè)備對氣流組織形式未提出要求時，主機房氣流組織形式、風(fēng)口及送回風(fēng)溫差可按表2選用。

表2 主機房氣流組織形式、風(fēng)口及送回風(fēng)溫差

數(shù)據(jù)機房常采用房間級空調(diào)、行間空調(diào)和機柜級空調(diào)三種方式末端形式。單機柜平均功率小于6 kW 時，宜采用房間級精密空調(diào)，地板下送風(fēng)+冷（或熱）通道封閉或彌漫送風(fēng)+熱通道封閉的氣流組織形式；單機柜平均功率6～15 kW 時，宜采用行間空調(diào)+冷（或熱）通道封閉的氣流組織形式；單機柜平均功率15～25 kW 時，宜采用水冷背板、熱管背板等機柜級空調(diào)；單機柜平均功率大于25 kW時，宜采用封閉式機柜；單機柜平均功率超過30 kW，應(yīng)考慮散熱效率更高的芯片級或浸入式液冷技術(shù)。

2.2 提高UPS效率

UPS 系統(tǒng)的損耗是數(shù)據(jù)中心能耗的主要組成部分，大約占到數(shù)據(jù)中心能耗的6%～15%，數(shù)據(jù)中心要達到低PUE，必須選擇運行效率更高的UPS。UPS 的效率直接決定了整個UPS 系統(tǒng)的能耗。按UPS 的電路工作頻率來劃分，UPS 可分為工頻機和高頻機。影響UPS 效率的因素較多，比如前置變壓器、濾波器、整流器、逆變器、輸出變壓器以及負載的功率因數(shù)和負載百分比。在同樣指標下，比如要求輸入功率因數(shù)為0.95以上時，工頻機UPS就必須外加諧波濾波器或改為12脈沖整流，就是說前面要增加一個設(shè)備，再加上輸出變壓器，就比高頻機UPS 多了兩個環(huán)節(jié)，由于此二者的影響，使得工頻機UPS 的效率比高頻機UPS 約低5%。一般情況下，UPS 的效率會隨著負載率的提高而提高，并且會在負載率達到70%時達到效率最高點?？紤]到UPS 的初期投資，可以選用模塊化UPS 達成這一目的。模塊化的一大優(yōu)勢在于可按需擴容，不必過于超前規(guī)劃UPS 系統(tǒng)的容量，而是可以在適合的范圍內(nèi)接近負載容量，從而達到最好的效率點。根據(jù)工信部聯(lián)合五部委共同出臺的《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》(工信部聯(lián)通[2013］13 號)，不同類型UPS 對PUE 貢獻差異可達0.1 以上。不同類型UPS對PUE貢獻差異見圖6。

高頻機UPS取代工頻機UPS是必然的，在國家提倡環(huán)保節(jié)能的今天，綠色節(jié)能型模塊化UPS 備受關(guān)注，輸入功率因數(shù)達0.999以上，模塊化UPS采用N+X 的并聯(lián)方式，用戶可以根據(jù)自己的負載以及為體現(xiàn)安全性所需要的功率冗余來決定UPS模塊數(shù)。

3 結(jié)語

加強數(shù)據(jù)中心機房節(jié)能工作的重要性不言而喻，針對現(xiàn)在已建成的PUE 大于1.4 的數(shù)據(jù)中心，可通過數(shù)據(jù)中心評測，提出節(jié)能技改、運行管理優(yōu)化等方面措施建議，從而優(yōu)化機房氣流組織、提高UPS 電源的使用效率和電源質(zhì)量等，在保證機房安全穩(wěn)定運行的同時，促進綠色數(shù)據(jù)中心建設(shè)。