孫靜靜，井湯博

（1.亞馬遜通中國有限公司，廣東中山 528445；2.北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司，北京 100098）

近年來，隨著大數(shù)據(jù)、云計算和人工智能的迅猛發(fā)展，數(shù)據(jù)中心尤其是超大集群互聯(lián)網(wǎng)數(shù)據(jù)中心迅猛發(fā)展，成為下一代七大“新基建”之一。同時，能源成本的不斷攀升以及人們對綠色環(huán)保的重視及國家對碳中和的承諾，迫使服務(wù)器及數(shù)據(jù)中心節(jié)能需求越來越強烈。在保證設(shè)備安全、高性能運行的前提下，如何提高數(shù)據(jù)中心的能源利用效率，降低電能利用率（power usage effectiveness，以下簡稱“PUE”）至關(guān)重要。

現(xiàn)有數(shù)據(jù)中心采用制冷設(shè)備上的節(jié)能，如采用高效變頻離心機或磁懸浮機組、增大換熱器傳熱效率及采用近端制冷等；同時在環(huán)境適宜地區(qū)，結(jié)合自然冷卻（或免費冷卻）將外部的冷量引入機房。但是，制冷設(shè)備在部署后并未充分且高效運轉(zhuǎn)，節(jié)能有限，主要原因是不同設(shè)備的控制及運行根據(jù)自身的調(diào)控策略，設(shè)備之間及設(shè)備與機房IT 負荷和環(huán)境之間并未建立起一個全局的聯(lián)動控制策略。

現(xiàn)有的數(shù)據(jù)中心控制策略一般各個設(shè)備或者子系統(tǒng)獨立控制，張春朋[1]通過專家經(jīng)驗對制冷系統(tǒng)各個環(huán)節(jié)進行了細致分析，考慮了機房負載狀態(tài)、可靠性并兼顧節(jié)能，并應(yīng)用在某機房中。沈雪紅[2]、李玉街[3]等應(yīng)用冷量動態(tài)調(diào)節(jié)技術(shù)等對數(shù)據(jù)中心空調(diào)系統(tǒng)進行實際改造和節(jié)能分析。這種模型的精度與實際運行存在偏差，經(jīng)驗公式的控制優(yōu)化方案存在較大的不確定性且偏差較大，更無法快速響應(yīng)負荷和環(huán)境變化；另一種是采用機器學(xué)習(xí)將大量的制冷系統(tǒng)參數(shù)訓(xùn)練出功耗模型直接模擬PUE 指標（比如Google 公司的機器學(xué)習(xí)模型）。王曼等[4]進行了進一步摸索，嘗試通過Lasso 回歸篩選和人工參數(shù)篩據(jù)中心能耗預(yù)測模型的輸入?yún)?shù),但是沒有進一步說明如何優(yōu)化和應(yīng)用，其實際效果不明確且其特征參數(shù)受到場景影響局限性很大。王曼等進行了進一步摸索，嘗試通過Lasso 回歸篩選和人工參數(shù)篩據(jù)中心能耗預(yù)測模型的輸入?yún)?shù)，但是沒有進一步說明如何優(yōu)化和應(yīng)用，其實際效果不明確且其特征參數(shù)受到場景影響局限性很大。

同時，以上算法在節(jié)能的同時，沒有考慮到數(shù)據(jù)中心SLA（Service Level Agreement 服務(wù)水平協(xié)議）的溫度濕度范圍的要求，導(dǎo)致在實際運行中超出限度，影響業(yè)務(wù)可靠性。

當(dāng)前研究的數(shù)據(jù)中心節(jié)能控制策略都建立在傳統(tǒng)冷凍水系統(tǒng)的模型，很少涉及分布式制冷系統(tǒng)，不太匹配目前日益多樣化的多種數(shù)據(jù)中心制冷方案，尤其是目前越來越多應(yīng)用的分布式制冷技術(shù)。

1 背景和基本介紹

近年來，互聯(lián)網(wǎng)公司和云計算服務(wù)商廣泛采用具有快速部署和分期交付能力的分布式AHU（Air Handling Unit）制冷系統(tǒng)。其相比傳統(tǒng)的大型冷凍水制冷系統(tǒng)，提高了交付速度，減少管路調(diào)試和施工，同時也在某些地區(qū)具有更好的節(jié)能潛力，典型的分布式AHU 數(shù)據(jù)中心圖1所示。

圖1 典型的分布式AHU數(shù)據(jù)中心

AHU 其基本組成為：空氣-空氣換熱機組，送回風(fēng)風(fēng)閥，室內(nèi)及室外循環(huán)風(fēng)機，室外噴淋水泵，以及室內(nèi)側(cè)的補冷系統(tǒng)（一般為DX 蒸汽壓縮循環(huán)）。其主要工作模式包括干模式、噴淋模式（又稱濕模式）和混合制冷模式（噴淋模式+DX 補冷）。

2 傳統(tǒng)的數(shù)據(jù)中心分布式AHU控制系統(tǒng)

傳統(tǒng)的AHU 控制模式，分為單體控制和群控系統(tǒng)控制兩部分。單體控制根據(jù)室外環(huán)境參數(shù)調(diào)整機組設(shè)定點，從而控制不同模式下器件運轉(zhuǎn)。

一般來說，濕球溫度控制濕/混合模式的切換；而干球溫度則控制干/濕模式的切換。具體的狀態(tài)切換點是根據(jù)大量的實驗室測試經(jīng)驗給出，并內(nèi)置在機組出廠軟件中。內(nèi)風(fēng)機根據(jù)室內(nèi)送風(fēng)回風(fēng)的溫差控制；外風(fēng)機調(diào)控在自然冷卻模式下根據(jù)室內(nèi)送風(fēng)溫度調(diào)節(jié)，而在混合模式下，根據(jù)冷凝壓力調(diào)節(jié)；壓縮機調(diào)控則根據(jù)室外濕球溫度經(jīng)驗值開啟，同時也要結(jié)合室外風(fēng)機的功率和壓縮機功率之和來判定。

從群控邏輯看，AHU 只是簡單地共享一組內(nèi)的所有設(shè)定點，當(dāng)1臺/幾臺出現(xiàn)故障或維護退出時，其他機組可自動提高制冷輸出滿足需求，具有冗余保障。在實際的數(shù)據(jù)中心應(yīng)用中，這種默認的模式有如下幾個問題。

（1）冷量分區(qū)影響：每個負載上架情況均不同，有的高負載有的未上服務(wù)器；

（2）單機運行條件：考慮到實際室內(nèi)不均衡的氣流組織和室外側(cè)的局部熱點和風(fēng)向影響，放置在不同區(qū)域AHU 室內(nèi)外側(cè)的進風(fēng)溫度各不相同；

（3）單機總體效率：隨著運行維保周期性變化，會出現(xiàn)換熱器，濾網(wǎng)等臟堵?lián)Q熱效率下降，風(fēng)機性能衰減等。

實際應(yīng)用中，系統(tǒng)受負載、布局、安裝場景和環(huán)境等眾多因素影響，通過人工經(jīng)驗找到最優(yōu)能效點不可實施，亟須一種機器學(xué)習(xí)算法技術(shù)實現(xiàn)自動調(diào)優(yōu)，發(fā)揮節(jié)能潛力。

3 基于機器學(xué)習(xí)的數(shù)據(jù)中心分布式AHU控制系統(tǒng)

為了解決和優(yōu)化上述問題，筆者結(jié)合多年IDC架構(gòu)設(shè)計、產(chǎn)品研發(fā)、實際運行維護經(jīng)驗，提出了基于機器學(xué)習(xí)的數(shù)據(jù)中心AHU 控制系統(tǒng)模型，包括負荷和環(huán)境預(yù)測、機器學(xué)習(xí)模型建立和控制優(yōu)化推薦3個部分。

3.1 負荷及環(huán)境預(yù)測

通過專家經(jīng)驗分析IT 負荷和環(huán)境參數(shù)的特征參數(shù)，分解出環(huán)境變量和觀測變量兩部分，其中環(huán)境變量是物理上或者其他直接影響擬合變量的特征，比如IT 負載的大小和變化趨勢受到業(yè)務(wù)類型（在線業(yè)務(wù)、離線業(yè)務(wù)等影響），服務(wù)器套餐類型（存儲類、計算類服務(wù)器或者AI 訓(xùn)練類等），服務(wù)器外部進風(fēng)溫度（影響服務(wù)器內(nèi)部風(fēng)扇功耗）；而觀測變量則主要是歷史相關(guān)趨勢，包括長期的趨勢和近期的趨勢變化。室外溫濕度的環(huán)境因素則主要是當(dāng)?shù)氐乩砦恢?，結(jié)合長期和中短期的溫濕度變化趨勢進行機器學(xué)習(xí)和預(yù)測。

3.2 機器學(xué)習(xí)模型建立

基于預(yù)測的IT 負載率和環(huán)境數(shù)據(jù)，結(jié)合IT 實際部署和AHU 位置分布情況，建立關(guān)鍵參數(shù)的機器學(xué)習(xí)模型，AI 自動調(diào)節(jié)群組內(nèi)AHU 的控制策略。具體實施步驟如下：

（1）數(shù)據(jù)中心中的動力環(huán)境系統(tǒng)集成了大量的溫濕度傳感器和各種電力儀表和AHU 機組本身運行和控制參數(shù)，通過配置的數(shù)據(jù)采集單元進行采集，這些原始數(shù)據(jù)上報給網(wǎng)管系統(tǒng)。

（2）網(wǎng)管系統(tǒng)將實時采集的原始數(shù)據(jù)做數(shù)據(jù)清洗后和處理后，保存到數(shù)據(jù)庫中。

（3）云平臺從網(wǎng)管系統(tǒng)獲取清洗處理后的數(shù)據(jù)，通過特征工程轉(zhuǎn)換為訓(xùn)練數(shù)據(jù)；并使用訓(xùn)練數(shù)據(jù)訓(xùn)練能耗模型，能耗模型在評估通過后下發(fā)到網(wǎng)管系統(tǒng)的推理服務(wù)中。

（4）網(wǎng)管系統(tǒng)的推理服務(wù)使用能耗模型和最新采集的數(shù)據(jù)生成最優(yōu)的控制策略，并將控制策略下發(fā)到AHU 機組控制器。

（5）通過控制AHU 機組的運行狀態(tài)和工作設(shè)定參數(shù)等，最終達成綜合能耗降低目的。

3.2.1 數(shù)據(jù)采集

采集AHU 機組運行參數(shù)，如風(fēng)機轉(zhuǎn)速、壓縮機轉(zhuǎn)速、送風(fēng)溫度等。IT 負載、機房內(nèi)部冷熱通道溫度及室外環(huán)境的相關(guān)運行數(shù)據(jù)，充分采集干模式，濕模式及混合模式3種模式下的多樣化運行數(shù)據(jù)。

3.2.2 數(shù)據(jù)治理

利用自動化數(shù)據(jù)治理工具，對采集的運行數(shù)據(jù)進行識別、降維、降噪、清洗等處理，生成高質(zhì)量的訓(xùn)練數(shù)據(jù)，為后續(xù)的模型訓(xùn)練提供高質(zhì)量數(shù)據(jù)。

3.2.3 特征工程

數(shù)據(jù)和特征決定了AI 算法的上限。利用特征構(gòu)建，對同類設(shè)備的特征進行處理，AHU 系統(tǒng)特征如圖3所示。通過相關(guān)性分析特征工程以及業(yè)務(wù)領(lǐng)域知識找出強相關(guān)的關(guān)鍵特征參數(shù)，提升模型的效果及模型的可解釋性。

3.2.4 模型訓(xùn)練

使用深度神經(jīng)網(wǎng)絡(luò)，完成特征歸一化及能耗模型的創(chuàng)建并對該模型進行反復(fù)訓(xùn)練，避免非凸神經(jīng)網(wǎng)絡(luò)優(yōu)化容易出現(xiàn)的局部參數(shù)最優(yōu)的問題，如圖2所示。

圖2 AHU能耗模型關(guān)鍵參數(shù)特征工程

3.3 控制優(yōu)化推薦

在實際的優(yōu)化推薦模型中，采用SLA 的要求作為約束，結(jié)合“在線推理”和“尋優(yōu)模式”的多種算法組合給出最佳策略。

3.3.1 在線推理

使用遺傳算法或者貪婪算法等優(yōu)化算法，從所有控制參數(shù)組合的千萬種原始制冷策略中找出最符合當(dāng)前IT 負載、室外環(huán)境，且滿足業(yè)務(wù)保障和服務(wù)器SLA 的組合，并輸出控制參數(shù)組合，將預(yù)測以及優(yōu)化決策模型發(fā)布到網(wǎng)管系統(tǒng)中，可實時在線計算出當(dāng)前狀態(tài)下最佳控制參數(shù)。

3.3.2 尋優(yōu)模式

尋優(yōu)模式分為穩(wěn)態(tài)尋優(yōu)和非穩(wěn)態(tài)尋優(yōu)。制冷系統(tǒng)在調(diào)節(jié)參數(shù)后達到穩(wěn)態(tài)需要較長的時間，穩(wěn)態(tài)尋優(yōu)的推理模型受限于系統(tǒng)的特點達到穩(wěn)態(tài)的時間長效率低；通過非穩(wěn)態(tài)尋優(yōu)則可以在系統(tǒng)尚未達到穩(wěn)態(tài)時即可進行下一輪迭代，縮短系統(tǒng)收斂時間。

4 某數(shù)據(jù)中心實際部署節(jié)能效果

本模型在河北某大型數(shù)據(jù)中心做了實際的測試驗證，此數(shù)據(jù)中心采用分布式AHU，4個機房模組，每個模組8 MW IT 負荷，一共32 MW 的IT 負荷；AHU機組放置在建筑屋頂，主機房采用熱通道封閉，AHU送風(fēng)送到房間內(nèi)，熱通道則將IT 設(shè)備的熱風(fēng)回到AHU 的回風(fēng)腔，機房的制冷系統(tǒng)架構(gòu)圖和平面如圖3所示。

圖3 某數(shù)據(jù)中心AHU制冷系統(tǒng)部署和機柜平面圖（1個模組）

通過2021年3月—2022年2月的測算和統(tǒng)計，采用模組1和模組2綜合對比傳統(tǒng)AHU 控制和基于機器學(xué)習(xí)的AHU 控制。因為這兩個模組均已上架服務(wù)器，且AHU 系統(tǒng)互為獨立。具備較好的參照價值。將PUE 分為CLF、PLF 和Other 3 個部分。PUE 表示為PUE=1+PLF+CLF+other，其中CLF 為Cooling Load Factor，即制冷系統(tǒng)的能耗因子，CLF=制冷系統(tǒng)能耗/IT 負荷；PLF 為Power Load Factor，即變配電系統(tǒng)的能耗因子，PLF=變配電系統(tǒng)傳輸損失/IT負荷；Other 即其他部分的能耗與IT 負荷之比，如辦公室、照明、其他輔助用電等，本文將其合并為一項，其值為0.06。

從實際運行和采集結(jié)果可以看到，全年CLF 降低了12 %，其中夏季啟動補冷的混合模式下，CLF降低11.4 %，而其他季節(jié)采用完全自然冷卻的干模式和濕模式，CLF 則有15.1 %的降低。全年逐月的模組1和模組2的逐月PUE 曲線對比如圖4所示。按照一個8MW 的模組看，考慮年均IT 負荷率80 %左右，則全年節(jié)電約170萬kW·h；電費節(jié)省85萬元（按照當(dāng)?shù)仉妰r0.5元/kW·h）。

圖4 河北某數(shù)據(jù)中心月PUE曲線對比

5 結(jié)束語

文章建立了考慮IT 負荷和環(huán)境預(yù)測的針對分布式數(shù)據(jù)中心AHU 制冷系統(tǒng)能耗的機器學(xué)習(xí)模型，集合數(shù)據(jù)中心IT 設(shè)備實際需求和SLA 的推薦算法。并應(yīng)用到了實際的數(shù)據(jù)中心場景中，經(jīng)過對比，PUE總體有2 %以上的優(yōu)化，而制冷系統(tǒng)則降低能耗10 %以上。

展望：①進一步研究適用氟泵多聯(lián)空調(diào)和液冷等新型的場景的機器學(xué)習(xí)模型和控制策略；②后續(xù)會開展制冷系統(tǒng)與IT 服務(wù)器內(nèi)部風(fēng)扇聯(lián)動的綜合調(diào)控機制。