苗益川 朱兵 岳天亮 呂麗 喬盤

摘? 要： 在構(gòu)建基于動態(tài)優(yōu)化的數(shù)據(jù)中心能效實時控制系統(tǒng)的過程中，數(shù)據(jù)中心氣流組織分布的實時預(yù)測至關(guān)重要。傳統(tǒng)的計算流體動力學(xué)方法求解時間較長，無法滿足這一需求。隨著數(shù)據(jù)驅(qū)動建模技術(shù)的發(fā)展，很多學(xué)者開始將其應(yīng)用在數(shù)據(jù)中心參數(shù)預(yù)測領(lǐng)域，該方法使數(shù)據(jù)中心氣流組織的實時預(yù)測成為可能。本文總結(jié)了基于數(shù)據(jù)驅(qū)動的穩(wěn)態(tài)工況和瞬態(tài)工況的氣流組織研究，并對技術(shù)路線進(jìn)行梳理，可為氣流組織預(yù)測模型的選擇提供參考。

關(guān)鍵詞： 實時預(yù)測； 氣流組織； 數(shù)據(jù)驅(qū)動； 計算流體動力學(xué)

中圖分類號：TP311.1? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）04-96-05

Abstract： In the process of building a data center energy efficiency real-time control system based on dynamic optimization， real-time prediction of airflow organization in data center is very important. Traditional computational fluid dynamics method cannot meet this requirement because of its long solution time. With the development of data-driven modeling technology， many scholars begin to apply it in the field of data center parameter prediction. This method makes it possible to predict the airflow organization in data center in real time. In this paper， the study of airflow organization based on data-driven steady and transient conditions is summarized， and the technical route is sorted out， which can provide a reference for the selection of airflow organization prediction models.

Key words： real-time prediction; airflow organization; data-driven; computational fluid dynamics

0 引言

數(shù)據(jù)中心是信息技術(shù)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施，隨著新一輪技術(shù)變革的推進(jìn)，近十年我國數(shù)據(jù)中心數(shù)量保持高速增長[1]。數(shù)據(jù)中心消耗的能源中約20%～45%的能耗用于冷卻系統(tǒng)，并占運(yùn)行成本的大部分[2]。制冷系統(tǒng)節(jié)能潛力大，開發(fā)動態(tài)優(yōu)化的數(shù)據(jù)中心能效實時控制系統(tǒng)是目前行業(yè)的迫切需要。氣流分布實時預(yù)測是開發(fā)控制系統(tǒng)的必要條件。

CFD是預(yù)測數(shù)據(jù)中心氣流分布的最常用工具，但預(yù)測過程中需要消耗大量的計算資源，求解時間較長，求解時間與模型的網(wǎng)格數(shù)量正相關(guān)，為了得到更準(zhǔn)確的預(yù)測結(jié)果建模過程中通常需要根據(jù)機(jī)房實際大小劃分幾十萬到幾千萬的網(wǎng)格，求解過程通常需要幾十分鐘以上，使用CFD工具難以對數(shù)據(jù)中心的溫度進(jìn)行實時預(yù)測。但數(shù)據(jù)驅(qū)動預(yù)測方式的出現(xiàn)使數(shù)據(jù)中心氣流組織的實時預(yù)測成為可能，很多學(xué)者開始將數(shù)據(jù)驅(qū)動模型應(yīng)用于數(shù)據(jù)中心氣流組織預(yù)測領(lǐng)域。數(shù)據(jù)驅(qū)動分為基于機(jī)器學(xué)習(xí)或統(tǒng)計學(xué)兩種方式，采用統(tǒng)計學(xué)框架的方法為POD（Proper Orthogonal Decomposition）該方法應(yīng)用已較為成熟，其插值預(yù)測精度較高但外推預(yù)測精度差，添加新的預(yù)測點(diǎn)時，需要重新計算POD系數(shù)，復(fù)雜且耗時長，因此本文涉及較少；基于機(jī)器學(xué)習(xí)框架的預(yù)測方法非線性擬合能力強(qiáng)，近期研究成果較多，主要是文章的總結(jié)內(nèi)容。本文總結(jié)了近年數(shù)據(jù)驅(qū)動方式在數(shù)據(jù)中心氣流預(yù)測領(lǐng)域的研究成果及不同的研究方法，比較了不同模型的預(yù)測性能，分別針對穩(wěn)態(tài)預(yù)測和瞬態(tài)預(yù)測進(jìn)行概括，為選擇合適的預(yù)測方法提供參考。

1 穩(wěn)態(tài)預(yù)測

1.1 高架地板入口氣流預(yù)測

SONG Zhihang[3]創(chuàng)建了基于CFD數(shù)據(jù)的數(shù)據(jù)中心高架地板入口氣流速度預(yù)測神經(jīng)網(wǎng)絡(luò)和溫度預(yù)測神經(jīng)網(wǎng)絡(luò)，取得了與CFD數(shù)據(jù)一致的結(jié)果。為了盡可能減少模擬次數(shù)且保證數(shù)據(jù)集不塌陷，采用拉丁超立方抽樣構(gòu)建樣本后通過CFD模擬建立數(shù)據(jù)集，采用LM算法對神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練。

速度預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（2-8-15），兩個輸入變量為靜壓箱深度和高架地板開孔率，輸出層15個神經(jīng)元分別對應(yīng)服務(wù)器編號1～15前方穿過高架地板氣流的平均速率，分別使用85組和16組CFD數(shù)據(jù)對流速預(yù)測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗證，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)平均相對誤差為0.5%。

溫度預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（9-20-15），九個輸入變量分別為：六塊高架地板開孔率、送風(fēng)溫度、CRAC的流量和靜壓室高度，輸出層為15個神經(jīng)元，分別對應(yīng)服務(wù)器編號1～15前方穿過高架地板氣流的平均溫度。通過調(diào)整訓(xùn)練集與驗證集組合檢查該神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，不同比例數(shù)據(jù)集的誤差如表1所示，當(dāng)驗證集增加到80組時相對誤差升高，出現(xiàn)過擬合現(xiàn)象。采用誤差最小的數(shù)據(jù)集組合方案四對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。通過增大或減少不同輸入變量，評估各個變量的敏感性，四個開孔率變量因靈敏度較低而被刪除，優(yōu)化后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為5-9-15，表2顯示了該神經(jīng)網(wǎng)絡(luò)的相對誤差隨數(shù)據(jù)集的變化，簡化后的網(wǎng)格具有更好的精度和穩(wěn)定性。在神經(jīng)網(wǎng)絡(luò)優(yōu)化過程中，減少低敏感度變量的個數(shù)是非常有必要的。

1.2 機(jī)柜進(jìn)出口氣流預(yù)測

Athavale等[4]比較了人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量回歸（SVR）、高斯過程回歸（GPR）三種機(jī)器學(xué)習(xí)方法在預(yù)測數(shù)據(jù)中心機(jī)架入口溫度穩(wěn)態(tài)分布時的性能。采用拉丁超立方抽樣從空調(diào)風(fēng)機(jī)轉(zhuǎn)速、空調(diào)回風(fēng)溫度、A行機(jī)柜負(fù)載率、B行機(jī)柜負(fù)載率四個變量中抽取300組輸入?yún)?shù)組合，使用CFD工具建立訓(xùn)練集，預(yù)測變量為36個，包含九個機(jī)架共36個測溫點(diǎn)。使用LM算法對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為（4-27-36）。SVR模型和GPR兩種模型均為單輸出，為了獲得溫度剖面分別訓(xùn)練了36個SVR模型和GPR模型，將預(yù)測結(jié)果分別進(jìn)行組合。如圖1所示，三種預(yù)測模型中GPR模型的平均絕對誤差最小約為0.6℃，ANN與SVR均為0.7℃，誤差均在較小范圍內(nèi)。值得注意的是在三種預(yù)測模型中靠近機(jī)柜頂部的位置預(yù)測誤差均較大。這主要是由于三種預(yù)測模型無法捕捉機(jī)柜頂部位置的氣流再循環(huán)效應(yīng)。機(jī)架頂部的服務(wù)器風(fēng)扇可以從機(jī)架后面吸入熱空氣，以彌補(bǔ)冷卻風(fēng)量的不足，引起熱空氣發(fā)生再循環(huán)，從而導(dǎo)致熱點(diǎn)。

此外，數(shù)據(jù)集數(shù)量對模型誤差的影響不可忽視，圖2顯示了樣本數(shù)量從50增加到500時，對三種模型預(yù)測誤差的影響。樣本數(shù)量從50增加到300時，三種模型溫度預(yù)測的誤差呈現(xiàn)出單調(diào)遞減的趨勢，當(dāng)從300增加到500時沒有觀測到誤差的明顯下降。值得注意的是GPR建模的隨機(jī)性使其在面對小噪聲數(shù)據(jù)時集表現(xiàn)出較強(qiáng)的處理能力，即使樣本數(shù)為50仍可以保持小于1℃的預(yù)測誤差。

Tsukamoto等[5]人開發(fā)了基于CFD數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)（DNN）回歸預(yù)測模型，與其他研究不同的是該模型可根據(jù)低網(wǎng)格數(shù)模型計算出的機(jī)柜出口風(fēng)速對高網(wǎng)格數(shù)下的機(jī)柜出口風(fēng)速做出預(yù)測，通過神經(jīng)網(wǎng)絡(luò)對CFD計算的結(jié)果進(jìn)行優(yōu)化，在確保計算精度的同時避免求解時間增加。該模型如圖3所示，以低網(wǎng)格數(shù)模擬結(jié)果為輸入數(shù)據(jù)，高網(wǎng)格數(shù)模擬結(jié)果為參考值。

為了盡可能多的涵蓋不同工況，選取了五個影響氣流分布的操作參數(shù)進(jìn)行多工況模擬，五個操作參數(shù)分別為：高級地板穿孔率、機(jī)柜格柵穿孔率、三部空調(diào)送風(fēng)速度。該深度神經(jīng)網(wǎng)絡(luò)共有八層，512個節(jié)點(diǎn)，使用Optuna工具進(jìn)行調(diào)參，預(yù)測效果如圖4所示，低網(wǎng)格數(shù)模型預(yù)測精度顯著提高，23750網(wǎng)格數(shù)的預(yù)測精度接近50萬網(wǎng)格模型CFD模擬精度，預(yù)測時間從600s減少到20s。

FangQiu等[6]提出了使用神經(jīng)網(wǎng)絡(luò)的快速溫度預(yù)測模型（FTEM， Fast-Temperature Evaluation Model），該模型考慮了流量、機(jī)架功率分布、空調(diào)送風(fēng)溫度三個關(guān)鍵因素對機(jī)柜進(jìn)出口溫度的影響，并且對比了BP（Back Propagation）、RBF（Radial Basis Function）、ELM（Extreme Learning Machine）三種增強(qiáng)型神經(jīng)網(wǎng)絡(luò)在該模型中的表現(xiàn)。具體流程如圖5所示。

在建模的過程中，將數(shù)據(jù)中心傳熱模型抽象為熱網(wǎng)絡(luò)，機(jī)架和空調(diào)抽象為熱網(wǎng)絡(luò)中的熱節(jié)點(diǎn)，節(jié)點(diǎn)的入口值即為機(jī)柜入口溫度，出口值為機(jī)柜出口溫度。熱網(wǎng)絡(luò)中的連線表示不同節(jié)點(diǎn)間的熱交換，數(shù)據(jù)中心內(nèi)部的空氣再循環(huán)可以視為節(jié)點(diǎn)之間的交叉干擾。節(jié)點(diǎn)進(jìn)出的溫度關(guān)系則可以表示為：

其中，[Tin]為節(jié)點(diǎn)入口溫度向量，[Tout]為節(jié)點(diǎn)出口向量，[Φ]為交叉干涉系數(shù)矩陣。通常需要進(jìn)行多組CFD模擬，獲得多組[Tin]和[Tout]計算出交叉干涉系數(shù)矩陣[Φ]。使用神經(jīng)網(wǎng)絡(luò)模擬流量向量F與[Φ]之間的非線性關(guān)系。該模型有N個輸入分別對應(yīng)[F]中的各個元素，輸出則分別對應(yīng)[Φ]中的各個元素。為了驗證不同神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，基于FTEM模型對比了BP、RBF、ELM三種增強(qiáng)型神經(jīng)網(wǎng)絡(luò)的MAE（Mean Absolute Error）、MAPE（Mean AbsolutePercentage Error）、RMSE（Root Mean Square Error），結(jié)果見表3。其中RBF精度為最佳，ELM精度與RBF精度接近，在三種神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)時間最短，BP精度最差，但其MAE最大值為0.29℃、RMSE最大值為0.32℃，小于0.5℃的溫度測量不確定度，可滿足預(yù)測需求。由于物理模型的簡化，F(xiàn)TEM模型可以實現(xiàn)毫秒級的溫度分布預(yù)測。

2 瞬態(tài)預(yù)測

2.1 常規(guī)工況變化

Saiyad等[7]使用神經(jīng)網(wǎng)絡(luò)對常規(guī)工況下機(jī)架級溫度分布和設(shè)施級溫度分布變化進(jìn)行預(yù)測，并對比了各個神經(jīng)網(wǎng)絡(luò)的相關(guān)系數(shù)R和均方誤差，具體內(nèi)容見表4。機(jī)架級溫度預(yù)測神經(jīng)網(wǎng)絡(luò)模型均為單輸入多輸出結(jié)構(gòu)，輸入變量分別為服務(wù)器負(fù)荷、高架地板入口流速，輸出變量為16個（每個機(jī)架進(jìn)口溫度分布測點(diǎn)八個，出口溫度分布測點(diǎn)八個）。設(shè)施溫度分布預(yù)測的神經(jīng)網(wǎng)絡(luò)為多輸入多輸出結(jié)構(gòu)，輸出變量分別為64個和48個，對應(yīng)于不同行機(jī)柜。所有案例的R值均在0.99以上，表明預(yù)測值與實際值有很強(qiáng)的相關(guān)性，均方誤差均在可接受范圍內(nèi)?？稍?0s內(nèi)實現(xiàn)未來300～500min內(nèi)的工況預(yù)測，解決了CFD工具無法實現(xiàn)的快速預(yù)測。

2.2 空調(diào)失效工況預(yù)測

Athavale等[4]比較了ANN、POD、SVR和GPR模型在數(shù)據(jù)中心空調(diào)失效后500s內(nèi)機(jī)架入口溫度的絕對預(yù)測誤差和變化，其結(jié)果如圖6所示?？照{(diào)失效后的前200s內(nèi)的數(shù)據(jù)用于訓(xùn)練模型和測試插值精度，后300s的數(shù)據(jù)用于測試外推精度。在200s內(nèi)所有模型的插值預(yù)測誤差均遠(yuǎn)遠(yuǎn)小于0.5℃的不確定度，但在200s～500s區(qū)間的外推預(yù)測中所有模型的誤差都開始增加，其中GPR和SVR模型預(yù)測溫度單調(diào)遞減，與實際溫度變化情況相反，ANN模型預(yù)測溫度在200s-250s區(qū)間迅速上升隨后保持不變，只有POD模型溫度變化趨勢與實際相符。SVR模型與GPR模型外推結(jié)果受所選核函數(shù)的影響，在預(yù)測過程中這些模型會在訓(xùn)練數(shù)據(jù)集中尋找距離輸入值最近的訓(xùn)練輸入值，隨著輸入值與訓(xùn)練輸入值的增加，預(yù)測值逐漸接近訓(xùn)練數(shù)據(jù)集的平均值。

3 總結(jié)

綜上所述，用數(shù)據(jù)驅(qū)動方法可以實現(xiàn)氣流組織的快速準(zhǔn)確預(yù)測，計算效率滿足實時控制系統(tǒng)的需要。神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的模型，其多輸出、非線性的特點(diǎn)滿足了數(shù)據(jù)中心氣流組織往往需要進(jìn)行多點(diǎn)預(yù)測的需求，SVR和GPR模型單輸出的特性增加了工作量；在模型建立之前對機(jī)房內(nèi)傳熱模型進(jìn)行簡化，可以減少預(yù)測時間。此外，影響數(shù)據(jù)中心氣流分布的因素較多且影響強(qiáng)度無法確定，使用分析函數(shù)對輸入變量進(jìn)行降維，可以提高預(yù)測精度和穩(wěn)定性；在瞬態(tài)工況預(yù)測中，神經(jīng)網(wǎng)絡(luò)、POD、SVR和GPR的插值預(yù)測精度均較高，但SVR和GPR模型受核函數(shù)的影響，外推誤差較大，并且無法預(yù)測溫度變化趨勢。接下來，需要針對提高模型的瞬態(tài)外推預(yù)測精度進(jìn)行研究，并在氣流組織預(yù)測基礎(chǔ)上開發(fā)出實時最優(yōu)操作條件預(yù)測模型，為數(shù)據(jù)中心提供有效的實時熱管理工具。

參考文獻(xiàn)（References）：

[1] 丁肇豪，曹雨潔，張素芳，等.能源互聯(lián)網(wǎng)背景下數(shù)據(jù)中心與電力系統(tǒng)協(xié)同優(yōu)化（一）：數(shù)據(jù)中心能耗模型[J/OL].中國電機(jī)工程學(xué)報，2022（1）：1-18

[2] 張海南，邵雙全，田長青，等.數(shù)據(jù)中心自然冷卻技術(shù)研究進(jìn)展[J].制冷學(xué)報，2016，37（4）：46-57

[3] Song Z， Murray B T， Sammakia B. Airflow and?temperature distribution optimization in data centers using artificial neural networks[J]. International Journal of Heat and Mass Transfer，2013，64：80-90

[4] Athavale J， Yoda M， Joshi Y. Comparison of data driven modeling approaches for temperature prediction in data centers[J]. International Journal of Heat and Mass Transfer，2019，135：1039-1052

[5] Tsukamoto H， Sogawa Y， Matsuda K， et al. High-speed Search for Optimal Operation Parameters of Air Conditioning System in Data Center by Using Regression Prediction and Deep Reinforcement Learning on CFD Simulation[C]//2021 60th Annual Conference of the Society of Instrument and Control Engineers of Japan （SICE）. IEEE，2021：105-112

[6] Fang Q， Li Z， Wang Y， et al. A neural-network enhanced modeling method for real-time evaluation of the temperature distribution in a data center[J]. Neural Computing and Applications，2019，31（12）：8379-8391

[7] Saiyad A， Patel A， Fulpagare Y， et al. Predictive modeling of thermal parameters inside the raised floor plenum data center using Artificial Neural Networks[J]. Journal of Building engineering，2021，42：102397

*基金項目：貴州省科技支撐計劃項目（No.2017YFB0902100）

作者簡介：苗益川（1996-），男，河北石家莊人，碩士研究生，主要研究方向：數(shù)據(jù)中心氣流組織。

通信作者：朱兵（1967-），女，貴州貴陽人，碩士，高級工程師，主要研究方向：分布式能源系統(tǒng)、數(shù)據(jù)中心節(jié)能技術(shù)。