蘇 楊，余 萱，盧 翔

(貴州電網(wǎng)有限公司，貴州 貴陽550003)

0 引言

隨著通信業(yè)務(wù)的發(fā)展，EDC(企業(yè)數(shù)據(jù)中心)規(guī)模及數(shù)量劇增，數(shù)據(jù)中心機房是其中重要的組成部分，機房溫濕度對于計算機、顯卡、硬盤等的工作壽命有著直接影響，在GB50174—2017《數(shù)據(jù)中心設(shè)計規(guī)范》中，規(guī)定機柜進(jìn)風(fēng)處的溫度為18 ℃～27 ℃。另一方面，對于機房能耗及熱環(huán)境控制優(yōu)化也是重要方向，大型數(shù)據(jù)中心耗電量占全國總耗電量的比例超過了1.5%，并以6%復(fù)合增長率增加，能源成本占到機房運維的50%及以上，但是能源浪費率達(dá)到了80%。溫度控制是能耗控制的重要方面，而對機房熱環(huán)境進(jìn)行準(zhǔn)確模擬(包括整體及局部的熱值環(huán)境)，以此進(jìn)行數(shù)據(jù)機房空調(diào)溫度控制優(yōu)化，能夠保證溫度控制的有效性，并降低能耗浪費[1-3]。

機房熱環(huán)境的研究方法包括以機房作為整體研究對象，進(jìn)行參數(shù)化數(shù)學(xué)模型的建立，并建立試驗?zāi)Ｐ?；以計算流體力學(xué)(CFD)為理論基礎(chǔ)，以機房、設(shè)備甚至其中的零部件進(jìn)行模塊化數(shù)值仿真。相較于試驗?zāi)Ｐ偷慕⒌膹?fù)雜性和參數(shù)化嚴(yán)格性，CFD方法在氣流、溫度模型建立的便捷性、相對準(zhǔn)確性、靈活性上有更大的優(yōu)勢。文獻(xiàn)[4]中，以數(shù)據(jù)機房為整體研究對象，基于機房湍流理論在6SigmaDC中建立CFD仿真模型，研究了在實際工況下機房內(nèi)的熱值環(huán)境，并進(jìn)行空調(diào)布局的優(yōu)化，并從實驗中證明了理論的有效性。文獻(xiàn)[5]中通過CFD仿真結(jié)合實際測量的方法對某數(shù)據(jù)中心機房中影響數(shù)據(jù)機房溫度場及速度場的因素進(jìn)行了研究，對送風(fēng)氣流組織特性展開分析,為機房的工程建設(shè)提供了熱環(huán)境控制依據(jù)。文獻(xiàn)[6]中，以湍流模型及CFD方法為基礎(chǔ)，對機房的溫度場、氣流組織以及機柜的過載情況進(jìn)行了分析，對比實際測量結(jié)果，得到了較優(yōu)的機房建設(shè)模擬情況。文獻(xiàn)[7]建立了數(shù)據(jù)中心機房CFD模型，并創(chuàng)新性地將CFD在線計算以及機柜溫度監(jiān)測結(jié)合空調(diào)送風(fēng)反饋控制，建立了實時的模型計算及控制優(yōu)化方法。上述方法中存在的問題包括：(1).基于湍流模型及常用的數(shù)值模擬方法，包括DNS方法，N-S方程組中的標(biāo)準(zhǔn)k-ε方程存在模型簡單、對實際模型欠擬合等不足；(2)在實際模擬和優(yōu)化中，只以機房為整體或?qū)C柜直接作為“黑箱”模型進(jìn)行處理，與實際模型有較大誤差，且不能對機柜內(nèi)的真實情況進(jìn)行模擬數(shù)值化。結(jié)合現(xiàn)有的計算方法基礎(chǔ)及經(jīng)驗以及以上存在的問題，文章在考慮引入優(yōu)化的CFD計算方法的理論基礎(chǔ)和模擬方法基礎(chǔ)上，并以機柜為研究重點，展開機房熱值環(huán)境模擬，并進(jìn)行實驗測量，證明所提方法的可行性。

1 CFD理論基礎(chǔ)

在CFD理論之上，進(jìn)行溫度場及速度場的模型建立，是數(shù)據(jù)中心機房建立仿真的基礎(chǔ)。首先基于機房密閉性良好，機房內(nèi)的氣體流動應(yīng)該滿足基本控制方程。其次，在假定機房環(huán)境滿足一定條件下，將機房內(nèi)的環(huán)境模擬問題設(shè)定為空氣流動的湍流模型問題，以此建立仿真。

1.1 基本控制方程

機房內(nèi)氣體的流動應(yīng)該滿足連續(xù)性方程和動量守恒定理，同時，對于機房內(nèi)的氣體的熱交換過程，應(yīng)該滿足能量守恒定理。對于固定控制體，存在通用守恒方程：

(1)

(2)

其中:Γφ表示φ的的擴散系數(shù);Qφ為控制體內(nèi)單位體積的源項。

式(2)從左到右分別表示非穩(wěn)態(tài)項、對流項、擴散項以及源項。可以得到各控制方程為：

連續(xù)性方程：

(3)

三維坐標(biāo)系下的動量守恒方程：

(4)

(5)

(6)

能量守恒方程：

(7)

其中:ST表示機械能轉(zhuǎn)換為熱能部分;cp為壓力影響的比熱容;k為傳熱系數(shù)。

1.2 湍流模型

在一定假設(shè)條件下(Boussinesp假設(shè))，將數(shù)據(jù)中心機房中的氣體流動問題描述為湍流問題[7-9]。湍流運動機理較為復(fù)雜，流場中存在著各種尺度渦旋，湍流運動的描述方程由于采用了時間及網(wǎng)格平均等，使得湍流方程區(qū)別于層流運動描述，不具備封閉性，CFD中利用假設(shè)的未知量使得湍流模型方程具有封閉性。工程中常用基于雷諾平均N-S方程組模型描述湍流模型，又常用渦粘性封閉模式描述N-S方程組模型。可以得到雷諾應(yīng)力與平均速度應(yīng)變率的近似線性關(guān)系為：

(8)

本方程當(dāng)δi,j為確定值后，其他參數(shù)也為常量，則雷諾應(yīng)力由黏度系數(shù)υT決定。通過引入附加的湍流量來對上式進(jìn)行?；?，用湍流量來描述黏度系數(shù)，常見的湍流脈動動能-耗散率k-ε模型。即得到了湍流計算模型標(biāo)準(zhǔn)k-ε模型。表達(dá)式如下:

k方程：

(9)

ε方程：

(10)

其中：μ表示動力粘度。

標(biāo)準(zhǔn)k-ε模型多應(yīng)用在一般工程中，具有計算量適中，有較多數(shù)據(jù)積累的優(yōu)點，但是對于壓力梯度較強的復(fù)雜湍流應(yīng)用場景精度欠佳[10-11]?？紤]RNG k-ε模型，此模型通過RNG對NS方程進(jìn)行重構(gòu)，能夠捕捉多個尺度的湍流擴散，擴大了模型的使用范圍。在標(biāo)準(zhǔn)k-ε模型的基礎(chǔ)上進(jìn)行了以下改進(jìn)：① RNG模型在ε方程中加了一項，有效的改善了精度；②考慮到了湍流漩渦，提高了在這方面的精度；③ RNG理論為湍流Prandtl數(shù)提供了一個解析公式以替代標(biāo)準(zhǔn)k-ε模型中由用戶給定的常數(shù)；④提供了一個考慮低雷諾數(shù)流動粘性的解析公式[12]。RNG k-ε模型如下:

k方程：

(11)

ε方程：

(12)

其中：Gk為層流速度梯度對應(yīng)的湍流脈動動能；Gb為浮力對應(yīng)的湍流脈動動能；Ym為可壓縮流動中的擴散波動；C1ε,C2ε,C3ε為經(jīng)驗常數(shù)；ak,aε為湍流Prandtl數(shù)；Sk,Sε為自定義源項；Rε為ε修正項。文章將采用RNG k-ε對機房湍流模型進(jìn)行模擬。

2 基于CFD理論的機房熱環(huán)境仿真及實驗

文章以某數(shù)據(jù)中心機房為例，用FLUNTE軟件進(jìn)行仿真。機房三維模型如圖1所示，機房建筑面積約600 m2，機房采用地板下送風(fēng)設(shè)計，架高0.6 m。機房內(nèi)整齊排列4列42U標(biāo)準(zhǔn)機柜(圖1中A-D列)，機房內(nèi)裝有6臺風(fēng)冷機組。地板通風(fēng)板冷通道均勻布置在機柜兩側(cè)，尺寸為600*600 mm，開孔率30%。空調(diào)機組中的冷氣進(jìn)入到地板下架空區(qū)域，通過孔板向上均勻流動，用于機柜溫度控制，同時忽略板孔對于氣體流動的加速作用。機房內(nèi)布實景圖如圖2所示。

圖1 機房三維結(jié)構(gòu)圖

圖2 機房內(nèi)冷通道

冷通道經(jīng)過實際測量，送風(fēng)速度為1.2 m/s左右，板孔處溫度為20 ℃，空調(diào)回風(fēng)口處溫度為26 ℃。根據(jù)實際工況得到機房熱負(fù)荷如圖3所示，為方便在灰度圖像中顯示相關(guān)仿真結(jié)果，圖中標(biāo)注了各區(qū)域的平均熱負(fù)荷值。其對應(yīng)的機房仿真分布溫度如圖4所示，圖中標(biāo)注了各區(qū)域的平均溫度。

圖3 機房熱負(fù)荷

圖4 機房溫度分布仿真

依據(jù)所使用的湍流模型，對進(jìn)行空調(diào)溫度調(diào)控的氣流過程進(jìn)行仿真，得到工況下的模型對應(yīng)的溫度場如圖5所示，圖中顯示了部分區(qū)域的平均溫度。得到穩(wěn)定通風(fēng)溫度調(diào)控下機房的熱環(huán)境如圖6所示，圖中顯示了部分區(qū)域的平均溫度。

圖5 機房溫度場

圖6 機房熱環(huán)境仿真結(jié)果

為驗證所使用理論對于機房熱環(huán)境的仿真的有效性，機房內(nèi)安裝溫度變送器并實現(xiàn)系統(tǒng)的在線集中監(jiān)測，系統(tǒng)通過變送器采集到機柜內(nèi)溫濕度，并通過網(wǎng)關(guān)的WIFI窄帶通信數(shù)據(jù)協(xié)議將數(shù)據(jù)通過局域網(wǎng)傳輸?shù)娇刂品康募仄脚_。機柜內(nèi)變送器及網(wǎng)關(guān)模塊如圖7(a)所示，集控平臺監(jiān)測數(shù)據(jù)如圖7(b)所示。

圖7 機房溫濕度監(jiān)測數(shù)據(jù)

文章對機房A列中的14臺工況下的機柜進(jìn)行溫度監(jiān)測，與數(shù)據(jù)中機柜所處位置得到的仿真數(shù)據(jù)進(jìn)行對比，結(jié)果如表1所示?？梢钥闯?，仿真數(shù)據(jù)與所得數(shù)據(jù)差距較小，但個別機柜出現(xiàn)較大誤差(表中序號為9、10的機柜與仿真值溫度誤差為5.5 ℃左右)。由于在以上模擬中，將機柜作為一個整體用作仿真，得到的溫度仿真值不能體現(xiàn)機柜中局部差異，在實際溫度值監(jiān)測中，溫度變送器放置的位置不一樣，導(dǎo)致監(jiān)測的數(shù)值差異較大，故出現(xiàn)監(jiān)測數(shù)據(jù)與仿真數(shù)據(jù)誤差。

表1 仿真值與監(jiān)測值對比

3 機柜模型仿真

機柜模型的研究，長期以來都采用將其作為一個整體的“黑箱模型”來進(jìn)行研究，從已有的研究情況以及上一節(jié)中的模擬結(jié)果來看，這種建模方法并不能精準(zhǔn)地模擬出實際情況，與實際溫度場數(shù)據(jù)會存在較大誤差。主要原因是，在機柜模型中，由于設(shè)備放置的位置及排列方式、擋板的設(shè)置、機柜內(nèi)部線束等都會影響機柜內(nèi)溫度場的實際情況?；诖?，本節(jié)通過對機柜重新建模，結(jié)合上一節(jié)中的RNG k-ε湍流模型對機柜中的溫度場進(jìn)行仿真，以得到更精準(zhǔn)的仿真結(jié)果。

仿真的機柜為42U標(biāo)準(zhǔn)機柜，中間放置4臺4U服務(wù)器，平均發(fā)熱量50 W，冷通道的板孔風(fēng)速1.2 m/s，單個冷通道的流量為18 000 m3/h。機柜實物圖如圖8所示。機柜仿真的邊界條件設(shè)置如表2所示。

圖8 仿真機柜實物圖

表2 機柜仿真邊界條件設(shè)定值

得到機柜熱環(huán)境仿真結(jié)果如圖9所示，圖中標(biāo)注了部分仿真區(qū)域的平均溫度。

圖9 機柜熱環(huán)境仿真結(jié)果

為了驗證仿真結(jié)果的準(zhǔn)確性，將圖8中的四個服務(wù)器位置由下到上編號為A,B,C,D，并在每個平面處靠近服務(wù)器位置接入溫濕度變送器，在正常工況下進(jìn)行溫度測量(取1分鐘內(nèi)溫度平均值)，與仿真結(jié)果進(jìn)行比較。結(jié)果如表3所示，可以看到，所提方法對于實際工況的溫度有較為置準(zhǔn)確的仿真，溫度誤差最高為1 ℃。

表3 機柜仿真與實際監(jiān)測值對比

根據(jù)機柜仿真模型結(jié)果，可認(rèn)為在機柜中現(xiàn)有的服務(wù)器、擋板及線束布置下，靠近C和D服務(wù)器中間位置的溫度能夠平均反應(yīng)機柜中的最高溫度。結(jié)合機房整體及機柜溫度場仿真方法，得到在機柜平均發(fā)熱量50 W，冷通道的板孔風(fēng)速1.2 m/s，單個冷通道的流量為18 000 m3/h，總機柜數(shù)量為65的條件下機房整體仿真結(jié)果，根據(jù)坐標(biāo)取得單個機柜最高溫度，并將結(jié)果離散插值得到溫度場如圖10所示，可以看出65個機柜中最高溫度為27.1 ℃。為了測試仿真結(jié)果，進(jìn)行280 h連續(xù)運行，溫度采樣周期為1 min，并設(shè)置自動報警溫度為29 ℃，實驗結(jié)果如圖11所示。結(jié)果顯示運行期間未發(fā)生高溫異常報警，說明文章所提仿真模型能夠較準(zhǔn)確地計算溫度場及機柜工況數(shù)據(jù)，有效幫助確定機房的在進(jìn)行溫度控制時確定工作參數(shù)。

圖10 三維溫度場

圖11 實時監(jiān)測溫度數(shù)據(jù)

4 總結(jié)

針對大型數(shù)據(jù)中心機房溫度控制優(yōu)化的需求，在現(xiàn)有理論的基礎(chǔ)上進(jìn)行方法優(yōu)化，得到更精確的機房熱環(huán)境仿真結(jié)果，并通過監(jiān)測實際溫度數(shù)據(jù)驗證了所用方法的可行性。主要內(nèi)容包括：

(1)在流體基本控制方程及湍流流動理論基礎(chǔ)上，引入RNG k-ε湍流模型，代替常用的標(biāo)準(zhǔn)k-ε湍流模型，用于機房熱環(huán)境仿真，獲得了更準(zhǔn)確的模擬結(jié)果。通過實驗數(shù)據(jù)，表明在監(jiān)測點對應(yīng)的仿真結(jié)果中，有95%以上的機房仿真數(shù)據(jù)誤差在1.5 ℃以內(nèi)，能夠較好地模擬現(xiàn)實工況下機房的熱環(huán)境，為機房整體模擬、通風(fēng)優(yōu)化及溫度預(yù)測提供了良好的手段；

(2)區(qū)別于以往的將機柜作為“黑箱”進(jìn)行仿真處理不同，為了得到更精確的熱環(huán)境模擬結(jié)果，文章以機柜作為研究對象進(jìn)行建模，并利用介紹的流體理論進(jìn)行仿真。與實際監(jiān)測值對比，最大誤差為1 ℃，所提方法能夠更精確地模擬機柜內(nèi)環(huán)境溫度，為以機柜為研究對象的溫度場模擬、不同位置的溫度預(yù)測等提供良好的途徑；

(3)連續(xù)性實際工作實驗驗證了結(jié)合機房及機柜熱環(huán)境仿真模型的結(jié)果正確性，能夠有效幫助確定工況下溫度控制工作參數(shù)。