陳宇欣，梁 珍

（東華大學 環(huán)境科學與工程學院 暖通空調(diào)研究所，上海 201620）

0 引言

數(shù)據(jù)中心作為新基建七大領(lǐng)域之一，在國家政策支持、客戶需求日益增長的背景下，機柜數(shù)量持續(xù)增加，市場規(guī)模不斷擴大，預計2022年中國數(shù)據(jù)中心規(guī)模將達3 200億元［1］。數(shù)據(jù)中心能耗隨機柜需求量急劇增長，氣流組織優(yōu)化是數(shù)據(jù)中心空調(diào)系統(tǒng)節(jié)能技術(shù)的有效措施之一，封閉冷/熱通道作為優(yōu)化的有效手段受到業(yè)界關(guān)注。陳修敏等［2］通過數(shù)值模擬發(fā)現(xiàn)了現(xiàn)有數(shù)據(jù)機房氣流組織缺陷，在驗證局部熱點與氣流不暢等問題后進行優(yōu)化，證明了氣流組織設(shè)計的有效性。YOGESH等［3］通過CFD仿真模擬研究送風地板下障礙物對機房冷卻性能的影響，發(fā)現(xiàn)地板下方的管道等障礙物對減少氣流量的阻礙可高達80%。張愷等［4-5］總結(jié)了地板送風系統(tǒng)的利弊，并針對小面積熱密度大的地板送風機房采用數(shù)值模擬與盒形圖分析法得到最優(yōu)參數(shù)值，通過試驗驗證發(fā)現(xiàn)在封閉冷通道后優(yōu)化系統(tǒng)的溫度分布會得到進一步的改善。李婷婷等［6］借助模擬軟件對熱通道封閉下的數(shù)據(jù)機房的兩種送風方式下溫度場、速度場進行對比，結(jié)果表明了不受高架地板高度和開孔率影響的機架下送風形式冷量利用率更高、節(jié)能效果更好。楊力芝等［7］在研究地板送風方式對機房熱環(huán)境性能的影響時發(fā)現(xiàn)，機架下送風或地板下送風二者與冷/熱通道封閉相結(jié)合的方案各有利弊，應根據(jù)工程實際要求進行取舍。

上述論文將研究重點放在單一因素的優(yōu)化上，封閉通道與其他氣流影響因素相結(jié)合的疊加優(yōu)化效果值得關(guān)注。參考數(shù)據(jù)中心數(shù)值模擬的相關(guān)研究［8-15］，本文以某通信公司數(shù)據(jù)中心為研究對象，利用CFD模擬軟件對冷/熱通道封閉的模塊機房進行氣流組織方案分析，從送風氣流量和服務(wù)器布置方面進行優(yōu)化探索，為實際工程中同類型機房的節(jié)能與優(yōu)化設(shè)計提供思路與參考。因機房服務(wù)器的數(shù)據(jù)安全性限制，實地測試未被允許，本文僅進行模擬仿真研究。仿真模型的可靠性通過與公開發(fā)表文獻上公布的實驗數(shù)據(jù)的對比進行驗證。

1 模型驗證

借用楊力芝在數(shù)據(jù)機房研究中的試驗測量數(shù)據(jù)［7］，對模型的可靠性進行驗證。機房面積105 m2，房間凈高3.6 m，地板架空高度為0.5 m，房間內(nèi)機柜34臺，平均分A，B兩列布置，服務(wù)器總功耗120 kW；單臺制冷量80 kW的精密空調(diào)2臺，21個溫度測點分布在機柜頂部平面的熱通道區(qū)域。根據(jù)上述數(shù)據(jù)中心設(shè)備尺寸與邊界條件設(shè)定建立驗證模型，數(shù)值計算后得到的A列機柜出入口平均溫度以及測點溫度如圖1所示。

圖1 模擬結(jié)果誤差Fig.1 Error margin of simulation results

圖1（a）示出A列機柜出入口平均溫度的模擬值與測量值的分布對比，發(fā)現(xiàn)A列機柜入口處的平均溫度與試驗值十分接近，且溫度變化幅度均為0.2 ℃，入口溫度模擬值最大值為17.2 ℃，試驗值則為17.4 ℃；機柜A13，A14的出口溫度誤差最大，達到8%。從圖1（b）中可以看到測點的試驗值與模擬值變化規(guī)律基本一致，測點的相對誤差控制在10%以內(nèi)。由于機房模型的簡化與穩(wěn)態(tài)邊界設(shè)置，各機柜前后溫度分布比較規(guī)律一致，故機柜進出口的模擬溫度值變化幅度小。而冷通道封閉后機柜入口所受氣流干擾變小，進而與試驗值的誤差更??；而機柜出口和測點都在熱通道內(nèi)，受機房內(nèi)氣流比如熱堆積、局部回流等現(xiàn)象的影響，誤差較大。

鑒于測點的誤差≤10%，認為本文所使用的數(shù)據(jù)中心模型與建立在此基礎(chǔ)上的數(shù)據(jù)模擬結(jié)果是可靠的，對同類型情況具有借鑒意義。

2 數(shù)據(jù)中心機房的模型建立

2.1 工程概況

機房平面如圖2所示，機房面積263.8 m2，機柜按8×11“面對面，背靠背”布置，單臺機柜容量3 kW，于機架底部槽位填充4 U×1 000 W服務(wù)器，從左至右按A～H排列，靠內(nèi)墻側(cè)為前端，按1～11編號（如左下角機柜為A1）。機房內(nèi)安裝5臺冷凍水型機房專用精密空調(diào)，單臺顯冷量80 kW，制冷冗余方案為N+2，空調(diào)設(shè)備與機柜用內(nèi)墻隔開。模塊機房采用地板送風方式，冷/熱通道開放，送風地板尺寸為600 mm×600 mm。

圖2 機房設(shè)備布局平面Fig.2 Equipment layout of server room

為研究該數(shù)據(jù)中心在不同氣流組織方式下的機房熱環(huán)境，利用CFD仿真軟件對該模塊機房進行建模，將機房空間離散化，選取標準湍流模型，利用SIMPLE算法對流動基本方程進行求解，并通過標定的殘差終止值來控制求解方程的收斂精度，當設(shè)備監(jiān)控參數(shù)收斂于殘差終止值1時，表示求解收斂。機房原為地板送風方式，沒有任何輔助送回風結(jié)構(gòu)。結(jié)合實際應用情況設(shè)計以下3種氣流組織方案：方案A，地板送風+封閉冷通道；方案B，地板送風+封閉熱通道；方案C，側(cè)送風+封閉熱通道。

整個機房的空調(diào)負荷，考慮建筑圍護結(jié)構(gòu)負荷、照明和人員負荷以及相關(guān)專業(yè)提供的最終滿配置情況下的數(shù)據(jù)設(shè)備的裝機容量來計算確定，設(shè)備的裝機功率最終轉(zhuǎn)化為熱量的轉(zhuǎn)化系數(shù)按0.95計算。機房熱備發(fā)熱負荷247 kW，建筑傳熱負荷26 kW，空調(diào)總負荷273 kW。

2.2 物理模型

根據(jù)機房的參數(shù)建立物理模型，CFD仿真軟件采用了真實的物理結(jié)構(gòu)與參數(shù)對機房圍護結(jié)構(gòu)以及機房內(nèi)的設(shè)備進行建模，以保證模擬結(jié)果的準確性與可靠性。氣流組織方案的物理模型如圖3所示。

圖3 機房物理模型Fig.3 Physical model of server room

2.3 求解控制

數(shù)據(jù)中心作為以安全性、高效性為主的特殊模擬對象，選擇合理的數(shù)值模型是至關(guān)重要的。首先對模型進行必要的簡化，對需要建立的數(shù)值模型做以下幾點求解控制：（1）假設(shè)機房墻壁是穩(wěn)態(tài)的溫度邊界，定義房間壁面固定溫度邊界條件（25 ℃）；（2）求解計算采用標準的κ-ε湍流模型，殘差值穩(wěn)定且趨于1；（3）空氣為理想氣體狀態(tài)；（4）機柜封閉空槽位，機柜前后門上的通風口開孔率0.64；（5）地板靜壓層高度為500 mm，送風地板開孔率為50%；（6）空調(diào)回風溫度為27 ℃。

3 數(shù)據(jù)中心機房的模擬結(jié)果

3.1 流場分析

數(shù)據(jù)中心模塊機房各氣流組織方案模擬結(jié)果流線如圖4所示。原送風方式下，地板下方冷氣流產(chǎn)生溫度分區(qū)，中間低兩頭高。在地板上方氣流組織凌亂，地板出風口流速不均勻，最小值0.012 m/s位于A～C列前端、G10前的出風口處，部分冷風在進入機柜前充分與機房內(nèi)的熱空氣進行熱交換，冷熱氣流摻混致使機架進風溫升；一部分冷空氣從地板吹出后直接流回空調(diào)回風口，未進入機柜對服務(wù)器進行冷卻，冷空氣旁通降低了回風溫度。

圖4 機房流線Fig.4 Streamline figures of server room

對比原送回風方式，方案A，B冷熱氣流分隔，杜絕了冷熱氣流摻混現(xiàn)象，氣流走向可控。方案A中地板上方冷氣流直接通過冷通道進入機柜入口，所走路程變短，地板出風口平均流速1.1 m/s，較原模型分布均勻；帶走服務(wù)器熱量后，熱氣流從背面出風口進入房間，絕大部分流回空調(diào)回風口。方案B前后段送風口流速差值較方案A稍大，部分冷氣流觸到天花板后轉(zhuǎn)換方向，沿著熱通道壁面分成兩束氣流下沉流向機架入口，熱空氣通過吊頂全部流回空調(diào)機，流線走向清晰。

方案C采取側(cè)送風方式，沒有地板架空層的緩沖作用，冷通道氣流速度高達5.6 m/s，大速率氣流筆直撞上機柜和熱通道壁面，氣流方向改變，一部分形成回流滯留在風口兩側(cè)，導致位于機架陣列中部的機柜進風量不均勻；氣流在單個冷通道上方形成回流，于是下方正對機柜的入口風速過大，整體上進入機柜的有效氣流減少。

3.2 溫度場分析

原送風方式下，機房熱環(huán)境溫度分布不均，機柜出風口溫差大，存在局部溫度過高的情況。三種冷/熱通道封閉的模型結(jié)果顯示，其機柜均滿足ASHARE標準，溫度分布在18～27 ℃之間，機柜進出口溫差均在13±0.2 ℃之間，無局部高溫熱點出現(xiàn)。

選取機柜典型截面Y=1 m處進行溫度場分析，如圖5所示。

圖5 截面Y=1 m溫度分布Fig.5 Temperature field at Y=1 m section

由于原機房模型中的冷空氣冷卻的是機房大環(huán)境，所以截面整體溫度偏低。從橫向上觀察，位于機架陣列兩側(cè)的機柜進/出口溫度普遍高于中間的?？v向上來看，溫度分布趨勢同樣是“中間低，兩頭高”。出風口側(cè)的高溫區(qū)域分布較廣，局部熱點多，設(shè)備運行環(huán)境差。

觀察方案A（地板送風+封閉冷通道）截面發(fā)現(xiàn)，機柜進風口通道內(nèi)的溫度較低，且保持高度均勻，入口溫差控制在0.5 ℃以內(nèi)；排風口溫度梯度規(guī)律一致，熱通道與房間非設(shè)備區(qū)域溫度邊界明顯。

方案B（地板送風+封閉熱通道）的同一位置截面中，機房環(huán)境溫度接近冷通道溫度，空調(diào)送風的冷卻范圍擴大，冷空氣與室內(nèi)熱表面進行換熱，在進入機柜之前溫度升高0.3 ℃，機柜入口溫差增大1 ℃左右，是方案A的2倍；最左側(cè)封閉通道較窄，且氣流量占比少，溫度明顯高于其他封閉區(qū)域。

方案C（側(cè)送風+封閉熱通道）的冷氣流送風距離最短，進入機柜前冷量損失最小，空調(diào)冷卻范圍擴大到設(shè)備間，無效冷卻量增加；由于冷空氣流量、流速分布的差異，機柜入口溫差加大到0.9 ℃，出口處溫差1.8 ℃；熱通道內(nèi)溫度梯度分布不均勻，第一列機柜溫度最高，中間熱通道的左列機柜溫度普遍高于右列，說明右列的進口氣流速率普遍高于左列，且在A～D，F(xiàn)和G列的前端出現(xiàn)局部高溫。

3.3 熱評價指標分析

本文選取了2個典型評價指標對結(jié)果進行分析：空氣管理系統(tǒng)熱性能指標——回風溫度指數(shù)RTI，與能量利用程度指標——供熱指數(shù)SHI。

RTI由Herrlin于2007年提出，表征機柜內(nèi)空氣再循環(huán)和空氣旁通的情況［16-18］?？諝馀酝ㄖ傅氖抢淇諝鉀]有經(jīng)過機柜而直接回到空調(diào)回風口；空氣再循環(huán)指的是機柜排出的熱空氣在機房內(nèi)回流到機柜入口。RTI越接近100%越理想，＞100%表示空氣再循環(huán)；＜100%表示空氣短路。

式中 Tre——體積流量加權(quán)的空調(diào)平均回風溫度，℃；

Tsu——體積流量加權(quán)的空調(diào)平均送風溫度，℃；

Teq，out——體積流量加權(quán)的設(shè)備平均排風溫度，℃；

Teq，in——體積流量加權(quán)的設(shè)備平均進風溫度，℃。

SHI表示空調(diào)送風在進入IT設(shè)備之前與熱空氣混合的程度［18］，值越小表示冷量利用效率越高。

式中 δQ——冷氣流從地板送風口到服務(wù)器機柜進風口處所吸收的熱量，kW；

Q——冷氣流在機柜中用于冷卻服務(wù)器所損失的冷量，kW；

cp——空氣定壓比熱容，J/（kg·℃）；

Tref——地板出風口平均溫度，℃。

i，j——下標，第 i排第 j列機柜。

根據(jù)模擬結(jié)果中服務(wù)器通風口溫度與空調(diào)送回風溫度計算各方案下的RTI值和SHI值如圖6所示。從圖6可以看出，相比于原氣流組織模型，3種設(shè)計方案下的RTI有了明顯的提高，說明冷/熱通道封閉的方法讓冷氣流短路問題有了一定程度改善；同時供熱指數(shù)SHI也下降一個數(shù)量級以上，下送風+封閉冷通道的SHI值最小，為6.8×10-4，方案B，C相差不大，表示空調(diào)送風在進入IT設(shè)備前的冷量損失減小。

圖6 氣流組織方案的熱評價指標Fig.6 Thermal evaluation index of air distribution modes

機房氣流組織方案的模擬結(jié)果見表1，經(jīng)對比分析發(fā)現(xiàn)，在不改變機房設(shè)備布置的前提下，地板送風與封閉冷通道結(jié)合方式下的氣流組織效果最佳。

表1 氣流組織方案模擬結(jié)果Tab.1 Simulation results of air distribution modes

4 氣流組織的優(yōu)化

在下送風+封閉冷通道的方案基礎(chǔ)上，針對該數(shù)據(jù)中心機房冷空氣短路的現(xiàn)象，進一步提出優(yōu)化該數(shù)據(jù)機房的幾種方法：研究空調(diào)送風量、服務(wù)器不同的布置形式對冷空氣短路的影響，并通過仿真模擬對比分析機柜內(nèi)的溫度分布與空氣旁通的程度差異。

4.1 空調(diào)送風量優(yōu)化分析

首先定義速度入口邊界條件，通過設(shè)置空調(diào)機內(nèi)風扇轉(zhuǎn)速比例來改變出口風量。風扇轉(zhuǎn)速比例取六組變量：60%～85%，間隔5%，表示占最大風量的百分比。其次，引入新的機柜溫度指標——機柜冷卻指數(shù)RCLLO，來評價不同送風量下IT設(shè)備的冷卻效果［18］。RCLLO等于100%時最優(yōu)，在91%～95%之間為中等，低于90%則認為IT設(shè)備所處環(huán)境惡劣。

式中 Tmin，rec——最小推薦設(shè)備進口溫度，℃；

Tmin，all——最小允許設(shè)備進口溫度，℃；

Tin，under-i——低于 Tmin，rec的第 i個設(shè)備進口溫度，℃；

Nu——進口溫度低于的IT設(shè)備進口溫度的設(shè)備數(shù)量；

NT——所有設(shè)備進口數(shù)量。

數(shù)值計算結(jié)果如圖7所示，機柜冷卻指數(shù)RCLLO曲線呈對數(shù)函數(shù)分布趨勢，RCLLO值隨著風量的增大先迅速增加，后面很快趨于平坦，當風量達到最大風量的70%時，RCLLO達到100%，繼續(xù)增大風量只會增加風機負擔和能耗；回風溫度指數(shù)RTI的變化近似于一次函數(shù)圖像，RTI指數(shù)隨著風量的減小而增大。

綜合考量這兩種評價指標的影響因子，風扇轉(zhuǎn)速比例為65%時RTI值更高，但是RCLLO處于中等水平，近3/4的機柜溫度保持在15～18 ℃，出現(xiàn)過冷情況，不利于IT設(shè)備高效運行。故取風扇轉(zhuǎn)速比例70%時的值（RCLLO=100%，RTI=65.4）為整體熱環(huán)境指標的最優(yōu)值。

4.2 服務(wù)器排列形式的影響分析

圖8示出的4種模型是目前通用的服務(wù)器擺放形式，在機架空槽位處放置前擋板以削弱冷氣流旁通量。對以下幾種常見的擺放形式統(tǒng)一進行仿真模擬，結(jié)合機柜的送回風情況，確定比較合理的擺放方式。

圖8 4種服務(wù)器排列方式Fig.8 4 kinds of servers’ layout

選取機房中一典型機柜進行氣流組織分析，其背部出風口溫度如圖9所示，4U服務(wù)器的風扇位于右側(cè)。從圖中能夠直觀的看到，出風口高溫區(qū)對應各自設(shè)備的擺放位置，排列d的溫度分布最為均勻，其次是排列a，兩者最大溫差相近，控制在3.8±0.1 ℃；在排列b，c的空槽位處出現(xiàn)大面積低溫，最大溫差分別為5.2，10 ℃，說明由于機架導軌縫隙的泄露，以及冷空氣重力下沉作用，一部分低溫氣流未及時對服務(wù)器進行冷卻，而是在流出機柜后、流回空調(diào)機前，對熱空氣（即回風）進行冷卻，降低了回風溫度。

為了清楚地觀察機柜進出口的溫差，選擇在所選機柜通風口、靠服務(wù)器排熱風扇一側(cè)，沿高度方向設(shè)置溫度傳感器，共41個測點。圖10示出各排列方式下的溫度測點圖，將非均勻放置的前3種排列進行比較發(fā)現(xiàn)，隨著服務(wù)器位置升高，進口溫度斷層越來越大，空槽位處的進出口溫差降幅明顯，排列c的整體出口溫度偏低，冷卻效果差。均勻分布的排列d，出口溫度隨機柜高度呈現(xiàn)駝峰式上升，進出口溫差控制在10±2 ℃內(nèi)，分布規(guī)則且均勻?？傮w優(yōu)劣對比結(jié)果：排列d＞排列a＞排列b＞排列c。均勻排列方式適合對服務(wù)器運行環(huán)境要求嚴格的數(shù)據(jù)中心，機柜下放方式方便服務(wù)器的增減與檢修管理。

圖10 測點溫度變化Fig.10 Temperature variation chart of test points

5 結(jié)論

（1）僅采用地板送風，冷/熱通道開放的原機房熱環(huán)境對流換熱強度大，冷熱摻混劇烈，局部熱點溫度高達40 ℃，不利于服務(wù)器等設(shè)備的安全與高效運行，加上氣流短路嚴重影響空調(diào)制冷效率。冷/熱封閉通道將進出口氣流分區(qū)，顯著提升送風氣流的有效冷卻，機房空調(diào)系統(tǒng)的能耗減少；在一定程度上減少了冷空氣旁通量，但由于送風通過機柜部件縫隙的旁通量沒有解決，回風溫度指數(shù)保持中等水平。

（2）該機房模型在地板送風并封閉冷/熱通道方式下的流場、溫度場均勻性和穩(wěn)定性均優(yōu)于側(cè)送風方案；地板送風封閉熱通道的方法產(chǎn)生局部高溫的風險較大，適合對室內(nèi)環(huán)境熱舒適性要求高的數(shù)據(jù)中心；地板送風+封閉冷通道方式下進出口溫度低，流量分布平均，是本文所分析的機房模型氣流組織的最佳方案。

（3）空調(diào)送風速率影響著機柜的冷卻效果與空氣旁通量，對機柜冷卻指數(shù)的影響程度更大。風速并非越大越好，風口速率過大不僅加快冷氣流旁通，同時還加重了空調(diào)風機能耗負擔。

（4）4種常見的服務(wù)器排列中，均勻擺放與下放進出口溫差小，應優(yōu)先考慮。均勻排列方式適合對服務(wù)器運行環(huán)境要求嚴格的數(shù)據(jù)中心，機柜下放方式方便服務(wù)器的增減與檢修管理?？詹畚磺霸O(shè)置擋板后回風溫度指數(shù)增加8%，有利于減少冷空氣旁通量。