朱鑫姝，殷 勇，鄧佩剛

武漢工程大學(xué)光電信息與能源工程學(xué)院，湖北 武漢 430205

在信息發(fā)展迅速的時代，需要利用信息設(shè)備來儲存及處理信息，而數(shù)據(jù)中心則是用來存放成百上千臺信息設(shè)備的場所，人們?nèi)粘Ｉ罨驀医?jīng)濟發(fā)展都離不開數(shù)據(jù)的儲存。但數(shù)據(jù)中心內(nèi)存放和管理著大量的信息設(shè)備以及一些其他的設(shè)備，且這些設(shè)備為了保證正常處理信息，需要一直運行，甚至在信息量大的時候需要超負(fù)荷運轉(zhuǎn)，這不僅帶來了大量的電力消耗，還會產(chǎn)生很大的熱量，需要空調(diào)系統(tǒng)幫助散熱。目前1臺1U服務(wù)器額定功率大約400 W，單個機架的發(fā)熱量約4 kW以上，整個機房的發(fā)熱量可達(dá)上百千瓦以上［1-2］。要想對數(shù)據(jù)中心提出合理化的節(jié)能建議，需要對數(shù)據(jù)機房進(jìn)行合理建模，以便更好地模擬機房內(nèi)部的流場和溫度場。

為了解決這一問題，前人做了許多研究。馬欣宇等［3］以南京某數(shù)據(jù)機房為模型，分析了幾種變工況情況下數(shù)據(jù)機房內(nèi)熱環(huán)境的瞬態(tài)變化的過程，研究發(fā)現(xiàn)當(dāng)服務(wù)器發(fā)熱量增加后，機架的平均出口溫度隨時間呈指數(shù)增長，在空調(diào)停止制冷時，機架的平均出口溫度隨時間線性增長。Cho等［4］以某高熱流密度數(shù)據(jù)機房為研究對象，研究了安裝簡單擋板是否能改善冷熱氣流的混合情況，研究表明未安裝隔斷墻時，IT服務(wù)器所在高度的高低溫差最大可達(dá)15℃，安裝通道隔斷墻時，高、低溫差小于10℃，且防止氣流再循環(huán)使IT服務(wù)器室回風(fēng)格柵所在位置的平均溫度降低約1.4℃［5］。逢書帆［6］以上海某數(shù)據(jù)中心為模型，針對機房內(nèi)出現(xiàn)的氣流分布不均等問題提出建議，結(jié)果表明當(dāng)靜壓箱的高度為0.8～0.9 m，地板開孔率為40%～50%時，氣流組織效果最好，機房內(nèi)熱環(huán)境也能被有效改善。張振國等［7］以北京某數(shù)據(jù)機房為例，研究了靜壓箱的不同高度對機房環(huán)境的影響，結(jié)果表明當(dāng)靜壓箱的高度選擇為0.4 m時，靜壓箱內(nèi)的電纜和橫梁對機房內(nèi)整體的氣流組織影響不大。李?。?］等針對重慶某數(shù)據(jù)中心園區(qū)進(jìn)行研究，結(jié)果發(fā)現(xiàn)采用冷凍水回水余熱利用方案可減少38.5%的能源消耗，且投資成本更小，經(jīng)濟效益也更顯著。Fulpagare等［9］主要研究了靜壓箱內(nèi)的障礙物對機房熱環(huán)境的影響，對7種不同布局的模型進(jìn)行計算流體力學(xué)（computational fluid dynamics，CFD）仿真模擬，研究發(fā)現(xiàn)靜壓箱內(nèi)的障礙物會影響機房內(nèi)空氣流量的下降，最高可達(dá)80%，而空氣流量下降則會導(dǎo)致機房內(nèi)出現(xiàn)更多的局部熱點。Nada等［10］對不同配置的CRAC機組和冷熱通道分離情況下的數(shù)據(jù)中心進(jìn)行CFD仿真模擬，研究發(fā)現(xiàn)機房空調(diào)（computer room air conditioners，CRACs）機組的布局對兩側(cè)和中間機架的熱環(huán)境影響很大，且采用冷通道封閉的方法能有效改善機房內(nèi)的熱環(huán)境。Ling等［11］采用CFD方法研究了氣流通過一個具有矩形圓柱陣列的孔板，并給出一個壓力損失系數(shù)的擬合計算公式，該公式通過驗證對數(shù)據(jù)中心中最常用的孔板進(jìn)行壓力損失系數(shù)的計算效果更好。樊亞男［12］對3種不同的地板送風(fēng)方式進(jìn)行CFD仿真模擬，研究發(fā)現(xiàn)從地板出風(fēng)是否均勻和冷量利用的效率兩方面來判斷，地板雙側(cè)送風(fēng)并在靜壓箱內(nèi)加豎直擋板比地板單、雙側(cè)送風(fēng)效果更好。

通過對前人研究成果的總結(jié)，發(fā)現(xiàn)人們對機房的節(jié)能研究主要側(cè)重于服務(wù)器排列方式、機架布局的優(yōu)化、靜壓箱內(nèi)的送風(fēng)方式優(yōu)化和格柵開孔率對氣流組織的影響等方面，但對機柜內(nèi)服務(wù)器的優(yōu)化模擬方法的研究還相對較少。針對該問題，課題組針對實際運營的多個機房展開了應(yīng)用研究。現(xiàn)在的大部分?jǐn)?shù)據(jù)機房都包含上百個機柜，其中每個機柜又包含不同數(shù)量的服務(wù)器，且服務(wù)器擺放位置也不一致，如果在前期建模過程中將每個機柜內(nèi)的服務(wù)器都還原出來的話，將會導(dǎo)致巨大的工作量和計算量，因此課題組對機柜內(nèi)服務(wù)器的簡化做了一些研究［13-14］，由于服務(wù)器的尺寸相較于整個機房來說較小，所以前期建模時對服務(wù)器設(shè)置的節(jié)點較少，在以整體機房為研究對象時，這種處理方法是可行的，計算得到冷熱通道送回風(fēng)處的溫度、風(fēng)速等也與實驗測量數(shù)據(jù)吻合。之后課題組研究發(fā)現(xiàn)，當(dāng)需要研究服務(wù)器進(jìn)出口處的流場而對服務(wù)器進(jìn)行節(jié)點加密時，服務(wù)器進(jìn)入的氣流會產(chǎn)生回流，從而導(dǎo)致服務(wù)器出口氣流溫度差距過大，這與實際運行情況不符。通過文獻(xiàn)調(diào)研，為了避免回流，人們會盡可能還原機架式服務(wù)器的物理模型［15］，但這樣處理會像上述所說帶來巨大的計算量，并且對機架式服務(wù)器進(jìn)行處理是為了得到更準(zhǔn)確的數(shù)據(jù)機房內(nèi)部的氣流組織及熱環(huán)境情況，而非關(guān)心服務(wù)器內(nèi)部情況，后者屬于服務(wù)器級的模擬而非機房級的模擬。為解決這一問題，本文提出一種優(yōu)化模型，用多孔介質(zhì)區(qū)域模型模擬服務(wù)器內(nèi)部流場情況，這一改進(jìn)將更加符合服務(wù)器內(nèi)部流動規(guī)律，使模擬結(jié)果更貼近實際運行情況，而又不會增加太大的計算開銷。在本課題組前期的精密空調(diào)模型研究中，多孔介質(zhì)區(qū)域模型已經(jīng)成功應(yīng)用［16］。

本文以單塊孔板上方的冷通道區(qū)域及其相鄰機柜內(nèi)的服務(wù)器作為研究對象，建立3種CFD計算模型：一是能還原出該機柜內(nèi)每臺服務(wù)器的實體模型（real geometrical model），該模型能體現(xiàn)空氣流過該機柜每個服務(wù)器的真實情況；二是原始模型（original model），按照實體模型將服務(wù)器簡化成上、中、下3個高度為8U的區(qū)域，出口面設(shè)置多孔階躍模型模擬氣流通過服務(wù)器產(chǎn)生的壓力損失；三是優(yōu)化模型（optimal model），即在保持原始模型幾何簡單的優(yōu)勢下，采用多孔介質(zhì)加風(fēng)扇模型的方法避免了回流情況的出現(xiàn)。為了對比3種模型的準(zhǔn)確性和高效性，即對比模擬得到的各模型中的流場溫度場與實驗測量數(shù)據(jù)是否吻合，以及對比各模型計算的開銷，對3種模型進(jìn)行實驗和模擬研究。研究中采用在該機房實地測量的實驗數(shù)據(jù)作為上述3種模型的邊界條件進(jìn)行模擬計算及結(jié)果分析，并將冷熱通道內(nèi)的空氣流速與溫度的模擬結(jié)果與測量值進(jìn)行了比較。

1 模型計算

1.1 機房及模型概述

該機房的冷通道內(nèi)部分布如圖1（a）所示，冷通道左右兩列的機柜內(nèi)部IT設(shè)備的分布如圖1（b）所示，冷通道內(nèi)熱成像儀圖如圖1（c）所示。機房其圍護結(jié)構(gòu)均具有良好的隔熱措施，內(nèi)部使用架空地板送風(fēng)、無管道自由回風(fēng)的氣流組織形式。單個機柜深1 m，寬0.6 m，高2.2 m。

截取圖1（a）中單個孔板上方冷通道及其相鄰機柜內(nèi)服務(wù)器的區(qū)域，如圖2（a）所示，作為建模對象示意圖，考慮到該機柜內(nèi)部的服務(wù)器是沿著高度方向兩兩相鄰，不相鄰的服務(wù)器之間在進(jìn)風(fēng)口側(cè)存在擋板，流體只會從服務(wù)器的進(jìn)風(fēng)口進(jìn)入內(nèi)部，且本文關(guān)注的研究范圍是送風(fēng)地板以上的流場和溫度場，所以在CFD模擬時省去靜壓箱和擋板后面空氣無法流過的部分。由于選取的機架的布置具有對稱性，利用其對稱面，設(shè)置空氣進(jìn)口面和上頂面為wall，其余3個側(cè)面為對稱面。

圖1 機房內(nèi)部：（a）冷通道，（b）服務(wù)器，（c）冷通道熱成像儀圖Fig.1 Images of data center room：（a）cold aisle，（b）IT equipment，（c）thermal infrared image of cold aisle

本文將比較研究3種不同建模方法的計算結(jié)果，圖2（b）是完全還原服務(wù)器的布置方式的實體模型圖。圖2（c）是原始模型和優(yōu)化模型的計算模型圖，這兩種模型對機柜內(nèi)的服務(wù)器做了不同的簡化。3種模型冷通道進(jìn)風(fēng)口的邊界條件和服務(wù)器發(fā)熱功率相同，因此使用測量值作為它們的邊界條件。研究中采用Testo400多功能測量儀來測量風(fēng)速及其溫度，其測量精度分別為±0.1 m/s和±0.1 K；采用Fluke TiX640紅外熱成像儀獲取通道內(nèi)的溫度場及機柜表面溫度，其測量精度為±1.5 K。在該機柜相鄰的孔板上方10 cm區(qū)域內(nèi)任取3點分別測3組速度值和溫度值，得到平均速度1.33 m/s，溫度293.35 K；另根據(jù)所測電流計算出單個機柜發(fā)熱量為4 857 W，該機柜內(nèi)的服務(wù)器運行中已做負(fù)載均衡處理，各服務(wù)器運行電流差別不大，本研究中設(shè)置服務(wù)器的體積熱源為7 580 W/m3。

1.2 模型的建立與處理

1.2.1 實體模型根據(jù)選取的機柜內(nèi)服務(wù)器擺放的真實情況繪制CFD計算模型［圖2（b）］。另外在服務(wù)器進(jìn)口設(shè)置平面風(fēng)扇模型；將服務(wù)器簡化為體積熱源，服務(wù)器出口設(shè)置成壓力出口，其壓力為0 Pa。

圖2 研究對象模型圖：（a）機房送風(fēng)通道，（b）實體模型，（c）原始模型和優(yōu)化模型Fig.2 Models of research objects：（a）air supply channel，（b）real geometrical model，（c）original/optimal model

1.2.2 原始模型在節(jié)點取的比較少的情況下建立原始模型如圖2（c）所示，即將3個8U的服務(wù)器布置在機架上、中、下3個區(qū)域。另外服務(wù)器進(jìn)口設(shè)置為平面線形風(fēng)扇模型，將服務(wù)器簡化為體體積熱源，服務(wù)器出口設(shè)置多孔階躍模型模擬氣體流經(jīng)服務(wù)器產(chǎn)生的壓降，具體參數(shù)如下：α為1.76×106m2，阻力系數(shù)為9 865 m-1，孔板厚度為3 mm。

1.2.3 優(yōu)化模型本文提出的優(yōu)化模型是對原始模型［圖2（c）］的改進(jìn)，依然采用3個8 U的服務(wù)器布置在機架上、中、下3個區(qū)域的模型，但采用多孔介質(zhì)方法和體積熱源來模擬服務(wù)器內(nèi)部的流動和換熱情況。服務(wù)器進(jìn)口設(shè)置為平面線形風(fēng)扇模型，出口面設(shè)置成壓力出口，出口壓力為0 Pa。采用多孔區(qū)域模型設(shè)置X、Y、Z3個方向上的阻力，保證與實際流場情況一致，避免產(chǎn)生回流。

多孔區(qū)域內(nèi)流場分析所需的粘性阻力系數(shù)和慣性阻力系數(shù)可由下列公式得到：

其中，μ是空氣的層流黏度，α是介質(zhì)的滲透率，u是空氣的速度，ρ是流體的密度，Du取值為212 154。多孔區(qū)域內(nèi)能量方程采用平衡態(tài)進(jìn)行計算：

其中，Ef是總流體能量，Es是固體介質(zhì)總能量，ρf是流體密度，ρs是固體介質(zhì)密度，γ是介質(zhì)孔隙率，Keff是介質(zhì)的有效導(dǎo)熱系數(shù)，Shf是流體焓源項。介質(zhì)的有效導(dǎo)熱系數(shù)由公式（4）得出：

其中，Kf是流體導(dǎo)熱率，Ks是固體導(dǎo)熱率。本模擬計算中γ取值為0.5。

2 CFD模擬計算結(jié)果

以1.1中Testo400多功能測量儀所測出的進(jìn)口處氣流速度和溫度的平均值作為模擬邊界條件，通過軟件FLUENT仿真得到3種模型的計算結(jié)果。因機柜擺放具有對稱性，在Y軸上的不同截面速度和溫度分布比較相似。為了便于比較，根據(jù)圖2（b）中的坐標(biāo)軸，截取3種模型在Y=0.3 m平面上的速度矢量圖如圖3所示，溫度云圖如圖4所示。

圖3 速度矢量圖：（a）實體模型，（b）原始模型，（c）優(yōu)化模型Fig.3 Vector graphs of velocities：（a）real geometrical model，（b）original model，（c）optimal model

圖4 溫度云圖：（a）實體模型，（b）原始模型，（c）優(yōu)化模型Fig.4 Temperature contours plots：（a）real geometrical model，（b）original model，（c）optimal model

原始模型和優(yōu)化模型對機架里的服務(wù)器進(jìn)行了不同方法的簡化處理，3個模型的速度矢量圖如圖3所示?？梢钥闯鰧嶓w模型在每個服務(wù)器內(nèi)的氣流分布都比較均勻平穩(wěn)，能夠與每個服務(wù)器都進(jìn)行良好的換熱。原始模型中最上方的服務(wù)器區(qū)域比較符合現(xiàn)實情況，但最下面服務(wù)器內(nèi)部的氣流會產(chǎn)生回流，從而導(dǎo)致服務(wù)器區(qū)域部分溫度過高，出口溫度差距過大，這與實體模型中對應(yīng)的服務(wù)器內(nèi)部流動情況差別太大。圖3（c）為優(yōu)化模型的計算結(jié)果，其整體的速度分布相較于原始模型更加均勻平穩(wěn)，符合現(xiàn)實情況中服務(wù)器內(nèi)部氣體流動情況，也更貼近實體模型的速度分布。

圖4為3種模型的溫度云圖，可以看到優(yōu)化模型的溫度變化趨勢與實體模型非常接近，原始模型與實體模型存在很大的差異。在實體模型和優(yōu)化模型的溫度云圖中，每臺服務(wù)器內(nèi)部溫度變化趨勢都比較一致，是因為該機柜中12臺服務(wù)器的負(fù)載均衡的原因，在現(xiàn)實情況中每臺服務(wù)器發(fā)熱量相差不大時，內(nèi)部風(fēng)扇會根據(jù)該服務(wù)器自身散熱情況調(diào)整轉(zhuǎn)速，以便更好散熱。由于模擬中進(jìn)口面的氣流方向垂直向上，所以大部分冷空氣進(jìn)入靠近上方的服務(wù)器，因此利用風(fēng)扇模型調(diào)整每臺服務(wù)器內(nèi)部進(jìn)風(fēng)量的大小，保證每臺服務(wù)器的散熱情況相對一致。原始模型和優(yōu)化模型中關(guān)于風(fēng)扇模型的設(shè)置是一樣的，但由于原始模型中的服務(wù)器內(nèi)部會產(chǎn)生回流，其溫度云圖與實體模型差別較大。且實體模型與優(yōu)化模型的溫度云圖中可以看到在冷通道內(nèi)的氣流溫度在293.3 K，出口溫度在303.3 K左右，與圖1（c）冷通道熱成像儀圖中展示的溫度接近。

為了更好的定量比較，在沿著服務(wù)器深度的方向即沿著X軸方向選取A、B、C、D共4個點（見圖4），在這4個點的垂直方向上即Y軸方向選取12個服務(wù)器對應(yīng)的高度中心點，讀取3種模型在各個點對應(yīng)的溫度值，繪制成圖5?？梢钥吹綄嶓w模型中12個服務(wù)器在同一位置的溫度幾乎保持一致［圖5（a）中，溫度都在295 K左右］，與上面分析的情況一致。通過對比，發(fā)現(xiàn)優(yōu)化模型的曲線與實體模型的曲線非常吻合，溫差最大相差1 K，誤差在0.3%以內(nèi)，而原始模型的曲線則與另外兩條曲線差距較大，尤其在圖5（c）和圖5（d）中，原始模型的最高和最低溫度都偏離另外兩種模型的溫度，出現(xiàn)這種情況的原因是原始模型中的氣流產(chǎn)生了回流，大部分的冷空氣集中在服務(wù)器上方區(qū)域，所以導(dǎo)致在接近出口的位置中下方的氣流溫度過高，而上方的氣流溫度卻很低。

圖5 四點溫度對比：（a）A點，（b）B點，（c）C點，（d）D點Fig.5 Temperature comparisons of four points：（a）point A，（b）point B，（c）point C，（d）point D

在從下往上第1、4、7、10個服務(wù)器的高度中心點位置分別沿著氣流流動即X軸方向選取若干個點，讀取3種模型在各個點對應(yīng)的溫度值繪制成圖6?？梢钥吹綄嶓w模型和優(yōu)化模型中空氣的溫度沿著X軸方向而逐漸升高，這符合冷空氣在服務(wù)器內(nèi)部進(jìn)行換熱的情況。并且通過圖6的對比，可以看出優(yōu)化模型的曲線與實體模型的曲線非常吻合，溫差最大只有0.8 K，誤差在0.3%以內(nèi)，而原始模型在有些區(qū)域的溫度變化比較貼合實體模型，但在大部分區(qū)域，原始模型的曲線與另外兩條曲線差距較大。

圖6 沿氣流方向服務(wù)器內(nèi)部溫度對比：（a）服務(wù)器1，（b）服務(wù)器4，（c）服務(wù)器7，（d）服務(wù)器10Fig.6 Air temperatures along flow direction in servers：（a）server 1，（b）server 4，（c）server 7，（d）server 10

最后為了驗證3種模型的結(jié)果是否正確，將3種模型的模擬結(jié)果與實驗測量數(shù)據(jù)進(jìn)行對比，本研究中冷通道內(nèi)的實驗測量數(shù)據(jù)包括在地板正中間（X=0.3 m、Y=0.3 m）的位置上，高度每隔0.3 m測一組速度值和溫度值，總共測6組。每組數(shù)據(jù)測3次后取其平均值作為實驗測量數(shù)據(jù)，并與差值最大的數(shù)據(jù)相比算出實驗測量數(shù)據(jù)的誤差值。在模擬結(jié)果中同樣選取冷通道內(nèi)X=0.3 m、Y=0.3 m的位置，在該點的高度上每隔0.3 m讀取一次速度值和溫度值，由于實測中在高度為1.5 m和1.8 m處的流速已經(jīng)很低，超過了所用測量儀器的范圍，所以這2個點沒有計算在內(nèi)。

將所測4個高度點的測量值進(jìn)行對比并繪制圖7（a）和圖7（b），結(jié)果顯示在這3種模型中，冷通道內(nèi)沿著高度方向的速度和溫度與實驗測量數(shù)據(jù)相吻合，速度最大誤差為4%，溫度最大誤差為0.03%，其中優(yōu)化模型的冷通道內(nèi)速度和溫度與實驗測量數(shù)據(jù)的最大誤差分別為3.7%和0.03%。除了冷通道的數(shù)據(jù)測量，還進(jìn)行了熱通道內(nèi)的溫度測量，即在熱通道內(nèi)沿高度每隔0.3 m測一次溫度值，總共測6組，每組數(shù)據(jù)也同樣測3次后算出其平均值作為實驗測量數(shù)據(jù)。在模擬結(jié)果中讀取服務(wù)器出口面上各個高度點的溫度值，由于高度為0.3 m的點在模擬結(jié)果中無法測得（第一臺服務(wù)器高度為0.35 m），所以能夠使用的實驗測量數(shù)據(jù)只有5組，這些點的相對位置見圖2（b）和圖2（c）中P1-P5所示。將計算模擬溫度值與實測值進(jìn)行比較繪制成圖7（c）。結(jié)果可以看出優(yōu)化模型的出口溫度與實驗測量數(shù)據(jù)最為接近，溫度最大相差為2 K，誤差在0.6%以內(nèi)；實體模型與實驗測量數(shù)據(jù)最大溫差為2.5 K，誤差在0.8%以內(nèi)；而原始模型的溫度值出現(xiàn)較大跳躍，這是因為原始模型中產(chǎn)生了回流情況，導(dǎo)致出口面上各點的溫度值差距過大，這也與現(xiàn)實情況不符。

圖7 模擬結(jié)果對比：（a）冷通道內(nèi)速度，（b）冷通道內(nèi)溫度，（c）服務(wù)器出口面溫度Fig.7 Comparisons of simulated and measured results：（a）air velocities in cold aisle，（b）air temperatures in cold aisle，（c）air temperatures at outlet surface of server

最后對3種模型的計算成本進(jìn)行比較，發(fā)現(xiàn)相比于實體模型，原始模型和優(yōu)化模型均能節(jié)約計算時間，分別節(jié)省了20%和58%。在同樣的CFD計算模型的條件下，原始模型的時間成本更高，是由于模型內(nèi)部產(chǎn)生氣體回流導(dǎo)致計算更復(fù)雜，時間也更長。

3 結(jié)論

本文針對機架式服務(wù)器的數(shù)值模擬提出了一種優(yōu)化模型的計算方法，該模型利用多孔介質(zhì)的方法模擬了氣流均勻通過服務(wù)器的過程，防止服務(wù)器內(nèi)部產(chǎn)生回流導(dǎo)致出口溫度差距過大。在模擬過程中建立了3種模型進(jìn)行對比研究，計算結(jié)果表明：相比于能還原出服務(wù)器擺放實況的實體模型，原始模型和優(yōu)化模型不同的處理方法能夠分別減少20%和58%的計算時間，但對比3種模型的溫度云圖，發(fā)現(xiàn)原始模型與實體模型的溫度場最大誤差高達(dá)6.6%，而優(yōu)化模型與實體模型的溫度場最大誤差為0.3%，且優(yōu)化模型與實驗測量數(shù)據(jù)相比，其速度場和溫度場的最大誤差分別為3.7%和0.6%，因此優(yōu)化模型是一種計算開銷小的數(shù)據(jù)機房的優(yōu)化計算模型。