許陸順,張忠斌,宋 平,鞏 莉

(南京師范大學(xué) 能源與機(jī)械工程學(xué)院,江蘇 南京 210023)

0 引 言

近年來,隨著物聯(lián)網(wǎng)、人工智能和5G等計算科學(xué)技術(shù)的蓬勃發(fā)展,數(shù)據(jù)中心行業(yè)迎來了快速增長的趨勢,隨著對數(shù)據(jù)中心行業(yè)存儲、網(wǎng)絡(luò)和計算需求的不斷增加,數(shù)據(jù)中心的數(shù)量、規(guī)模、復(fù)雜性和能量密度不斷增長。同時,隨著設(shè)備發(fā)熱量的增加和數(shù)據(jù)中心能耗的上升,數(shù)據(jù)中心的節(jié)能降耗問題已經(jīng)成為社會廣泛關(guān)注的熱點議題。人們越來越關(guān)注如何通過采用創(chuàng)新的節(jié)能技術(shù)和優(yōu)化的運維策略降低數(shù)據(jù)中心的能源消耗。

據(jù)統(tǒng)計,2020年,我國數(shù)據(jù)中心的年耗電量已超過2 500億kWh,相當(dāng)于三峽水電站一年半的發(fā)電量[1],占全國總用電量的3%以上[2]。未來,數(shù)據(jù)中心的能耗將以每年15%～20%的速度增長[3]。數(shù)據(jù)表明,數(shù)據(jù)中心用電量至少占據(jù)英國全國總用電量的1.5%,英國的數(shù)據(jù)中心用電量每年將以20%的速度增長[4]。美國數(shù)據(jù)中心的能耗占到了全國總能耗的2%,其中冷卻系統(tǒng)的能耗占到了數(shù)據(jù)中心總能耗的40%[5]。隨著信息技術(shù)的迅速發(fā)展,數(shù)據(jù)中心的能耗問題愈發(fā)嚴(yán)峻,對于實現(xiàn)節(jié)能降耗目標(biāo)來說,降低數(shù)據(jù)中心的能耗至關(guān)重要。

數(shù)據(jù)中心的能耗主要由信息設(shè)備能耗、空調(diào)系統(tǒng)能耗和電源系統(tǒng)能耗3部分組成,共占據(jù)了能耗的98%[6],其中冷卻系統(tǒng)能耗約占40%[7]。冷卻系統(tǒng)的主要作用是提高數(shù)據(jù)中心的散熱能力,確保數(shù)據(jù)處理設(shè)備能夠安全高效地運行[8]。此外,通過有效地散熱和溫度控制,冷卻系統(tǒng)可以降低能耗,提高能源利用效率[9],從而實現(xiàn)數(shù)據(jù)中心的可持續(xù)運營和能源效率的提升。因此,優(yōu)化數(shù)據(jù)中心熱性能對數(shù)據(jù)中心節(jié)能降耗有積極作用。

優(yōu)化數(shù)據(jù)中心熱性能主要包括優(yōu)化供氣配置、設(shè)備布局和運行參數(shù)。目前數(shù)據(jù)中心多采用地板下送風(fēng)冷通道封閉方式,機(jī)柜通常以“面對面、背靠背”的形式排列。李婷婷等對數(shù)據(jù)中心進(jìn)行了數(shù)值模擬,忽略高架地板漏風(fēng)、地板下線纜、空調(diào)供回水管和照明設(shè)備等因素,機(jī)房內(nèi)整體的溫度較低,熱點機(jī)柜較少[10]。SCHMIDT等對地板下送風(fēng)和頂部送風(fēng)數(shù)據(jù)中心進(jìn)行了比較,發(fā)現(xiàn)帶有靜壓層的地板下空氣分配系統(tǒng)更好地改善了供氣的均勻性[11]。LU等研究了不同的靜壓層高度和穿孔率共同對數(shù)據(jù)中心整體熱性能的影響[12],表明通過調(diào)整幾何結(jié)構(gòu),顯著提高了系統(tǒng)的熱性能。當(dāng)超出臨界范圍時,靜壓層高度高于0.6 m,地板穿孔率低于20%時,性能變化不大。文獻(xiàn)[13-14]通過數(shù)值模擬和實驗發(fā)現(xiàn),使用冷通道密封可以改善服務(wù)器的熱性能,特別是在高功率密度下效果更顯著。HAM等通過CFD和空氣泄漏數(shù)據(jù)對數(shù)據(jù)中心進(jìn)行建模,定量分析冷通道不封閉和封閉的熱管理性能[15]。結(jié)果表明,在適當(dāng)?shù)睦鋮s系統(tǒng)控制下,2種結(jié)構(gòu)的熱管理性能都很可靠,但在使用冷通道封閉時節(jié)能效果更好,在特定工況下,可節(jié)省24%的能耗。NIU等基于冷通道封閉模型,考慮主動強(qiáng)化氣流分布方式,在冷通道前端設(shè)置誘導(dǎo)風(fēng)機(jī),發(fā)現(xiàn)誘導(dǎo)強(qiáng)化送風(fēng)方式能夠減少局部熱點的產(chǎn)生,提高數(shù)據(jù)中心服務(wù)器的熱性能[16-18]。

現(xiàn)有研究重點主要集中在數(shù)據(jù)中心的熱性能和氣流組織管理方面。數(shù)據(jù)中心研究的關(guān)鍵問題之一是確保氣流在整個數(shù)據(jù)中心內(nèi)的均勻分布,以保證冷卻效果的一致性。同時,研究人員還關(guān)注電子設(shè)備核心溫度的均勻性,確保各個設(shè)備的溫度分布相對均衡。然而,對于地板下送風(fēng)式數(shù)據(jù)中心冷通道的氣流組織管理的研究較少。因此,本文提出了氣流優(yōu)化方法,在冷通道中應(yīng)用4種導(dǎo)流板,改變冷氣流進(jìn)入機(jī)架的路徑,從而提高直流的冷卻效率。分析不同形狀的導(dǎo)流板對地板下送風(fēng)冷通道封閉式數(shù)據(jù)中心的優(yōu)化作用,采用數(shù)值模擬的方法分別做出包含初始模型在內(nèi)的5種不同的數(shù)據(jù)中心冷通道模型并求解計算,對比分析不同導(dǎo)流結(jié)構(gòu)對數(shù)據(jù)中心熱性能的影響,并通過實際測試對模型進(jìn)行驗證。

1 數(shù)值模擬

1.1 物理模型

所選研究對象為位于江蘇省南京市的某高校數(shù)據(jù)中心,長11.7 m,寬6.5 m,高3 m,其內(nèi)部結(jié)構(gòu)尺寸如圖1所示。

圖 1 數(shù)據(jù)中心平面圖Fig.1 Data center floor plan

該數(shù)據(jù)中心共有2臺機(jī)房空調(diào),采用地板下送風(fēng)結(jié)構(gòu),并且對冷通道進(jìn)行封閉,其結(jié)構(gòu)模型如圖2所示。

圖 2 地板下送風(fēng)冷通道封閉式數(shù)據(jù)中心模型Fig.2 Closed data center model with underfloor air cooling channel

圖2中,共布置了4排機(jī)架(標(biāo)記為A、B、C、D),每排分別有11個機(jī)柜(編號1～11),單個機(jī)柜尺寸為1 100 mm×600 mm×2 000 mm。每個機(jī)柜對應(yīng)一個穿孔地板,每個冷通道內(nèi)共布置22個穿孔地板,共計44塊,穿孔地板尺寸為600 mm×600 mm,穿孔率為20%。機(jī)柜內(nèi)服務(wù)器尺寸為800 mm×500 mm×90 mm,額定功率200 W,單機(jī)柜內(nèi)含12臺服務(wù)器,總功率2.4 kW。

數(shù)據(jù)中心中由2個機(jī)房空調(diào)單元提供冷卻空氣,冷氣流從機(jī)房空調(diào)單元的底部釋放并進(jìn)入靜壓層,形成穩(wěn)定的流場環(huán)境。隨后,冷氣流受靜壓驅(qū)動通過穿孔地板進(jìn)入冷通道。之后冷氣流通過機(jī)架流向熱通道,并帶走機(jī)架中服務(wù)器設(shè)備產(chǎn)生的熱量。最后,被加熱的冷卻空氣從頂部被吸入機(jī)房空調(diào)的回風(fēng)入口進(jìn)行制冷并開始下一輪循環(huán)。送風(fēng)溫度20 ℃,送風(fēng)量4.4 m3/s。

根據(jù)上述數(shù)據(jù)中心,利用商用模擬軟件Airpak3.0建立基本數(shù)值模型。為了簡化模擬工作,在模擬中進(jìn)行以下假設(shè):

1) 數(shù)據(jù)中心和冷通道結(jié)構(gòu)密封良好,密封活動地板無泄漏;

2) 數(shù)據(jù)中心的墻壁、地板和靜壓空間等板材絕熱;

3) 忽略數(shù)據(jù)中心內(nèi)部各換熱面的熱輻射;

4) 不考慮服務(wù)器內(nèi)部風(fēng)機(jī)的影響,并且每個服務(wù)器都設(shè)置為相同尺寸和恒定功率。

5) 機(jī)柜前后門設(shè)為多孔介質(zhì)模型,開孔率為65%;穿孔地板也設(shè)為多孔介質(zhì)模型,以簡化穿孔地板微觀出流特性,其他地板為實體封閉結(jié)構(gòu)。

1.2 數(shù)學(xué)模型

求解過程中基于室內(nèi)空氣流動的3種假設(shè): 1)數(shù)據(jù)中心機(jī)房內(nèi)氣流為低速流動,可視為不可壓縮流體,忽略其因黏性力做功產(chǎn)生的耗散熱; 2)機(jī)房內(nèi)空氣流動為充分流動狀態(tài),可設(shè)為穩(wěn)態(tài)湍流; 3)機(jī)房內(nèi)氣流密度變化僅對浮升力產(chǎn)生影響,即符合Boussinesq假設(shè)。數(shù)據(jù)中心氣流流動屬于大空間流動問題,且遵循Boussinesq近似,因此在數(shù)值模擬過程中采用標(biāo)準(zhǔn)k-ε湍流模型[14-15]。

數(shù)值模擬采用控制體積法。使用計算的網(wǎng)格將該區(qū)域劃分為離散控制體積,其中速度、溫度、湍動能k和耗散率ε通過一階迎風(fēng)格式離散。差分格式采用混合格式,壓力-速度耦合采用SIMPLE算法,x、y、z方向的速度和連續(xù)性的收斂殘差精度控制在1×10-3以下,能量的設(shè)定值控制在1×10-6以下。控制方程,即

(1)

1.3 邊界條件及網(wǎng)格劃分

模擬邊界條件的參數(shù)設(shè)置見表1。

注：N/A表示不適用或無適用數(shù)據(jù)。

選擇機(jī)架上最高溫度作為有效參數(shù),分析不同網(wǎng)格數(shù)下溫度的差異,進(jìn)行網(wǎng)格獨立性測試。當(dāng)網(wǎng)格數(shù)≥3 600×103時,機(jī)架的最高溫度幾乎不再變化,表明模擬結(jié)果的精確度和穩(wěn)定性較高,因此選擇網(wǎng)格數(shù)3 600×103進(jìn)行后續(xù)的研究。

2 實驗測量及模擬驗證

2.1 測量儀器和測點布置

在實驗過程中,主要測量參數(shù)為溫度(機(jī)架進(jìn)出口溫度、機(jī)房空調(diào)進(jìn)出口溫度、穿孔地板出口溫度)和速度(機(jī)房空調(diào)供風(fēng)風(fēng)速、穿孔地板風(fēng)速、機(jī)架進(jìn)出口風(fēng)速)。數(shù)據(jù)中心內(nèi)溫度檢測儀器使用Agilent 34972A數(shù)據(jù)采集儀(精度為±0.001 ℃),配套溫度傳感器選擇T型熱電偶測量(測量范圍-40～80 ℃)。數(shù)據(jù)中心風(fēng)速測量則使用手持式Testo416熱敏風(fēng)速計(測量范圍0.01～20 m/s,精度(0.03±5%)m/s,具備讀數(shù)保持功能,方便測量不同高度的測點。

被測機(jī)架的測點位于每個機(jī)柜前后門的正中間,水平方向測點布置間距為600 mm,共布置11個測點,垂直方向布置6個測點,高度分別為100、400、700、1 000、1 300、1 600 mm,搭建整個熱電偶測點網(wǎng)絡(luò)。

實驗在數(shù)據(jù)中心穩(wěn)定工作后進(jìn)行。對所有測量點測量4次,間隔15 min,最終每個測量點的溫度取該點4次測量的平均值。在每一次溫度測量過程中,數(shù)據(jù)采集器每30 s記錄1次溫度,采集時間為10 min,每一次測量的溫度值取采集時間內(nèi)溫度的平均值。對于速度測量,取30 s內(nèi)的平均速度作為每次測量的速度。并且進(jìn)行3輪重復(fù)性測量,取其平均值作為實驗結(jié)果,以減少誤差。

2.2 不確定度分析

根據(jù)估計方法的不同,不確定度可分為A類不確定度和B類不確定度。A類不確定度按照統(tǒng)計分布進(jìn)行估計,采用貝塞爾公式計算得到; B類不確定度按照非統(tǒng)計分布進(jìn)行估計,通常以儀器誤差表示,即

ΔB=Δi

(2)

式中:ΔA為A類不確定度;Sx為由貝塞爾公式計算得出的標(biāo)準(zhǔn)偏差;Δi為儀器誤差;ΔB為B類不確定度;ΔX為合成不確定度。

選擇A11機(jī)架后門6個測點的溫度和風(fēng)速測量結(jié)果進(jìn)行不確定度分析,機(jī)架A11后門測點綜合不確定度計算結(jié)果見表2。

表 2 機(jī)架A11后門測點綜合不確定度計算結(jié)果

結(jié)果表明,測量點的測量不確定度小,測量值的離散度在可接受范圍內(nèi),測量精度高。

2.3 模擬結(jié)果驗證

為了驗證建立的數(shù)據(jù)中心數(shù)值模型的可靠性和準(zhǔn)確性,選擇對熱環(huán)境影響更加明顯的機(jī)架出口的溫度和速度作為驗證對象,將所測數(shù)據(jù)中心A列機(jī)柜出口的溫度和速度與數(shù)值模擬結(jié)果進(jìn)行比較。為了更準(zhǔn)確地描述實測值與模擬值之間的差異程度,引入相對偏差的概念,并使用式(3)進(jìn)行計算,即

(3)

式中:CRE為相對誤差;PEV為實測值;VSV為模擬值。

根據(jù)式(3)計算得到的溫度和速度的實測值與模擬值的相對誤差,結(jié)果如圖3所示。

(a) 溫度相對誤差 (b) 速度相對誤差

從圖3可以看出,溫度和速度的相對誤差都非常小。這意味著模擬結(jié)果與實際測量值之間的差異非常小,模擬模型能夠高度精確地捕捉到了系統(tǒng)的行為。溫度的實測值與模擬值之間的最大相對誤差不超過5%,表明模擬模型在模擬系統(tǒng)的熱行為方面表現(xiàn)出色。速度的實測值與模擬值之間的最大相對誤差不超過10%,表明模擬結(jié)果對系統(tǒng)的流動性能進(jìn)行了良好的描述?？傮w而言,速度的相對誤差比溫度的相對誤差大,是可預(yù)期的正常現(xiàn)象,并且兩者的誤差都在可接受的范圍內(nèi),證明了模擬模型的準(zhǔn)確性和可信度。

3 結(jié)果與討論

為了研究導(dǎo)流板的應(yīng)用對數(shù)據(jù)中心熱環(huán)境的影響,將數(shù)值模擬分為5種場景,對應(yīng)無導(dǎo)流板和應(yīng)用4種不同形狀的導(dǎo)流板(復(fù)合型、線型、凸型、凹型)的情況。冷通道內(nèi)應(yīng)用的導(dǎo)流板具體結(jié)構(gòu)如圖4所示。

圖 4 導(dǎo)流板示意圖Fig.4 Diagram of the deflector

由于機(jī)架A9、A10和A11的熱環(huán)境最差,在3個機(jī)架中產(chǎn)生局部熱點的可能性很高,因此主要選擇A9、A10和A11等3個機(jī)架進(jìn)行分析,包括3個機(jī)架在5種場景下的進(jìn)排氣溫度及其速度4種共20幅云圖,每幅云圖中從右往左依次為機(jī)架A9、A10、A11。其模擬結(jié)果如圖5所示。

圖 5 不同導(dǎo)流板的模擬結(jié)果Fig.5 Simulation results of different deflectors

從圖5可以看出,對于未應(yīng)用導(dǎo)流板的S0來說,進(jìn)氣速度分布并不均勻,下部進(jìn)入機(jī)架的冷空氣充足但機(jī)架中上部區(qū)域卻明顯不足,這可能會導(dǎo)致機(jī)架內(nèi)上部區(qū)域的服務(wù)器不能夠充分冷卻。進(jìn)氣溫度分布比較均勻,這是因為溫度機(jī)架附近發(fā)生的熱循環(huán)的現(xiàn)象較少。機(jī)架出口溫度分布并不均勻,并有可能會有局部熱點產(chǎn)生,這是由于機(jī)架出口風(fēng)速較低,不能及時帶走熱量所致。而應(yīng)用導(dǎo)流板后,機(jī)架出口的溫度都有不同程度的降低,說明無論導(dǎo)流板的結(jié)構(gòu)如何,冷通道應(yīng)用導(dǎo)流板對熱積聚的現(xiàn)象都具有明顯的改善作用。

對比S1～S4等4種模型, S1、S2、S4進(jìn)氣速度表現(xiàn)較好,分布較為均勻,S3表現(xiàn)相對較差,在上部出現(xiàn)了進(jìn)氣速度過低的問題,這是因為該結(jié)構(gòu)改變氣流方向的作用較其他幾種較小。4種模型的排氣速度也是如此,S3表現(xiàn)不好,在中間部分出現(xiàn)了速度較小的問題,而S2和S4排氣速度分布較好。進(jìn)排氣的速度在一定程度上影響了進(jìn)排氣溫度的好壞,但最重要的還是要保證溫度分布均勻,無局部熱點產(chǎn)生。S1、S2、S3的進(jìn)氣溫度分布較S4好,因為S4中凹型導(dǎo)流板上部過窄,氣流不能較多地進(jìn)入機(jī)柜上部從而導(dǎo)致上部進(jìn)氣溫度出現(xiàn)局部過熱的現(xiàn)象。同樣是這個原因使得S3的進(jìn)氣溫度分布最好,因為凸型導(dǎo)流板留給了機(jī)架上部足夠多的進(jìn)氣空間,上部進(jìn)氣量較大。而對于排氣溫度S3表現(xiàn)不好,局部熱點較其他模型多,這是因為受到了進(jìn)排氣速度影響,S2和S4的排氣溫度分布較好。

僅從模擬結(jié)果的溫度和速度云圖考慮導(dǎo)流板的優(yōu)化效果較為單一,需要對模擬結(jié)果的具體數(shù)值進(jìn)行分析。機(jī)架進(jìn)氣溫度分布狀況都比較均勻,而排氣溫度差異較大,另外,機(jī)架排氣溫度是判斷機(jī)架是否產(chǎn)生熱點的重要依據(jù),而機(jī)架熱點又關(guān)乎數(shù)據(jù)中心能否安全運行。因此,重點從機(jī)架排氣溫度進(jìn)行分析。

圖 6為機(jī)架A9、A10和A11在5種不同場景下的排氣平均溫度。

圖 6 S0～S4場景下3個機(jī)架平均排氣溫度Fig.6 Average exhaust temperature of three racks in the S0～S4 scenario

從圖6可以看出,在場景S0時,機(jī)架A9、A10和A11的平均溫度分別為31.4、31.5、31.8 ℃,機(jī)架距離CRAC出風(fēng)口越遠(yuǎn),平均排氣溫度越高。而在冷通道內(nèi)應(yīng)用導(dǎo)流板后,3個機(jī)架的平均排氣溫度均有不同程度的降低。S2和S4表現(xiàn)較S1和S3更好,其中S2的3個機(jī)架平均溫度最低,皆在30.5 ℃以下。

然而,機(jī)架平均排氣溫度的降低并不完全代表熱環(huán)境的改善,因為在機(jī)架中可能會出現(xiàn)局部熱點,而局部熱點對平均溫度的影響并不大。所以本文又在局部上分析了熱點溫度相對于S0的下降情況,同時在整體上研究了排氣的標(biāo)準(zhǔn)差。

A9、A10和A11機(jī)架在4種場景下的機(jī)架熱點溫度相對于S0的下降情況如圖7所示。

圖 7 S1～S4相比于S0的熱點溫度降Fig.7 Hotspot temperature drop of S1-S4 compared with S0

從圖7可以看出,與平均溫度趨勢相似,S2和S4熱點溫度的下降最為明顯,比S1和S3下降得更多,達(dá)到了1 ℃以上,其中S2的3個機(jī)架的熱點溫度下降的平均值接近2 ℃。機(jī)架排氣溫度的標(biāo)準(zhǔn)差如圖8所示。

圖 8 機(jī)架排氣溫度的標(biāo)準(zhǔn)差Fig.8 Standard deviation of rack exhaust temperature

從圖8可以看出,溫度標(biāo)準(zhǔn)差越大,說明機(jī)架的溫度不均勻性越高。對于標(biāo)準(zhǔn)差而言,S4的結(jié)果略高于S1、S2和S3,意味著S4場景下排氣溫度整體分布較其他3種場景更不均勻,與前面平均溫度和熱點溫度下降情況截然不同,因此該結(jié)構(gòu)具有一定的局限性。顯然S2的標(biāo)準(zhǔn)差最低,熱環(huán)境溫度均勻性更好。

綜上所述,可將S2的線型導(dǎo)流板作為最優(yōu)導(dǎo)流結(jié)構(gòu)。

4 結(jié) 論

1) 對于地板下送風(fēng)冷通道封閉式數(shù)據(jù)中心,合理地增設(shè)導(dǎo)流結(jié)構(gòu)使數(shù)據(jù)中心各個機(jī)柜的進(jìn)排氣的溫度和速度得到優(yōu)化,溫度場和速度場更均勻,很大程度上減少了局部熱點的產(chǎn)生,可以有效避免由熱量積聚造成的服務(wù)器損害現(xiàn)象。

2) 在CRAC相同的工況條件下(送風(fēng)溫度20 ℃、送風(fēng)量4.4 m3/s),對比4種不同導(dǎo)流結(jié)構(gòu)(復(fù)合型、線型、凸型、凹型)對數(shù)據(jù)中心熱性能的影響,線型導(dǎo)流板效果相對最好,3個機(jī)架排氣平均溫度較原始結(jié)構(gòu)下降了1.4 ℃左右,熱點溫度下降了1.9 ℃左右,標(biāo)準(zhǔn)差下降了0.4左右,并且結(jié)構(gòu)簡單,更易作為導(dǎo)流結(jié)構(gòu)應(yīng)用到數(shù)據(jù)中心。