葉 萌，張學(xué)偉，蓋東興

(1.武漢工程大學(xué) 光電信息與能源工程學(xué)院，湖北 武漢 430205；2.廣東申菱環(huán)境系統(tǒng)股份有限公司，廣東 佛山 528000)

1 引言

隨著國家新基建的提出，數(shù)據(jù)中心作為其中唯一的基礎(chǔ)設(shè)施建設(shè)得到了迅速的發(fā)展，數(shù)據(jù)中心是一個(gè)企業(yè)向數(shù)據(jù)化、智能化發(fā)展的基礎(chǔ)。另外，隨著5G技術(shù)的發(fā)展，數(shù)據(jù)中心的數(shù)量和規(guī)模也大大增加。由于數(shù)據(jù)中心是儲(chǔ)存，處理和傳遞各種數(shù)據(jù)信息的中樞，對(duì)數(shù)據(jù)中心的可靠性和安全性提出很高要求，通常需要全年365 d的不間斷運(yùn)行。

典型數(shù)據(jù)中心能耗構(gòu)成如圖1所示，精密空調(diào)系統(tǒng)是除IT設(shè)備所必須耗能外數(shù)據(jù)中心最大的能源消耗系統(tǒng)，它們占數(shù)據(jù)中心總能耗的32%，具有很大的節(jié)能潛力，而空調(diào)系統(tǒng)則由制冷量過大和氣流損失等原因消耗大量能源[1]。數(shù)據(jù)中心制冷設(shè)備的運(yùn)行狀態(tài)取決于IT設(shè)備的運(yùn)行環(huán)境要求，包括房間的溫度和濕度，隨著新時(shí)代數(shù)據(jù)機(jī)房的變化，相應(yīng)的機(jī)房空調(diào)也會(huì)有更加合理的設(shè)計(jì)[2]。機(jī)房空調(diào)氣流組織的好壞決定著服務(wù)器運(yùn)行的效率，因此合理的氣流組織是精密空調(diào)設(shè)計(jì)的重要組成分，低溫空氣在機(jī)房流動(dòng)的過程中，需要時(shí)刻保持一個(gè)合適熱濕環(huán)境[3]。

圖1 典型數(shù)據(jù)中心能耗構(gòu)成

2 數(shù)據(jù)中心風(fēng)冷技術(shù)研究介紹

2.1 風(fēng)冷的主要工作原理

目前市面上大部分都是使用風(fēng)冷模式對(duì)數(shù)據(jù)中心降溫，精密空調(diào)出風(fēng)口保持恒溫恒濕的冷卻氣流。數(shù)據(jù)中心中主要產(chǎn)生熱量的部位是機(jī)柜服務(wù)器中的CPU，內(nèi)存條和硬盤等，冷卻氣流從服務(wù)器的入口進(jìn)入，經(jīng)過對(duì)流換熱后的氣流溫度隨服務(wù)器硬件設(shè)備溫度升高而升高，高溫氣體從服務(wù)器的出口流出，最后又回流到精密空調(diào)中進(jìn)行降溫，開始下一輪循環(huán)。

2.2 數(shù)據(jù)機(jī)房氣流組織的配置方式

下送風(fēng)(地板孔送風(fēng))(圖2)：主要由靜壓箱，精密空調(diào)和地板格柵構(gòu)成，其主要原理是將機(jī)房放置在靜壓地板之上，每個(gè)機(jī)柜的入口對(duì)應(yīng)著下面的地板格柵，機(jī)柜使用面對(duì)面，背對(duì)背方式布置，同時(shí)封閉冷通道。精密空調(diào)的出風(fēng)口放置在靜壓地板下，回風(fēng)口在地板上部分，精密空調(diào)出風(fēng)口的冷卻氣流通過靜壓箱從地板格柵吹出來從服務(wù)器的入口進(jìn)入，對(duì)發(fā)熱單元進(jìn)行散熱，溫度升高后的氣流從機(jī)柜背面出來，在機(jī)房中回流再次進(jìn)入到精密空調(diào)中。

圖2 下送風(fēng)方式

側(cè)間送風(fēng)(圖3)：精密空調(diào)與機(jī)柜處在同一個(gè)機(jī)房之中，機(jī)柜和機(jī)柜面對(duì)面排列，背面朝向背面，熱通道關(guān)閉，精密空調(diào)出風(fēng)口的冷氣流對(duì)機(jī)房全局進(jìn)行降溫，低溫氣流從服務(wù)器入口進(jìn)入，帶走發(fā)熱單元產(chǎn)生的熱量，低溫空氣變?yōu)楦邷乜諝鈴谋趁娉鰜?，熱氣流再熱通道?nèi)由于密度變小會(huì)向上流動(dòng)，同時(shí)熱通道上面設(shè)置回風(fēng)口將高溫氣流帶走送回到精密空調(diào)中去降溫，進(jìn)行下一次循環(huán)。

圖3 側(cè)間送風(fēng)

列間送風(fēng)(圖4)：將列間空調(diào)與機(jī)柜并排放在一起，空調(diào)使用和側(cè)間送風(fēng)同種方式排列，將對(duì)列的排機(jī)柜中穿插若干個(gè)精密空調(diào)，可以采用斜對(duì)排布，也可以采用正對(duì)排布，低溫氣流流出后以最短的距離對(duì)服務(wù)器發(fā)熱單元進(jìn)行降溫，降低了氣流在傳遞的過程中熱量變化程度，高溫氣流從服務(wù)器背部出來通過列間空調(diào)上面的回風(fēng)管道再次回到精密空調(diào)中降溫，進(jìn)行下一次循環(huán)。

圖4 列間送風(fēng)

風(fēng)管送風(fēng)(上送風(fēng))(圖5)：低溫氣流從精密空調(diào)上方出來，經(jīng)過送風(fēng)管道到達(dá)機(jī)柜服務(wù)器給發(fā)熱單元降溫，升溫后的高溫空氣從地板下面進(jìn)入到空調(diào)同樣安裝在下部分的回風(fēng)口，進(jìn)行再降溫處理。

圖5 上送風(fēng)方式

以上4種數(shù)據(jù)中心送風(fēng)方式優(yōu)缺點(diǎn)詳見表1。

表1 各種送風(fēng)方式對(duì)比

3 氣流組織的優(yōu)化方案

在國內(nèi)外，目前精密空調(diào)的設(shè)計(jì)、制造和運(yùn)行都有一套完整的規(guī)格標(biāo)準(zhǔn)，可以對(duì)機(jī)房的溫度、濕度和潔凈度有一個(gè)非常精確的控制，精密送風(fēng)溫度下不同的氣流組織也得到了廣泛的研究。

陳文輝[4]使用了一種特別定制的冷墻側(cè)面送風(fēng)，這種側(cè)面送風(fēng)氣流分布需要封閉熱通道，使用DeST軟件對(duì)其進(jìn)行分析，以計(jì)算空調(diào)的月能耗，使用這種蓋板氣流組織方式所產(chǎn)生的精密空調(diào)的年電耗為224.9萬kW·h。此種配置方式與風(fēng)管送風(fēng)方式248.6萬kW·h的空調(diào)耗電量相比，全年節(jié)約9.6%的空調(diào)電耗。黃渤[5]使用高架地板下方的正壓送風(fēng)系統(tǒng)，靜壓層高度為600 mm，穿孔樓板速度為20%。使用擋板隔離地板下方正壓送風(fēng)系統(tǒng)的靜壓層，創(chuàng)建兩個(gè)獨(dú)立的空氣分配室，設(shè)置2號(hào)擋板在一列機(jī)柜的1/4處，5號(hào)擋板在一列機(jī)柜的1/2處，并都設(shè)置有無開孔、20%、80%開孔率。對(duì)模型進(jìn)行了仿真研究和分析，通過數(shù)值模擬最后得到了結(jié)果：這種新型的帶有局部擋板的地板下送風(fēng)結(jié)構(gòu)被證明對(duì)改善數(shù)據(jù)中心的氣流組織和熱性能是有效的。封閉擋板結(jié)構(gòu)位于2號(hào)擋板處，能徹底消除熱點(diǎn)；當(dāng)帶有穿孔率 20% 穿孔擋板結(jié)構(gòu)位于2號(hào)擋板處時(shí)，氣流最均勻。耿云[6]改變地板下?lián)醢褰嵌却笮‘a(chǎn)生的氣流組織對(duì)機(jī)房熱環(huán)境的影響，為保證服務(wù)器有一個(gè)良好的冷卻狀況，在機(jī)房靜壓層內(nèi)安裝有利障礙物，使用airpak建立相關(guān)模型進(jìn)行模擬仿真，通過氣流組織結(jié)構(gòu)的溫度場和速度場的分析表明，在高架地板下方搭建15°的擋板，靜壓層高度為700 mm，地板穿孔率為20%時(shí)出現(xiàn)最佳的冷卻效果，此時(shí)服務(wù)器內(nèi)熱環(huán)境的品質(zhì)最佳。馬欣宇[7]提出了一種梯形靜壓箱對(duì)氣流組織的優(yōu)化，目的主要是消除壓力分布不均勻?qū)饬鹘M織產(chǎn)生的不利影響，考慮將地板靜壓箱的流通面積沿冷通道方向逐漸減小，截面變?yōu)樘菪危肅FD模擬探究梯形靜壓箱對(duì)氣流組織的優(yōu)化效果，得到了最佳的靜壓箱結(jié)構(gòu)參數(shù)，綜合分析原尺寸14 m×0.7 m的矩形靜壓箱，修改其界面為梯形，使其下底長度為0.7 m，上底長度變?yōu)?.2 m，這樣靜壓箱的內(nèi)部壓力分布情況有了較大改善。局部渦旋基本消失，對(duì)氣流組織優(yōu)化效果最佳。

申佳惠[8]研究了不同服務(wù)器的配置方案對(duì)氣流組織的優(yōu)化和對(duì)發(fā)熱單元的影響，提出了放置在機(jī)架底部服務(wù)器產(chǎn)生的熱量最終都會(huì)匯集到機(jī)架頂部服務(wù)器之中，高溫空氣的聚集會(huì)嚴(yán)重影響服務(wù)器余熱的排出。于是建立4種不同的服務(wù)器功率密度模型，模型分析發(fā)現(xiàn)，當(dāng)服務(wù)器在機(jī)架中的放置密度發(fā)生變化時(shí)，熱性能逐漸變化，其中從下到上密度逐漸減少的排列方式熱性能最好。服務(wù)器進(jìn)出口溫度達(dá)到了安全運(yùn)行的標(biāo)準(zhǔn)，優(yōu)化方法具有深刻意義。秦冰月[9]采用模擬了封閉冷通道前后機(jī)房的氣流組織變化，通過數(shù)種熱環(huán)境評(píng)價(jià)指標(biāo)分析了模擬結(jié)果，獲得了冷卻氣流集中、冷熱氣體摻混現(xiàn)象改善，局部熱點(diǎn)消除等研究進(jìn)展。黃翔[10]利用6sigmaRoom對(duì)機(jī)房氣流組織和熱濕環(huán)境進(jìn)行模擬，使用殘差控制求解方程收斂的精度，同時(shí)確保求解殘差趨于穩(wěn)定且收斂為1[11～13]。分析了機(jī)房內(nèi)不同高度典型截面的溫度分布，結(jié)果表明當(dāng)架空地板高度在600 mm時(shí)，空調(diào)的無效送風(fēng)量大大減小。根據(jù)業(yè)內(nèi)統(tǒng)計(jì)，高熱密度數(shù)據(jù)機(jī)房單個(gè)機(jī)柜能耗水平已經(jīng)達(dá)到了5 kW[14]，Shrivastava[15]等人2005年在“下送上回式”氣流系統(tǒng)中進(jìn)行的研究結(jié)果使得氣流分布更為高效，而在“上送下回式”氣流分布最差。Cho Kim[16]等人研究了當(dāng)采用安裝簡單擋板(simple partition wall)的方式改善冷熱氣流的混合情況下的效果。對(duì)于一個(gè)主要由極高密度的數(shù)據(jù)通信設(shè)備，這意味著冷卻系統(tǒng)應(yīng)該對(duì)其壽命和負(fù)荷進(jìn)行全面的考量，以便在10年內(nèi)使負(fù)載增長兩倍，或每3-5年增長約50%[26]。逢書帆[17]進(jìn)行優(yōu)化的機(jī)房空調(diào)為150 kW的CRAC，共有機(jī)柜240個(gè)，總功耗為896 kW，將機(jī)房原來高架地板高度0.6 m改為0.8 m，格柵開孔率由50%改為40%，優(yōu)化后機(jī)柜的整體溫降1.9 ℃。張振國[18]進(jìn)行優(yōu)化的數(shù)據(jù)中心位于北京市，帶有24臺(tái)機(jī)柜，單臺(tái)最大電功率4 kW，兩臺(tái)單臺(tái)額定制冷量為80kw恒溫恒濕專用空調(diào)，風(fēng)速<3 m/s，封閉冷通道后，空調(diào)風(fēng)量為額定狀態(tài)的50%，測量后發(fā)現(xiàn)回風(fēng)溫度由30 ℃提高到了33 ℃，進(jìn)一步降低了PUE。文獻(xiàn)[19～23]簡化了機(jī)房空調(diào)模型，出風(fēng)口的流量設(shè)置為定壓定量，回風(fēng)口為自由溢流口，大多數(shù)沒有設(shè)置單個(gè)對(duì)象，而是直接在墻的邊界上開有送風(fēng)口和排氣口，此模型適用于單個(gè)機(jī)房的模擬，如果多臺(tái)空調(diào)機(jī)組同時(shí)開啟，各回風(fēng)口外的風(fēng)壓不等，如果采用自由溢流的排風(fēng)口，則各臺(tái)空調(diào)機(jī)的回風(fēng)量勢必會(huì)不等；但實(shí)際上專用于單個(gè)機(jī)房的空調(diào)的進(jìn)口風(fēng)量和回風(fēng)量總是相同的。李俊[25]等研究發(fā)現(xiàn)大型數(shù)據(jù)機(jī)房冷凍水供回水溫度采取12 ℃/18 ℃時(shí)，可以使用的自然冷卻時(shí)間大大增加，有利于機(jī)房的節(jié)能效果。王小元[27]等使用CO2作為余熱回收用熱泵的工作介質(zhì)，提高系統(tǒng)緊湊性與環(huán)境友好性，與常規(guī)房間級(jí)風(fēng)冷空調(diào)機(jī)組相比，CO2熱泵系統(tǒng)可降低全年冷負(fù)荷108 MW·h，節(jié)約電耗制冷電耗167 MW·h，為建筑供熱290 MW·h，獲得年收益4.23萬元。朱立偉[28]進(jìn)行模擬的機(jī)房規(guī)模為9臺(tái)機(jī)柜，每臺(tái)18個(gè)服務(wù)器，空調(diào)額定風(fēng)量為45000 m3/h，進(jìn)口風(fēng)速為2.31 m/s，18 臺(tái)服務(wù)器表面熱流量為10 kW，通過數(shù)值計(jì)算得到2個(gè)冷通道地板風(fēng)速為1.93 m/s，冷通道溫度均值為24.5 ℃，與設(shè)備換熱后的熱通道溫度均值為37.2 ℃，兩者絕熱隔離，均值達(dá)到12.7 K的溫差，是絕佳的散熱模式。冷通道或機(jī)柜進(jìn)風(fēng)區(qū)域的溫度推薦值為18～27 ℃，冷通道或機(jī)柜入口溫度允許值為15～32 ℃；濕度變?yōu)槁饵c(diǎn)溫度，同時(shí)相對(duì)濕度不大于60%采用露點(diǎn)溫度可以使測量更加準(zhǔn)確[29,30]。S.A.Nada[31,32]通過數(shù)值模擬實(shí)驗(yàn)，研究地板格柵開孔率大小、不同單機(jī)柜功率對(duì)數(shù)據(jù)機(jī)房的影響，結(jié)果表明，地板格柵開孔率為20%～50%范圍內(nèi)時(shí)，增加格柵開孔率可減少熱空氣回流，而封閉冷氣流通道使得中間機(jī)架比兩邊冷卻能效高約20%。

4 其他幾種數(shù)據(jù)機(jī)房冷卻方式及優(yōu)劣

目前，根據(jù)不同的數(shù)據(jù)機(jī)房需要的散熱能力可以使用不同的氣流組織形式，降低將數(shù)據(jù)中心能耗，對(duì)于有一些特殊的數(shù)據(jù)機(jī)房，需要非常低PUE值，單一方式很難將數(shù)據(jù)中心能耗繼續(xù)降低，需要采取多種散熱方式的組合。針對(duì)這個(gè)問題，提出另外兩種可以降低數(shù)據(jù)中心能耗的冷卻方式，其一是自然冷卻與風(fēng)冷冷卻相結(jié)合，主要原理是將自然冷風(fēng)直接或者間接引入到數(shù)據(jù)中心，帶走服務(wù)器中產(chǎn)生的熱量，當(dāng)環(huán)境溫度較低時(shí)，使用自然冷卻對(duì)數(shù)據(jù)中心進(jìn)行降溫，當(dāng)環(huán)境溫度較高時(shí)，同時(shí)使用自然冷卻和風(fēng)冷冷卻進(jìn)行降溫，緩解單方面使用風(fēng)冷冷卻時(shí)產(chǎn)生的巨大電耗。缺點(diǎn)是自然冷卻對(duì)環(huán)境空氣溫度、濕度和潔凈度要求較高，不能有難以清理的灰塵進(jìn)入到電子設(shè)備中，否則會(huì)造成嚴(yán)重后果。目前使用自然冷卻方式的數(shù)據(jù)中心所選地址大部分在貴州等地；其二是液冷，主要原理是用無相變且絕緣的液體對(duì)服務(wù)器中的CPU、內(nèi)存條、硬盤等降溫，可以直接接觸也可以間接接觸，因?yàn)槿芤旱膶?dǎo)熱性能比空氣導(dǎo)熱性要好得多，所以在相同工況下液冷的降溫效果要優(yōu)于風(fēng)冷的降溫效果。節(jié)能效果更好。缺點(diǎn)是數(shù)據(jù)機(jī)房內(nèi)管道設(shè)計(jì)必須有嚴(yán)格的防漏措施，在防漏方面具有較大的挑戰(zhàn)性。

5 結(jié)論

在對(duì)數(shù)據(jù)中心進(jìn)行強(qiáng)制風(fēng)冷冷卻的幾種方式當(dāng)中，四種送風(fēng)方式各有優(yōu)劣，但還是以地板下送風(fēng)、上回風(fēng)為主，送風(fēng)過程中要盡量考慮溫度、速度、濕度和壓力等各方面因素對(duì)數(shù)據(jù)中心熱性能的影響，尤其是在壓力方面需要進(jìn)一步研究，在下送風(fēng)中隨著送風(fēng)距離的增加冷空氣速度降低，靜壓增大，在一定范圍內(nèi)冷量逐漸增大，所以在靠近出風(fēng)口的機(jī)柜的溫度比中部的機(jī)柜溫度要高。目前為止，數(shù)據(jù)中心還是以風(fēng)冷為主要冷卻方式，但是未來隨著5G基站建設(shè)的增加，對(duì)于如何降低數(shù)據(jù)中心的PUE將是一個(gè)巨大的難題，國家需要加快除風(fēng)冷冷卻以外其他冷卻方式的發(fā)展步伐。目前不僅是要在對(duì)數(shù)據(jù)中心進(jìn)行節(jié)能的同時(shí)要充分保證維護(hù)、運(yùn)行、安全等問題，還要盡量發(fā)揮數(shù)據(jù)中心降低能耗方面最大的應(yīng)用價(jià)值。