張樂豐 鄭品迪 張林鋒 黃冬梅 楊 超 韓澤磊 李 揚(yáng) 林 楠 宋 杰 賈 濤 馮 睿

(1.國家電網(wǎng)有限公司信息通信分公司,北京;2.北京瑞思博創(chuàng)科技有限公司,北京)

0 引言

因冷卻故障引起的機(jī)房溫升可能導(dǎo)致災(zāi)難性的事件,如果IT設(shè)備因進(jìn)風(fēng)溫度過高而宕機(jī),則有可能嚴(yán)重影響人民群眾、企事業(yè)單位的日常生產(chǎn)生活。采用CFD技術(shù)預(yù)測數(shù)據(jù)中心機(jī)柜進(jìn)風(fēng)溫度有眾多應(yīng)用[1-2],包括瞬態(tài)溫升模擬[3]及機(jī)房溫升研究,采用的研究方法包括數(shù)值模擬、實測或兩者的結(jié)合。

在數(shù)值模擬方面,傅烈虎應(yīng)用6SigmaDC軟件對1個100 m2的數(shù)據(jù)機(jī)房進(jìn)行了三維建模和CFD仿真,模擬了冷卻失效后的機(jī)房溫升情況,得出了功率密度小于10 kW/機(jī)柜時溫升速率與功率密度基本呈線性關(guān)系的結(jié)論[4];馬昕宇等人建立了一種適用于瞬態(tài)CFD模擬的服務(wù)器機(jī)架簡化模型,分析了服務(wù)器功率上升、空調(diào)冷卻失效、供冷恢復(fù)后及降低送風(fēng)溫度等不同工況下數(shù)據(jù)機(jī)房內(nèi)熱環(huán)境的瞬態(tài)變化過程,結(jié)果表明,機(jī)柜功率為6 kW時,平均機(jī)架出口溫度將在7 min內(nèi)超過45 ℃[5];秦冰月等人根據(jù)機(jī)柜通道布局,空調(diào)回風(fēng)溫度設(shè)定值,空調(diào)失效臺數(shù)、失效部件等條件,對7種場景進(jìn)行了冷卻系統(tǒng)失效后的機(jī)房溫升分析,結(jié)果表明7種場景下設(shè)備達(dá)到極限溫度45 ℃的時間均超過6 min[6]。

在實測方面,呂珂等人通過實驗對3 kW及5 kW的機(jī)柜進(jìn)行了溫升測試,分析了無連續(xù)制冷的風(fēng)險,結(jié)果表明,對于5 kW機(jī)柜,冷卻失效15 min時服務(wù)器出口溫度達(dá)到42 ℃[7];朱述振等人對華東地區(qū)某數(shù)據(jù)中心機(jī)房IT設(shè)備滿載運(yùn)行、關(guān)閉外部冷源工況進(jìn)行了溫升測試,得到了不同設(shè)定條件下的溫升及溫降時間,結(jié)果表明:機(jī)房平均溫度從24.6 ℃升高到27.0 ℃,2臺空調(diào)運(yùn)行情況下用時7 min,4臺空調(diào)運(yùn)行情況下用時10 min;從最高溫度降到26.0 ℃,2臺空調(diào)運(yùn)行情況下用時10 min,4臺空調(diào)運(yùn)行情況下用時6 min[8]。

張明蕊進(jìn)行了實測與模擬相結(jié)合的研究,局限是溫升研究對象為1個小型數(shù)據(jù)中心,只有10個機(jī)柜,采用直膨式地板下送風(fēng)系統(tǒng),對冷通道封閉與否時的溫度梯度進(jìn)行了對比分析,結(jié)果表明不封閉冷通道時機(jī)柜高度方向上的溫度梯度大于封閉冷通道時[9]。

本文對國家電網(wǎng)某近500 m2、采用行級水冷末端的機(jī)房進(jìn)行實測與模擬對比研究,基于CFD技術(shù)進(jìn)行機(jī)柜級的數(shù)值模擬,實現(xiàn)末端空調(diào)水閥從關(guān)閉到開啟整個過程的模擬分析,機(jī)柜級模擬考慮了機(jī)柜內(nèi)部的循環(huán)氣流、IT設(shè)備的具體安裝位置,以及IT設(shè)備內(nèi)部風(fēng)機(jī)受負(fù)載和進(jìn)風(fēng)溫度影響下的風(fēng)量輸出控制。相較于先前研究,本文對機(jī)房實際運(yùn)行狀態(tài)的模擬與實測對比研究更具針對性和普遍性。

1 物理模型與測試方案

1.1 物理模型描述

機(jī)房采用行級送風(fēng)系統(tǒng),一共8個微模塊,封閉冷通道;建筑面積486.8 m2,層高5.5 m,無架高地板;IT設(shè)備總負(fù)載為964 kW,空調(diào)末端總冷量、總風(fēng)量分別為2 080 kW、320 000 m3/h,冗余總冷量與總風(fēng)量分別為1 560 kW、240 000 m3/h。

機(jī)房三維模型如圖1所示。機(jī)房設(shè)備與溫度傳感器平面布置見圖2。

圖1 機(jī)房三維模型

注:表示行級空調(diào),AA為編號;表示關(guān)閉的行級空調(diào),JB為編號;表示機(jī)柜,JA為編號;表示溫度傳感器,C-JG為編號;H-表示熱通道的傳感器;C-表示冷通道的傳感器。

機(jī)柜三維模型見圖3。單臺機(jī)柜功耗為4.82 kW,200臺,高204.47 cm(46 u),封閉空插槽,前后門為網(wǎng)孔結(jié)構(gòu),開孔率為64%。頂板有6個線纜開孔,底板有2個線纜開孔,高17.78 cm(4 u)的IT設(shè)備安裝在機(jī)柜內(nèi)高97.79 cm(22 u)處。

圖3 機(jī)柜三維模型

IT設(shè)備的三維模型與流量設(shè)置見圖4。IT設(shè)備功耗為4.82 kW,長600 mm、寬450 mm。IT設(shè)備內(nèi)部風(fēng)機(jī)的流量根據(jù)EnergyStar標(biāo)準(zhǔn)設(shè)置,考慮了不同負(fù)載、不同IT設(shè)備進(jìn)風(fēng)溫度下風(fēng)機(jī)的風(fēng)量輸出控制。

圖4 IT設(shè)備三維模型與內(nèi)部風(fēng)機(jī)流量控制

空調(diào)末端三維模型見圖5。水冷空調(diào)末端,32臺,單臺顯冷量為65 kW,風(fēng)量為10 000 m3/h,前送風(fēng)尺寸為0.50 m×1.90 m,后回風(fēng)尺寸為0.55 m×2.00 m。

圖5 空調(diào)末端三維模型

按照現(xiàn)場運(yùn)行數(shù)據(jù)設(shè)置空調(diào)末端的送回風(fēng)溫度,平均送風(fēng)溫度為21.65 ℃,平均回風(fēng)溫度為27.27 ℃?？照{(diào)末端送回風(fēng)溫度控制值見圖6。

圖6 空調(diào)末端送回風(fēng)溫度控制值

其他邊界條件見表1。

表1 其他邊界條件

1.2 測試方案

當(dāng)前機(jī)房的冷水系統(tǒng)采用雙環(huán)狀管網(wǎng),每個環(huán)狀管網(wǎng)都有總可控閥門,末端都有控制水流量的電磁閥,關(guān)閉單側(cè)供水閥就是關(guān)閉單個環(huán)狀管網(wǎng),另一個環(huán)狀管網(wǎng)承擔(dān)整個機(jī)房負(fù)載。

本文建模對象為1個機(jī)房包間,模擬時只需考慮末端風(fēng)扇與末端電磁閥的狀態(tài)。本文針對斷水工況進(jìn)行分析,所以末端風(fēng)機(jī)需要開啟,而末端水路電磁閥則關(guān)閉。

冷熱通道測試設(shè)備為溫濕度記錄儀,型號為ONSET UN100-003。冷通道布置16個溫濕度記錄儀,熱通道布置10個溫濕度記錄儀,距架高地板高度為1.2 m。多個通道全部同時測試,用磁貼將溫濕度記錄儀貼在機(jī)柜前門上,定時自動記錄。

溫濕度記錄儀技術(shù)參數(shù)見表2。

表2 溫濕度記錄儀技術(shù)參數(shù)

2 實測與模擬結(jié)果分析

2.1 斷水極限溫升初始值

在進(jìn)行瞬態(tài)模擬之前,需要以穩(wěn)態(tài)計算結(jié)果作為瞬態(tài)模擬的初始值,所以本節(jié)將分析測試數(shù)據(jù)的初始值與穩(wěn)態(tài)數(shù)值模擬結(jié)果。測試時間為15:05—15:45,初始時間段為15:05—15:13。

2.1.1測試數(shù)據(jù)驗證與誤差分析

1) 冷通道測試數(shù)據(jù)分析。

冷通道溫升現(xiàn)場測試結(jié)果見圖7。圖中傳感器編號與機(jī)柜的編號相對應(yīng),選取圖中黑線左側(cè)區(qū)域為冷通道斷水初始時間段,選取平均值作為初始值。

圖7 冷通道斷水溫升實測曲線

表3顯示了冷通道斷水初始時間段內(nèi)溫度傳感器的測量值,其中最大差值為傳感器MC的0.81 ℃,偏差為3.66%。

表3 冷通道斷水初始時間段內(nèi)溫度統(tǒng)計分析

冷通道測試與瞬態(tài)模擬時間段如表4所示,時間步長為10 s(與傳感器采樣周期相同)。從斷水開始到斷水結(jié)束溫升最大的傳感器(KC)的溫升率為3.97 ℃/min。

表4 冷通道瞬態(tài)模擬結(jié)果

2) 熱通道測試數(shù)據(jù)分析。

熱通道溫升現(xiàn)場測試結(jié)果見圖8。圖中傳感器編號與機(jī)柜的編號相對應(yīng)。選取圖中黑線左側(cè)區(qū)域為熱通道斷水初始時間段,選取平均值作為初始值。

圖8 熱通道斷水溫升實測溫度

表5顯示了熱通道斷水初始時間段內(nèi)溫度傳感器的測量值,其中最大差值為傳感器OF的0.66 ℃,偏差為1.45%。

表5 熱通道斷水初始時間段內(nèi)溫度統(tǒng)計分析

熱通道測試與瞬態(tài)模擬時間段如表6所示,時間步長為10 s(與傳感器采樣周期相同)。從斷水開始到斷水結(jié)束溫升最大的傳感器(PE)的溫升率為1.13 ℃/min。

表6 熱通道瞬態(tài)模擬結(jié)果

2.1.2數(shù)值模擬穩(wěn)態(tài)計算結(jié)果與誤差分析

冷熱通道模擬與測試數(shù)據(jù)的對比見圖9。圖中AC～PH為冷通道溫度傳感器,AF～PE為熱通道溫度傳感器。由圖9可見:冷通道16個傳感器模擬與實測的溫度變化趨勢一致,模擬平均誤差為3.1%,最大誤差為CC傳感器的7.73%;熱通道模擬與測試數(shù)據(jù)平均誤差為3.6%,最大誤差為KF傳感器的8.19%。

圖9 冷熱通道模擬與測試數(shù)據(jù)的對比

IT設(shè)備平均進(jìn)風(fēng)溫度分布見圖10,最低值為17.9 ℃,最高值為28.52 ℃。

圖10 IT設(shè)備平均進(jìn)風(fēng)溫度分布

圖11為高進(jìn)風(fēng)溫度IT設(shè)備入口處的流線圖,可以看出,機(jī)柜內(nèi)部存在短路氣流,此時IT設(shè)備入口對應(yīng)的機(jī)柜前門溫度為24.71 ℃,與IT設(shè)備的進(jìn)風(fēng)溫度相比,差異為3.81 ℃。

圖11 高進(jìn)風(fēng)溫度IT設(shè)備入口處的流線圖

2.2 瞬態(tài)模擬結(jié)果與安全運(yùn)行策略分析

2.2.1瞬態(tài)模擬結(jié)果與實測對比分析

冷通道傳感器瞬態(tài)模擬結(jié)果與實測結(jié)果對比見圖12。從圖中可見,冷通道溫度變化趨勢整體一致。

圖12 冷通道傳感器瞬態(tài)模擬結(jié)果與實測結(jié)果對比

圖13顯示了冷通道所有傳感器的平均誤差與最大誤差?？梢钥闯?所有傳感器的平均誤差的最大值為13.88%,平均值為9.31%;所有傳感器的最大誤差的最大值為34.76%,平均值為19.33%。

圖13 冷通道溫度傳感器誤差

熱通道傳感器瞬態(tài)模擬結(jié)果與實測結(jié)果的對比見圖14。從圖中可見,熱通道溫度變化趨勢整體一致。

圖14 熱通道傳感器瞬態(tài)模擬結(jié)果與實測結(jié)果對比

圖15顯示了熱通道所有傳感器的平均誤差與最大誤差。可以看出:所有傳感器的平均誤差的最大值為12.27%,平均值為7.05%;所有傳感器的最大誤差的最大值為21.7%,平均值為15.6%。

圖15 熱通道溫度傳感器誤差

綜上,冷熱通道逐時誤差超過20%的共有26個點,占比為1.37%,且主要為IC、PE和AF 3個傳感器,瞬態(tài)模擬誤差整體在20%之內(nèi)。

圖16顯示了機(jī)柜進(jìn)風(fēng)溫度最高時IT設(shè)備入口平均進(jìn)風(fēng)溫度分布,最低值為27.7 ℃,最高值為37.9 ℃,IT設(shè)備最高進(jìn)風(fēng)溫度對應(yīng)的機(jī)柜前門溫度為33.82 ℃,與IT設(shè)備的進(jìn)風(fēng)溫度相比,差異為4.08 ℃。

圖16 IT設(shè)備平均進(jìn)風(fēng)溫度分布(當(dāng)前模擬時間180 s,總模擬時間720 s)

2.2.2空調(diào)失效時IT設(shè)備安全運(yùn)行策略分析

通過上面的分析可以看出,為保證空調(diào)失效時IT設(shè)備能夠安全運(yùn)行,數(shù)值模擬可提供如下幫助:

1) 對機(jī)房熱環(huán)境有更全面的了解,提高分析顆粒度。

通過布置的傳感器只能了解機(jī)房內(nèi)26個位置的溫度情況,而模擬能夠知道整個機(jī)房任意高度處的溫度分布情況。

本文物理模型的分析顆粒度為詳細(xì)的機(jī)柜+機(jī)柜內(nèi)安裝的IT設(shè)備,可以捕捉機(jī)柜內(nèi)部的空氣流動,以及IT設(shè)備進(jìn)口的溫度分布情況。

2) 優(yōu)化空調(diào)末端控制溫度。

總有一個合適的溫度控制值可以平衡IT設(shè)備的運(yùn)行安全與機(jī)房能效,IT設(shè)備的安全運(yùn)行不能單純依靠降低控制溫度來實現(xiàn),如果局部氣流組織不合理,存在短路氣流,降低控制溫度不但不能徹底解決熱點問題,反而還會增加機(jī)房的能耗。通過數(shù)值模擬可以找到合適的控制溫度,達(dá)到節(jié)能與安全兼顧的目的。

3) 優(yōu)化空調(diào)末端冗余方式。

通過數(shù)值模擬可以確定機(jī)房不同負(fù)載率下空調(diào)的運(yùn)行數(shù)量和位置,保證機(jī)房良好的熱環(huán)境,并且保證機(jī)組高效運(yùn)行。

4) 量化機(jī)柜、封閉通道密封性對IT設(shè)備進(jìn)風(fēng)溫度的影響。

通過數(shù)值模擬得到的流線圖、溫度圖,可以更直觀地加強(qiáng)運(yùn)維人員對機(jī)柜泄漏、封閉通道泄漏對IT設(shè)備影響的了解。

綜上,針對當(dāng)前空調(diào)失效情況下出現(xiàn)的問題(機(jī)柜前門傳感器溫度與IT設(shè)備進(jìn)風(fēng)溫度的差異大概為4 ℃),本文提出的優(yōu)化方案為:控制空調(diào)的送風(fēng)溫度為20 ℃,提高機(jī)柜密封性,空調(diào)采用熱備份方案。

優(yōu)化后,機(jī)柜進(jìn)風(fēng)溫度最高時,IT設(shè)備入口處的平均進(jìn)風(fēng)溫度見圖17,溫度最低值為26.4 ℃,最高值為30.7 ℃,比優(yōu)化前降低了7.2 ℃,滿足GB 50174—2017《數(shù)據(jù)中心設(shè)計規(guī)范》允許的溫度上限(32 ℃)。

圖17 優(yōu)化后IT設(shè)備平均進(jìn)風(fēng)溫度分布(當(dāng)前模擬時間180 s,總模擬時間720 s)

優(yōu)化后冷、熱通道傳感器測得的瞬態(tài)溫度變化如圖18所示,冷通道傳感器測得的溫度(虛線所示)全部在32 ℃以下,最高值為29.35 ℃,比IT設(shè)備的最高進(jìn)風(fēng)溫度低1.35 ℃,說明機(jī)柜內(nèi)部短路熱空氣溫度已經(jīng)顯著降低。

圖18 優(yōu)化后冷、熱通道溫升曲線

3 結(jié)論

本文完成了國家電網(wǎng)某機(jī)房末端空調(diào)水閥從關(guān)閉到開啟整個過程的實測與數(shù)值模擬對比研究,從斷水開始到斷水結(jié)束冷、熱通道傳感器的最大溫升率的測試結(jié)果分別為3.97、1.13 ℃/min。

穩(wěn)態(tài)模擬結(jié)果表明,冷、熱通道機(jī)柜前門上溫度傳感器的模擬平均誤差分別為3.10%、3.60%,最大誤差分別為7.73%、8.19%,誤差整體在10%之內(nèi)。

瞬態(tài)模擬結(jié)果表明:冷、熱通道逐時誤差超過20%的共26個點,占比為1.37%,瞬態(tài)模擬誤差整體在20%之內(nèi);所有冷、熱通道傳感器的平均誤差的最大值和平均值冷通道分別為13.88%、9.31%,熱通道分別為12.27%、7.05%。

分析瞬態(tài)模擬結(jié)果可知:機(jī)柜進(jìn)風(fēng)溫度最高時IT設(shè)備入口處的平均進(jìn)風(fēng)溫度最高值為37.9 ℃,對應(yīng)機(jī)柜前門溫度為33.82 ℃,比IT設(shè)備的進(jìn)風(fēng)溫度低4.08 ℃,IT設(shè)備進(jìn)風(fēng)溫度高的原因為機(jī)柜內(nèi)部的熱氣流短路。

優(yōu)化后,機(jī)柜進(jìn)風(fēng)溫度最高時IT設(shè)備入口處的平均進(jìn)風(fēng)溫度最低值為26.4 ℃,最高值為30.7 ℃,比優(yōu)化前降低7.2 ℃,冷通道傳感器測得的溫度全部在32 ℃以下,最高值為29.35 ℃。數(shù)值模擬可以有效預(yù)測機(jī)房IT設(shè)備的溫升情況,減少機(jī)房溫升災(zāi)難事件的發(fā)生。