邱京昊

QIU Jing-hao

（中經(jīng)云數(shù)據(jù)存儲(chǔ)科技（北京）有限公司）

(Zhong Jing Cloud Data Storage Technology (Beijing) Co., Ltd.)

1 引言

隨著經(jīng)濟(jì)形勢(shì)的迅猛發(fā)展，大數(shù)據(jù)、云計(jì)算的興起，以及“互聯(lián)網(wǎng)+”、智慧城市、5G以及人工智能時(shí)代的到來，將進(jìn)一步促發(fā)海量數(shù)據(jù)的生產(chǎn)、存儲(chǔ)和運(yùn)營。由于需求龐大且與日俱增，數(shù)據(jù)中心正在發(fā)展成為一個(gè)具有戰(zhàn)略重要性的產(chǎn)業(yè)，成為新一代信息產(chǎn)業(yè)的重要組成部分。數(shù)據(jù)中心建設(shè)呈現(xiàn)集中化、大型化的趨勢(shì)，越來越多的數(shù)據(jù)中心開始向能源集中的地方匯聚，越來越多的超大型數(shù)據(jù)中心園區(qū)不斷建成，對(duì)于能源的利用是一項(xiàng)極大的挑戰(zhàn)。

2 數(shù)據(jù)中心的能源消耗

關(guān)于數(shù)據(jù)中心能效，現(xiàn)階段比較有影響的是綠色網(wǎng)格組織（Green Grid）提出的能效指標(biāo)：電能利用效率PUE（Power Usage Effectiveness）。目前PUE已經(jīng)成為衡量數(shù)據(jù)中心能耗的最重要的指標(biāo)：PUE=所有設(shè)備的電耗/IT設(shè)備的功率。在保證數(shù)據(jù)中心穩(wěn)定、安全運(yùn)行的同時(shí)，如何提高能源利用率，降低PUE，已成為眾多大型數(shù)據(jù)中心的目標(biāo)之一。

一個(gè)典型的數(shù)據(jù)中心的能耗分布大概如下：IT設(shè)備占總能耗的52%；空調(diào)系統(tǒng)占38%；UPS及配電系統(tǒng)的損耗大概占9%；其余的電力照明系統(tǒng)約為1%。

對(duì)于大型數(shù)據(jù)中心而言，采用集中式水冷冷水系統(tǒng)進(jìn)行制冷更節(jié)能、更經(jīng)濟(jì)、也更利于集中管理，是大型數(shù)據(jù)中心中主流的制冷方式。水冷冷水空調(diào)系統(tǒng)的能耗比例大約為：壓縮機(jī)的能耗占到了54%，水泵占18%，冷卻塔占9%，精密空調(diào)占19%。

3 數(shù)據(jù)中心制冷節(jié)能技術(shù)

3.1 水側(cè)自然冷卻技術(shù)

在我國北方地區(qū)，由于冬季和過渡季室外溫度較低，可以利用室外冷源對(duì)機(jī)房進(jìn)行降溫。水側(cè)自然冷卻技術(shù)是通過冷卻塔在冬季對(duì)冷卻水進(jìn)行降溫后，再通過板式換熱器與冷凍水進(jìn)行冷量交換后，接入機(jī)房專用精密空調(diào)，進(jìn)行制冷。水側(cè)自然冷卻是目前大型數(shù)據(jù)中心中最常使用的節(jié)能技術(shù)。

3.1.1 提高冷凍水供水溫度

在許多大型數(shù)據(jù)中心的設(shè)計(jì)中，基本都會(huì)采用冷熱通道封閉的節(jié)能措施，冷通道設(shè)計(jì)溫度通常為18℃±2℃，以保證服務(wù)器的工作環(huán)境。但是在新國標(biāo)：《電子信息機(jī)房設(shè)計(jì)規(guī)范》GB50174-2017中規(guī)定，冷通道或機(jī)柜進(jìn)風(fēng)區(qū)域的溫度為18℃～27℃；在美國國家標(biāo)準(zhǔn)學(xué)會(huì)頒布的《數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》TIA942-2010中規(guī)定計(jì)算機(jī)房環(huán)境溫度要求為18℃～27℃。服務(wù)器完全可以工作在比18℃更高的環(huán)境溫度中，所以提高冷凍道的設(shè)計(jì)溫度是最直接的節(jié)能手段。

為保證冷通道18℃±2℃的設(shè)計(jì)，冷凍水的供水溫度需保證不高于12℃，建議將冷凍道的溫度提高至23℃，這樣冷凍水的供水溫度可提升至16℃。提升冷凍水的供水溫度，可以大幅提高冷凍機(jī)的運(yùn)行效率。某品牌廠家1000RT（制冷量為3516kW）的冷凍機(jī)在冷卻水溫度為32℃/37℃，冷凍水出水溫度為12℃的工況數(shù)據(jù)，在此狀態(tài)下冷凍機(jī)的滿載COP 為 6.574。 同 樣 1000RT（3516kW）的冷凍機(jī)在冷卻水溫度為32℃/37℃，冷凍水出水溫度為16℃時(shí)的工況數(shù)據(jù)，滿載COP為7.754。由于冷凍水溫度的提高，在同樣的冷卻水溫度下，冷凍機(jī)的效率在滿負(fù)載的狀態(tài)下，運(yùn)行效率可以提高17%。

以一個(gè)10000組機(jī)架，3kW/Rack功率密度的大型數(shù)據(jù)中心而言，滿載情況下大約需要1000RT的冷凍機(jī)9-10臺(tái)進(jìn)行整個(gè)數(shù)據(jù)中心的制冷。根據(jù)某冷機(jī)廠家提供的數(shù)據(jù)，在冷凍水供水溫度為12℃時(shí)，冷凍機(jī)輸入功率為535kW，在冷凍水供水溫度為16℃時(shí)，冷凍機(jī)的輸入功率為453kW，1h即可節(jié)約電量10*（535-453）=820kW ·h。

在上文中提到，數(shù)據(jù)中心最常用的節(jié)能技術(shù)為自然冷卻技術(shù)，提高冷凍水溫度后，可以大幅提高自然冷卻時(shí)間。有研究表明[1]，在北京地區(qū)冷凍水供水溫度由12℃上升到15℃，可用完全自然冷卻時(shí)間增加了706h，仍然以上述數(shù)據(jù)中心為例，全年可節(jié)省電量約三百多萬千瓦時(shí)的電能。

3.1.2 細(xì)化控制參數(shù)，充分利用預(yù)冷狀態(tài)

以北京地區(qū)為例，除了完全自然冷卻，在過渡季，部分自然冷卻時(shí)間為1287小時(shí)[1]，部分自然冷卻需要冷機(jī)和自然冷卻同時(shí)運(yùn)行。首先同樣的冷凍水供水溫度下，冷卻水溫度越低，冷凍機(jī)的效率也會(huì)越高。根據(jù)上面廠家提供的數(shù)據(jù)，同樣冷凍水供水溫度為7℃時(shí)，冷卻水進(jìn)水溫度由19℃降低到12.8℃時(shí)，會(huì)使冷機(jī)效率大幅提高，COP由8.12漲至9.96。但是過低的冷卻水溫度可能會(huì)導(dǎo)致冷凍機(jī)無法啟動(dòng)，大部分的冷凍機(jī)冷卻水進(jìn)水溫度不能小于18℃；另外，大型離心式冷水機(jī)組，在負(fù)載過低的情況下會(huì)生喘震，無法正常運(yùn)行。所以如何能在最大限度下利用自然冷源，又可以使冷凍機(jī)正常運(yùn)行，就需要細(xì)化控制參數(shù)，來解決這兩個(gè)突出的問題。

圖1 冷卻水系統(tǒng)簡(jiǎn)圖

一個(gè)典型的數(shù)據(jù)中心冷凍機(jī)冷卻水系統(tǒng)簡(jiǎn)圖如圖1所示，以冷凍水運(yùn)行工況16℃/21℃為例。當(dāng)系統(tǒng)進(jìn)入部分自然冷卻制冷模式時(shí)，冷卻水側(cè)的電動(dòng)閥門CV4、A2開啟，CV3、B2關(guān)閉。冷凍水側(cè)的閥門切換后，使冷凍水全流量通過板式換熱器后進(jìn)入冷凍機(jī)。將板換冷凍水側(cè)的出水溫度設(shè)定為17.8℃，此參數(shù)優(yōu)先通過冷卻塔風(fēng)機(jī)的變頻控制，這樣既可以保證冷凍機(jī)的負(fù)載維持在35%以上，解決了因負(fù)載過低導(dǎo)致停機(jī)的問題，同時(shí)也保證了一個(gè)比較低的冷卻水溫度，提高冷機(jī)的運(yùn)行效率。

根據(jù)冷機(jī)最小冷凝器壓力(由冷機(jī)自帶的控制器提供該信號(hào)點(diǎn))，控制電動(dòng)調(diào)節(jié)閥CV3、CV4的開度，調(diào)節(jié)進(jìn)入冷凝器的冷卻水量，保證壓縮機(jī)正常工作所需的最小壓差，以便使冷水機(jī)組正常運(yùn)行。

3.2 就近制冷、提高送風(fēng)效率

常規(guī)數(shù)據(jù)中心的機(jī)房氣流組織采用架空地板下送風(fēng)的設(shè)計(jì)，精密空調(diào)布置在機(jī)房的一側(cè)或兩側(cè)（送風(fēng)距離超過15m），大部分具有單獨(dú)的空調(diào)間，對(duì)機(jī)房進(jìn)行降溫。這樣的設(shè)計(jì)送風(fēng)距離較遠(yuǎn)，雙側(cè)送風(fēng)會(huì)超過7.5m，單側(cè)最遠(yuǎn)會(huì)達(dá)到13m～14m。

3.2.1 列間空調(diào)

采用列間空調(diào)制冷，制冷模式由集中制冷到分布式制冷，實(shí)現(xiàn)針對(duì)高密度機(jī)柜的就近制冷和精確制冷。列間空調(diào)制冷改變了常規(guī)的數(shù)據(jù)中心下送、上回的形式，而是采用了水平送、回風(fēng)，減小了傳輸距離，冷風(fēng)就近送到需要的IT設(shè)備位置，從而減小風(fēng)阻，降低風(fēng)機(jī)功耗。

列間空調(diào)內(nèi)部同樣配置了變頻風(fēng)機(jī)和水量調(diào)節(jié)閥，可動(dòng)態(tài)地跟蹤服務(wù)器的功耗變化，調(diào)節(jié)制冷的輸出量，提高末端空調(diào)的制冷效率，減少列間空調(diào)無效冷量及電力輸入，最大限度做到精確化供冷。

3.2.2 背板冷卻技術(shù)

背板冷卻技術(shù)可以有效解決機(jī)房高密度以及機(jī)柜局部過熱的問題[2-3]，背板空調(diào)主要指的是安裝在機(jī)架背面的冷卻盤管，根據(jù)其使用的載冷劑不同，可以分為水冷背板與熱管背板等不同類型的背板等。

采用背板冷卻技術(shù)，在節(jié)能方面存在一定的優(yōu)勢(shì)：①背板為無風(fēng)扇運(yùn)行，靠服務(wù)器機(jī)柜風(fēng)扇進(jìn)行氣流換熱，無耗能部件；②更貼近IT服務(wù)器機(jī)柜，制冷效率更高；③節(jié)約空間，在同等面積的情況下，采用背板冷卻，可布置更多的機(jī)柜。

3.3 風(fēng)側(cè)自然冷卻

為了降低PUE，各種新技術(shù)也在不斷地被應(yīng)用在數(shù)據(jù)中心中。如何更多的應(yīng)用自然冷源成為的主要的技術(shù)方向。風(fēng)側(cè)自然冷卻技術(shù)相對(duì)于前文提到的水側(cè)自然冷卻技術(shù)，減少了能量轉(zhuǎn)換和傳遞的環(huán)節(jié)，節(jié)能效果更佳直接和顯著。雅虎公司在美國的“雞舍”數(shù)據(jù)中心，采用了風(fēng)側(cè)自然冷卻技術(shù)，開放的風(fēng)墻可以使空氣進(jìn)入機(jī)房中，對(duì)服務(wù)器進(jìn)行冷卻，一年中百分之九十的時(shí)間利用室外空氣冷卻，全年綜合PUE可以低至1.08。

3.3.1 直接風(fēng)側(cè)

水側(cè)自然冷卻系統(tǒng)通常需要室外濕球溫度低于6℃，才能保證冷卻塔的出水溫度滿足自然冷卻的水溫要求。而直接風(fēng)側(cè)自然冷卻，只要室外天氣參數(shù)滿足機(jī)房需求的18℃～27℃，相對(duì)濕度滿足30%～80%即可直接采用室外自然風(fēng)對(duì)機(jī)房進(jìn)行降溫冷卻。直接風(fēng)側(cè)自然冷卻的氣流組織圖大致如圖2所示：

圖2為100%新風(fēng)自然冷卻運(yùn)行工況的原理圖，當(dāng)室外溫度過低時(shí)，還可以通過風(fēng)閥的調(diào)節(jié)，進(jìn)入混風(fēng)模式，機(jī)房的熱回風(fēng)與新風(fēng)混合后，滿足機(jī)房的需求后送入機(jī)房區(qū)內(nèi)；當(dāng)室外溫度過高或者空氣質(zhì)量無法滿足條件時(shí)，可關(guān)閉新風(fēng)閥門，開啟冷凍機(jī)制冷模式，來滿足機(jī)房需求。

雖然風(fēng)側(cè)自然冷卻的方式會(huì)大大降低PUE，但是室外空氣的質(zhì)量也大大影響使用的效果與應(yīng)用的可行性。在我國，雖然北方地區(qū)的氣溫比較適合這種方式，但空氣質(zhì)量無法滿足數(shù)據(jù)中心的使用需求。

國際自動(dòng)化學(xué)會(huì) (ISA) 標(biāo)準(zhǔn)71.04將環(huán)境危害等級(jí)分為：G1，G2，G3及GX級(jí)，為評(píng)估環(huán)境中潛在的氣體腐蝕程度提供了依據(jù)。G1級(jí)是良好而GX 級(jí)是最嚴(yán)重。空氣中的水，還有硫離子、氯離子、氮氧離子以及氧氣，都會(huì)對(duì)服務(wù)器上的金屬元件產(chǎn)生不同程度的腐蝕，以及加速老化的作用。另外、數(shù)據(jù)中心建設(shè)在沿海地區(qū)，附近包括燃煤工廠、化工廠均會(huì)惡化數(shù)據(jù)中心附近的環(huán)境。圖3是北京的空氣質(zhì)量對(duì)應(yīng)的等級(jí)，根據(jù)多個(gè)腐蝕性測(cè)試結(jié)果表明[7]，大量的新風(fēng)進(jìn)入機(jī)房內(nèi)，會(huì)威脅IT設(shè)備的穩(wěn)定運(yùn)行。

在應(yīng)對(duì)IT設(shè)備的腐蝕上，大致有三個(gè)措施：①使用空氣過慮技術(shù)；②優(yōu)化PCB板的設(shè)計(jì)；③使用防腐涂層。絕大多數(shù)的用戶不會(huì)選擇定制的服務(wù)器，所以使用空氣過慮技術(shù)成為了大多數(shù)采用全新風(fēng)自然冷卻數(shù)據(jù)中心的首選技術(shù)[8]，但是采用化學(xué)過濾器會(huì)大大增加數(shù)據(jù)中心的運(yùn)維成本，所以解決有害氣體腐蝕威脅的另一種思路，是應(yīng)用間接風(fēng)側(cè)自然冷卻空調(diào)系統(tǒng)。

3.3.2 間接風(fēng)側(cè)

間接風(fēng)側(cè)自然冷卻技術(shù)是近幾年宣傳推廣比較多的節(jié)能技術(shù)之一，間接蒸發(fā)冷卻技術(shù)，是利用一側(cè)空氣和水直接接觸蒸發(fā)冷卻產(chǎn)生的冷量對(duì)另一側(cè)空氣進(jìn)行等濕降溫。經(jīng)過間接蒸發(fā)冷卻后,空氣的溫度降低, 但濕度保持不變,送風(fēng)溫度可以更低[9]，并且避免了大量新風(fēng)進(jìn)入機(jī)房，減少了服務(wù)器的腐蝕問題。

間接蒸發(fā)冷卻技術(shù)與傳統(tǒng)的數(shù)據(jù)中心相比較，在PUE和水耗量（WUE）上都有比較大的優(yōu)勢(shì)，只不過設(shè)備體積龐大，受到場(chǎng)地限制，目前沒有大規(guī)模的應(yīng)用。

圖2 直接風(fēng)側(cè)冷卻原理圖

圖3 北京的空氣質(zhì)量等級(jí)

4 結(jié)束語

隨著電子產(chǎn)業(yè)的發(fā)展，IT設(shè)備對(duì)運(yùn)行環(huán)境的適應(yīng)性越來越強(qiáng)，高溫服務(wù)器的應(yīng)用將推動(dòng)數(shù)據(jù)中心冷卻系統(tǒng)更加節(jié)能。目前經(jīng)過定制的高溫服務(wù)器已經(jīng)能在35℃進(jìn)風(fēng)條件下持續(xù)穩(wěn)定運(yùn)行，這意味著廣大的北方地區(qū)大部分時(shí)間無需機(jī)械制冷。隨著高溫服務(wù)器的進(jìn)一步發(fā)展，進(jìn)風(fēng)溫度40℃條件下穩(wěn)定運(yùn)行的服務(wù)器也許不久將成為現(xiàn)實(shí)，屆時(shí)，數(shù)據(jù)中心制冷系統(tǒng)將實(shí)現(xiàn)全年100%自然冷卻。

［1］張素麗. 數(shù)據(jù)中心冷水系統(tǒng)自然冷卻節(jié)能分析［J］.暖通空調(diào),2016,46(5):80-83.

［2］劉書浩 張海濤 黃良趙等. 數(shù)據(jù)中心熱管背板空調(diào)應(yīng)用實(shí)測(cè)研究——機(jī)房空氣流場(chǎng)分析［J］.制冷與空調(diào),2015,15(2):51-56

［3］劉書浩 張海濤 郭佳哲等. 數(shù)據(jù)中心熱管背板空調(diào)應(yīng)用實(shí)測(cè)研究——系統(tǒng)不平衡運(yùn)行分析［J］.制冷與空調(diào),2015,15(3):22-25