王麗欣，常琳

（1-施耐德電氣信息技術(shù)（中國(guó)）有限公司，北京 100102；2-中國(guó)制冷學(xué)會(huì)，北京 100142）

高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設(shè)計(jì)

王麗欣*1，常琳2

（1-施耐德電氣信息技術(shù)（中國(guó)）有限公司，北京 100102；2-中國(guó)制冷學(xué)會(huì)，北京 100142）

結(jié)合北京某數(shù)據(jù)中心的工程實(shí)例，介紹了高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設(shè)計(jì)的思路和方法，對(duì)高密度數(shù)據(jù)中心的空調(diào)水平送風(fēng)、節(jié)能、自然冷卻和連續(xù)制冷等問(wèn)題進(jìn)行了探討。研究結(jié)果表明：對(duì)于高密度數(shù)據(jù)中心，建議采用緊靠熱源的水平送風(fēng)制冷形式、輔助冷熱通道布置、采用水泵接不間斷電源（UPS）和設(shè)置蓄冷罐等方式來(lái)保障數(shù)據(jù)中心全年不間斷制冷。

空調(diào)系統(tǒng)；制冷；數(shù)據(jù)中心；高密度

0 引言

近年來(lái)，隨著IT技術(shù)的高速發(fā)展，對(duì)數(shù)據(jù)的處理速度和處理能力要求越來(lái)越高。大量體積小、處理能力快、功能強(qiáng)的高密度機(jī)架服務(wù)器和存儲(chǔ)服務(wù)器應(yīng)運(yùn)而生。單個(gè)機(jī)柜的功率由1 kW、3 kW提高至5 kW以上，刀片式服務(wù)器甚至單機(jī)柜功率可達(dá)30 kW。隨著機(jī)柜功率密度的提高，數(shù)據(jù)中心對(duì)制冷的可靠性和可用性的要求也越來(lái)越高。傳統(tǒng)的低功率密度的數(shù)據(jù)中心可采用集中制冷的形式對(duì)服務(wù)器進(jìn)行冷卻，但是當(dāng)機(jī)柜的功率超過(guò)5 kW時(shí)，采用傳統(tǒng)的集中式制冷會(huì)出現(xiàn)很多弊端，例如在實(shí)際運(yùn)行時(shí)機(jī)柜頂部存在局部熱點(diǎn)和地板下送風(fēng)不足等問(wèn)題，這些都將導(dǎo)致設(shè)備過(guò)熱保護(hù)引發(fā)宕機(jī)。因此合理設(shè)計(jì)高密度數(shù)據(jù)中心的制冷系統(tǒng)尤為重要。本文以北京某新建的數(shù)據(jù)中心為例，介紹高密度數(shù)據(jù)中心的制冷空調(diào)系統(tǒng)的設(shè)計(jì)思路及方法。

1 數(shù)據(jù)中心概況

該項(xiàng)目地址位于北京市朝陽(yáng)區(qū)，是將現(xiàn)有辦公樓的一部分改造成數(shù)據(jù)中心。改造前的辦公樓總建筑面積約為12,000 m2，建筑高度24 m，地上五層、地下兩層，主要包括高密度數(shù)據(jù)中心、輔助用房和辦公室。其中本文研究的高密度數(shù)據(jù)中心位于該大樓二層北側(cè)，主機(jī)房建筑面積280 m2，層高4 m。服務(wù)器機(jī)柜110臺(tái)，網(wǎng)絡(luò)機(jī)柜6臺(tái)，單臺(tái)服務(wù)器機(jī)柜功率8.8 kW，機(jī)房?jī)?nèi)設(shè)置防靜電高架地板。主要工程內(nèi)容包括數(shù)據(jù)中心制冷空調(diào)系統(tǒng)、新風(fēng)系統(tǒng)和排風(fēng)系統(tǒng)的設(shè)計(jì)。

2 制冷空調(diào)及通風(fēng)系統(tǒng)設(shè)計(jì)

2.1 設(shè)計(jì)參數(shù)

2.1.1 室外氣象參數(shù)

根據(jù)《實(shí)用供熱空調(diào)設(shè)計(jì)手冊(cè)》[1]，參照北京地區(qū)的氣象參數(shù)選取室外氣象參數(shù)，結(jié)果見(jiàn)表1。

表1 室外氣象參數(shù)

2.1.2 室內(nèi)氣象參數(shù)

《數(shù)據(jù)處理環(huán)境熱工指南》列出了數(shù)據(jù)中心1～4級(jí)所對(duì)應(yīng)的環(huán)境要求。我國(guó)按照使用性質(zhì)、管理要求及重要數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷造成的損失或影響程度，將數(shù)據(jù)機(jī)房分為A、B和C三級(jí)[2]。數(shù)據(jù)中心機(jī)房的設(shè)計(jì)與建設(shè)以保證所有IT設(shè)備的不間斷運(yùn)行為首要任務(wù)。同時(shí)，針對(duì)本項(xiàng)目制冷系統(tǒng)解決方案的設(shè)計(jì)，需要達(dá)到GB 50174-2008[3]的A級(jí)設(shè)計(jì)標(biāo)準(zhǔn)。因此，本文中的數(shù)據(jù)中心屬于A級(jí)機(jī)房，機(jī)房?jī)?nèi)的溫度(23±1) ℃，相對(duì)濕度40%～55%，每小時(shí)溫度變化率小于5 ℃/h，且室內(nèi)不得結(jié)露。

2.1.3 通風(fēng)換氣次數(shù)

為保證機(jī)房?jī)?nèi)的正壓及人員新風(fēng)量的要求，機(jī)房?jī)?nèi)新風(fēng)量按照每人40 m3/h選取，同時(shí)要維持機(jī)房與相鄰房間5 Pa的正壓，與外界房間10 Pa的正壓要求，二者取最大值。該項(xiàng)目中數(shù)據(jù)中心的通風(fēng)換氣次數(shù)參見(jiàn)表2。

表2 換氣次數(shù)

2.2 負(fù)荷計(jì)算

機(jī)房的熱負(fù)荷主要來(lái)自以下兩個(gè)方面：

a) 機(jī)房?jī)?nèi)——計(jì)算機(jī)設(shè)備、照明燈具、輔助設(shè)施及工作人員所產(chǎn)生的熱；

b) 機(jī)房外——外部進(jìn)入的熱（如：從墻壁、屋頂、隔斷和地面?zhèn)魅霗C(jī)房的熱；透過(guò)玻璃窗射入的太陽(yáng)輻射熱；從窗戶(hù)及門(mén)的縫隙滲入的風(fēng)而侵入的熱；新風(fēng)機(jī)補(bǔ)充新風(fēng)帶進(jìn)來(lái)的熱等）。

其中機(jī)房?jī)?nèi)的計(jì)算機(jī)設(shè)備的發(fā)熱量占的比重最大[4]，約占機(jī)房總發(fā)熱量的60%～70%?？偵嶂袛?shù)據(jù)中心內(nèi)各項(xiàng)負(fù)荷所占的百分比如圖1所示。

圖1 數(shù)據(jù)中心各項(xiàng)負(fù)荷占總熱負(fù)荷的百分比

為了確定在該機(jī)房?jī)?nèi)主要設(shè)備所需恒溫、恒濕環(huán)境下的機(jī)房空調(diào)設(shè)備的總負(fù)荷，本文根據(jù)計(jì)算機(jī)房系統(tǒng)內(nèi)設(shè)備特點(diǎn)和環(huán)境情況，采用精確計(jì)算法來(lái)確定各區(qū)域熱容量。經(jīng)過(guò)計(jì)算，確定機(jī)房總制冷負(fù)荷為1,020 kW。數(shù)據(jù)中心單位面積能耗可由機(jī)房總能耗除以機(jī)房面積得到[5]。

2.3 制冷系統(tǒng)的確定

該數(shù)據(jù)中心單臺(tái)機(jī)柜功率密度為8.8 kW，屬于高密度數(shù)據(jù)中心，制冷空調(diào)通風(fēng)系統(tǒng)的設(shè)計(jì)原則為：在滿(mǎn)足設(shè)備溫濕度要求的基礎(chǔ)上，采用節(jié)能的手段確保數(shù)據(jù)中心制冷系統(tǒng)的穩(wěn)定性和連續(xù)性，實(shí)現(xiàn)不間斷制冷。

另外由于風(fēng)冷和水冷的制冷效率很相近，選擇哪種形式主要考慮使用地區(qū)的現(xiàn)場(chǎng)條件。該項(xiàng)目在北京地區(qū)使用，現(xiàn)場(chǎng)水資源不多，而且北京地區(qū)晝夜溫差大，適合采用風(fēng)冷的冷水機(jī)組。如果采用水冷冷水機(jī)組的話(huà)，還需要在設(shè)計(jì)過(guò)程中

單獨(dú)增加一套冷卻水的循環(huán)系統(tǒng)，包括冷卻水泵、冷卻塔和電子水處理儀等設(shè)備，這樣會(huì)增加項(xiàng)目初期的設(shè)備投資成本，因此基于以上設(shè)計(jì)原則，確定該數(shù)據(jù)中心采用風(fēng)冷冷凍水型機(jī)房空調(diào)系統(tǒng)。選用風(fēng)冷冷凍水機(jī)組，干冷器（干式冷卻器，主要用于乙二醇溶液散熱，由換熱盤(pán)管和風(fēng)扇組成；乙二醇溶液在管內(nèi)流動(dòng)，通過(guò)風(fēng)扇強(qiáng)化乙二醇與外界環(huán)境的散熱，達(dá)到冷卻的目的）和一級(jí)泵變流量系統(tǒng)。該系統(tǒng)夏季通過(guò)冷凍水機(jī)組制取7 ℃的冷凍水，送到室內(nèi)的冷凍水型精密空調(diào)內(nèi)，從而給房間的IT設(shè)備制冷；冷凍水回水溫度為12 ℃，經(jīng)循環(huán)水泵返回冷凍水機(jī)組。冬季充分利用室外的低溫空氣冷卻循環(huán)冷凍水，可以實(shí)現(xiàn)壓縮機(jī)停機(jī)制冷，大大減少耗電量。過(guò)渡季節(jié)主要采用自然冷卻，冷量不足的部分由壓縮機(jī)制冷補(bǔ)充。當(dāng)數(shù)據(jù)中心的空調(diào)系統(tǒng)斷電后，由ATS（轉(zhuǎn)換開(kāi)關(guān)）主電路切換到另一路備用市政供電，冷凍水機(jī)組從通電后到正常運(yùn)行需要10 min，為了保證系統(tǒng)的連續(xù)制冷，設(shè)計(jì)了蓄冷罐，儲(chǔ)存的冷水能滿(mǎn)足數(shù)據(jù)中心空調(diào)系統(tǒng)斷電后至機(jī)組重新啟動(dòng)10 min間隔的制冷需要。

2.3.1 空調(diào)系統(tǒng)冷源設(shè)計(jì)

數(shù)據(jù)中心是耗能大戶(hù)，空調(diào)系統(tǒng)在能夠保證IT設(shè)備正常運(yùn)轉(zhuǎn)的條件下，將在冷源的選擇上盡量選擇節(jié)能的方式。本項(xiàng)目充分利用北方氣候的特點(diǎn)，在冬季使用自然冷卻技術(shù)，降低系統(tǒng)的電源使用效率（Power usage effectiveness，PUE）值。PUE目前已經(jīng)成為國(guó)際上比較通行的數(shù)據(jù)中心電力使用效率的衡量指標(biāo)，是數(shù)據(jù)中心消耗的所有能源與IT負(fù)載使用的能源之比。PUE值越小，說(shuō)明數(shù)據(jù)中心用于通信設(shè)備以外的能耗越小、系統(tǒng)越節(jié)能。全球數(shù)據(jù)中心的平均PUE是2.0[6]，發(fā)達(dá)國(guó)家數(shù)據(jù)中心的PUE約為1.8，日本部分?jǐn)?shù)據(jù)中心的PUE為1.5，Google的數(shù)據(jù)中心PUE低至1.2[7]。

為了實(shí)現(xiàn)數(shù)據(jù)中心的節(jié)能運(yùn)行，獲得更少的PUE（PUE=數(shù)據(jù)中心的總能耗/IT設(shè)備能耗），因此應(yīng)該充分利用免費(fèi)的自然冷源。在春秋季節(jié)的晚上或者在冬季，充分利用室外的低溫空氣來(lái)對(duì)系統(tǒng)中的冷媒水進(jìn)行自然冷卻，這樣可以大大減少壓縮機(jī)的功耗，從而降低系統(tǒng)的PUE值。

根據(jù)北京地區(qū)全年室外氣溫的分布（見(jiàn)圖2）可以計(jì)算出，全年可實(shí)現(xiàn)全部自然冷卻的時(shí)間占全年總運(yùn)行時(shí)間的24%，部分自然冷卻的時(shí)間約占全年運(yùn)行總時(shí)間的27%，全部機(jī)械制冷的時(shí)間約占全年總運(yùn)行時(shí)間的49%。計(jì)算依據(jù)是北京市全年的室外氣象溫度。對(duì)配有自然冷卻的機(jī)組，當(dāng)室外溫度低于10 ℃時(shí)，可以啟動(dòng)部分自然冷卻；當(dāng)室外溫度低于5 ℃時(shí)，可以啟動(dòng)全部自然冷卻。百分比根據(jù)室外溫度所保持的時(shí)間占全年的運(yùn)行時(shí)間之比計(jì)算所得。

圖2 北京全年不同室外溫度所占時(shí)間曲線(xiàn)圖

因此該系統(tǒng)采用3臺(tái)風(fēng)冷螺桿式冷凍水機(jī)組（2用1備），每臺(tái)冷水機(jī)組制冷量為520 kW。2臺(tái)制冷量為500 kW的干冷器，冷凍水進(jìn)口、出口溫度12 ℃～7 ℃。冷水機(jī)組和干冷器布置在1層室外平臺(tái)。每臺(tái)螺桿式冷凍水機(jī)組可以根據(jù)負(fù)荷實(shí)現(xiàn)25%～100%的調(diào)節(jié)?？照{(diào)制冷系統(tǒng)原理圖見(jiàn)圖3。

為了實(shí)現(xiàn)節(jié)能和充分利用冬季的自然冷卻，采用干冷器與冷凍水機(jī)組串聯(lián)的形式，這樣可以實(shí)現(xiàn)以下三種工作模式。

1) 夏季，風(fēng)冷冷凍水機(jī)組開(kāi)啟，高溫的乙二醇溶液經(jīng)過(guò)冷凍水機(jī)組的蒸發(fā)器釋放熱量。

2) 冬季，充分利用室外低溫的空氣冷卻干冷器中的乙二醇溶液，冷凍水機(jī)組停機(jī)，實(shí)現(xiàn)無(wú)壓縮機(jī)運(yùn)行制冷的自然冷卻模式。

3) 過(guò)渡季節(jié)，當(dāng)外界環(huán)境溫度比冷凍水的回水溫度低3 ℃時(shí)，可以開(kāi)啟干冷器進(jìn)行自然冷卻，不足的冷量通過(guò)風(fēng)冷冷水機(jī)組補(bǔ)充；當(dāng)外界環(huán)境溫度比冷凍水回水溫度低10 ℃時(shí)，可以完全實(shí)現(xiàn)自然冷卻，冷凍水機(jī)組停機(jī)。

2.3.2 冷凍水系統(tǒng)設(shè)計(jì)

圖3為空調(diào)制冷系統(tǒng)原理圖?？照{(diào)系統(tǒng)采用7 ℃的冷凍水供水，12 ℃冷凍水回水的冷凍水循環(huán)系統(tǒng)。系統(tǒng)中采用1次泵變流量設(shè)計(jì)，可以滿(mǎn)足隨著數(shù)據(jù)中心中IT負(fù)載的變化而自動(dòng)調(diào)節(jié)流量。每個(gè)空調(diào)的支管上設(shè)置平衡閥，方便調(diào)試時(shí)調(diào)節(jié)系統(tǒng)管路上的水壓平衡。

為了實(shí)現(xiàn)數(shù)據(jù)中心的安全和連續(xù)制冷，在數(shù)據(jù)中心中，IT設(shè)備都有不間斷電源（UPS）來(lái)保證供電，UPS將在市政用電斷電后為IT設(shè)備供電直到發(fā)電機(jī)啟動(dòng)。但是空調(diào)系統(tǒng)的部件往往都不接UPS，甚至不接備用發(fā)電機(jī)。而高密度機(jī)房設(shè)備發(fā)熱量巨大，當(dāng)斷電時(shí)，機(jī)房溫度會(huì)在(30～120) s內(nèi)迅速上升至使數(shù)據(jù)設(shè)備停機(jī)的溫度，導(dǎo)致數(shù)據(jù)設(shè)備停機(jī)或損壞。

為了保證系統(tǒng)的穩(wěn)定性，避免系統(tǒng)電源故障停電后至冷凍水機(jī)組啟動(dòng)前的過(guò)熱現(xiàn)象，系統(tǒng)中必須設(shè)有安全裝置。結(jié)合本項(xiàng)目，水系統(tǒng)的水泵連接了UPS可以保證冷媒水持續(xù)循環(huán)，當(dāng)市政用電斷電后，冷水機(jī)組通電重啟需要10 min，因此系統(tǒng)設(shè)計(jì)了能提供10 min時(shí)間內(nèi)數(shù)據(jù)中心所需冷量的蓄冷水罐。蓄冷罐的容積為32 m3，蓄冷罐與整個(gè)水系統(tǒng)串聯(lián)連接。蓄冷罐在系統(tǒng)正常運(yùn)行時(shí)將7 ℃的冷水儲(chǔ)存在罐體中，當(dāng)系統(tǒng)斷電，冷水機(jī)組停止運(yùn)行時(shí)，蓄冷罐的進(jìn)水閥關(guān)閉，旁通閥門(mén)打開(kāi)，將原存儲(chǔ)的低溫冷水注入到行級(jí)空調(diào)中，保證制冷溫度。

圖3 空調(diào)制冷系統(tǒng)原理圖

2.3.3 室內(nèi)精密空調(diào)的設(shè)計(jì)

目前室內(nèi)的冷凍水型精密空調(diào)主要有兩種形式，一種是傳統(tǒng)的地板下送風(fēng)的房間級(jí)空調(diào)，另外一種是水平送風(fēng)的行級(jí)制冷空調(diào)。空調(diào)對(duì)溫度和濕度的測(cè)量和控制比較精密?？照{(diào)器在正常使用條件下，通過(guò)空調(diào)控制邏輯檢測(cè)回風(fēng)溫度，調(diào)節(jié)冷凍水調(diào)節(jié)閥，控制送風(fēng)溫度。溫度波動(dòng)超限將發(fā)出遠(yuǎn)程報(bào)警信號(hào)。當(dāng)溫度設(shè)定在15 ℃～30 ℃范圍時(shí)，機(jī)組溫度控制精度為±1 ℃；溫度變化率應(yīng)小于5 ℃/h。濕度的控制有兩種形式；當(dāng)濕度低于設(shè)定值時(shí)，啟動(dòng)機(jī)組自帶的電極式加濕罐進(jìn)行加濕；當(dāng)濕度達(dá)到設(shè)定值時(shí)，加濕罐停止工作。如果檢測(cè)濕度大于設(shè)定值，則采用制冷除濕，或者電加熱補(bǔ)償除濕。

房間級(jí)空調(diào)具有市場(chǎng)占有率高，公眾認(rèn)知度高等優(yōu)點(diǎn)。但是房間級(jí)空調(diào)地板下送風(fēng)的風(fēng)量受到限制，一臺(tái)1 kW的IT負(fù)載機(jī)柜所需的送風(fēng)量計(jì)算如下：

式中：

Q ——制冷量，kW；

ρ ——空氣密度，1.2 kg/m3；

cp——1.01 kJ/( kg·k)；

G ——風(fēng)量，m3/h；

t2——服務(wù)器出口溫度，℃；

t1——服務(wù)器進(jìn)口溫度，℃。

經(jīng)過(guò)計(jì)算，當(dāng)服務(wù)器的進(jìn)出口溫差為11 ℃時(shí)，

Design of Refrigeration and Air Conditioning System for High Density Data Center

WANG Li-xin*1, CHANG Lin2
(1-Schneider Electric IT (China) Co., LTD, Beijing 100102, China; 2-Chinese Association of Refrigeration, Beijing 100142, China)

Based on a data center project in Beijing, the design idea and method of high density data center were introduced, and the problems on the horizontal air supply, energy saving, natural cooling and continuous cooling for the air conditioning system in high density data center were discussed. The results show that, the methods by using the cooling form with horizontal air supply close to the heat source assisted cooling and hot channel layout, water pump connecting with uninterruptible power supply (UPS) and cold storage tank were suggested to ensure the annual uninterrupted refrigeration for the high density data center.

Air conditioning system; Refrigeration; Data center; High density

3 結(jié)論

10.3969/j.issn.2095-4468.2015.01.202

*王麗欣（1980-）女，工程師，碩士。研究方向：機(jī)房精密空調(diào)系統(tǒng)，船舶空調(diào)通風(fēng)系統(tǒng)。聯(lián)系地址：北京市朝陽(yáng)區(qū)望京東路6號(hào)施耐德電氣大廈，郵編：100102。聯(lián)系電話(huà)：010-84346699。E-mail：wanglixin04@126.com。