胡 濤，宋嘉皓，鄭駿文

（中國移動通信集團設(shè)計院有限公司浙江分公司，浙江 杭州 310012）

0 引 言

隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，用戶對數(shù)據(jù)業(yè)務(wù)的需求量越來越多，為了滿足用戶的需求，提供覆蓋更好、速度更快、時延更小的移動通信服務(wù)，運營商在網(wǎng)絡(luò)建設(shè)的投資越來越高[1]?；?G網(wǎng)絡(luò)面向全國部署的政策，5G基站建設(shè)成為“新基建”的核心重點領(lǐng)域，但是5G基建成本高和能耗高的問題讓運營商難以承受。在這樣的背景下，中國移動提出了基于云計算的無線接入網(wǎng)構(gòu)架（Cloud-Radio Access Network，C-RAN），有利于減少基站機房數(shù)量和能耗、降低基站選址難度和提高資源共享調(diào)度效率[2]。

C-RAN組網(wǎng)采用BBU集中部署方式，將現(xiàn)網(wǎng)匯聚機房作為室內(nèi)基帶處理單元（Building Base band Unit，BBU）集中機房，由于存在大量BBU高度集中和BBU之間無空隙安裝等現(xiàn)象，使得C-RAN機房功耗急劇增加、設(shè)備局部熱點問題加重，最終導(dǎo)致供電和制冷系統(tǒng)出現(xiàn)一系列問題[3]。

由于匯聚機房一般采用房間級空調(diào)制冷的形式，把機房空調(diào)放置在機房周圍，通過高架地板和地板打孔把冷風(fēng)送到機柜周圍，進(jìn)而達(dá)到降溫的效果。隨著C-RAN機房不斷建設(shè)，設(shè)備密集度越來越高，對機房空調(diào)提出更高的需求，不僅不能解決設(shè)備過熱問題，還會增加耗電量和經(jīng)濟成本。

針對上述背景和問題，本文提出一種新的機柜級制冷方案，可以根據(jù)匯聚機房現(xiàn)狀和供冷需求有效解決機房過熱問題，降低了能耗、建設(shè)和運維成本，同時追求未來可持續(xù)的節(jié)能路線。

1 C-RAN機房過熱問題及解決思路

1.1 機房設(shè)備高密度問題

由于C-RAN機房匯聚大量BBU，占據(jù)了機房機柜原有設(shè)備的空間，使得BBU與其他設(shè)備集中安裝。若機柜內(nèi)部沒有空間，還會選擇柜頂放置。隨著機房設(shè)備增多，發(fā)熱量逐漸增大，導(dǎo)致機房設(shè)備密度高，出現(xiàn)設(shè)備局部過熱的問題，機柜表面過熱溫度可能超過64 ℃，機柜內(nèi)部過熱溫度可能超過65 ℃，如圖1所示。如果為了考慮過熱問題將設(shè)備分散部署，空間浪費的問題會進(jìn)一步加重。

圖1 機柜內(nèi)外溫度示意

1.2 房間級空調(diào)制冷問題

房間級空調(diào)制冷利用了冷熱空氣交換原理，空調(diào)送出冷風(fēng)，通過流通傳遞給機柜設(shè)備進(jìn)行冷卻，將熱量帶出設(shè)備。這種制冷方式為先冷環(huán)境、后冷設(shè)備，設(shè)備排出的熱量會擴散在環(huán)境中，在冷卻環(huán)境時增加了大量能耗[4]。此外，機房門窗漏冷嚴(yán)重、墻洞縫隙透風(fēng)、空調(diào)位置不均和空調(diào)老舊損壞無效運行等情況使得空凋冷卻效率不高，容易出現(xiàn)局部熱點溫度過高的問題。

1.3 氣流組織混亂問題

匯聚機房在使用過程中會受到氣流組織因素的制約和限制，由于IT設(shè)備是靠機房空調(diào)送入的低溫風(fēng)與其散熱充分交換帶走熱量，降低機架內(nèi)溫度，氣流組織起到熱交換媒介紐帶作用，當(dāng)機房內(nèi)空調(diào)送風(fēng)距離遠(yuǎn)、設(shè)備安裝在角落和設(shè)備背對空調(diào)時，熱交換的紐帶不順暢，空調(diào)送風(fēng)受阻[5]。此外，機房內(nèi)設(shè)備進(jìn)出風(fēng)口不一致，BBU和分組傳送網(wǎng)（Packet Transport Network，PTN）采用左進(jìn)右出的通風(fēng)方式，光線路終端（Optical Line Terminal，OLT）采用下進(jìn)上出的通風(fēng)方式，電源采用前進(jìn)后出的通風(fēng)方式，使得機柜內(nèi)外氣流組織混亂，設(shè)備四周氣流受阻，冷熱氣流摻混，如圖2所示。

圖2 機柜內(nèi)外氣流示意

氣流組織不合理時，現(xiàn)狀只能是機房空調(diào)設(shè)備容量配置遠(yuǎn)遠(yuǎn)大于實際需求量，以滿足機房需要，造成空調(diào)設(shè)備投資增大、運行費用增高，機房電源使用效率（Power Usage Effectiveness，PUE ）值增大。

1.4 C-RAN機房過熱解決思路

C-RAN機房設(shè)備長期高溫運行會增加運行風(fēng)險，熱漲效應(yīng)會導(dǎo)致設(shè)備出錯率和失效率增高，溫度過高還可能使服務(wù)器硬盤損壞、計算機可靠性和使用壽命降低，亟需針對機房設(shè)備過熱問題提出新的解決思路。

（1）高密設(shè)備收容。隨著BBU集中部署，機房設(shè)備呈現(xiàn)高密度化。高功耗BBU設(shè)備熱點高溫嚴(yán)重影響到其他設(shè)備散熱，可以將BBU設(shè)備單柜極簡收容，多類型發(fā)熱設(shè)備整站收容，既可以減少設(shè)備占用空間，還可以緩解設(shè)備高密度冗雜的情況。

（2）空調(diào)精確制冷。由于機房空調(diào)給環(huán)境降溫制冷效率低下，帶來高額的電費問題，可以將高密設(shè)備和高發(fā)熱設(shè)備收容后進(jìn)行集中精確制冷，利用機柜空調(diào)進(jìn)行有針對性的近端封閉降溫，有效解決設(shè)備送風(fēng)不均的情況，降低空調(diào)能耗[6]。

（3）引導(dǎo)氣流組織。機柜內(nèi)部設(shè)備進(jìn)出風(fēng)方式不一致，導(dǎo)致柜內(nèi)氣流組織混亂，產(chǎn)生高溫過熱問題，可以在高密設(shè)備收容和空調(diào)精確制冷的前提下，加上隔離組件和導(dǎo)風(fēng)組件，引導(dǎo)冷熱氣流有序流動，多個設(shè)備共享冷量，提高散熱效率。

2 機柜級制冷改造方案

基于5G時代通信設(shè)備的供冷需求以及機房設(shè)備過熱問題解決思路，使用機柜級制冷方案，提出新的一體化節(jié)能柜產(chǎn)品。節(jié)能柜將空調(diào)、電源、電池、BBU和PTN等設(shè)備進(jìn)行整站收容，將原有機柜和空調(diào)柜門組合成節(jié)能機柜單元，將隔離組件和導(dǎo)風(fēng)組件整合至柜內(nèi)，實現(xiàn)高效降溫，如圖3所示。通過精確制冷、熱管換熱和氣流組織構(gòu)建等技術(shù)，可以有效增大空氣流量、自動調(diào)節(jié)空調(diào)設(shè)定溫度、提高設(shè)備穩(wěn)定性和擴容能力。

圖3 一體化節(jié)能柜產(chǎn)品外觀

2.1 單柜高密集成

匯聚機房及基站建設(shè)過程中，設(shè)備逐漸高密度化，為了精確高效制冷，一體化節(jié)能柜高密集成化和模塊化，保證在有限的空間內(nèi)收容更多數(shù)量、更多類型的設(shè)備，共享冷量。傳統(tǒng)的機房配置一般具備電源柜、電池柜、BBU柜、PTN柜和光纖配線架（Optical Distribution Frame，ODF）柜等，存在散熱不均和浪費空間的問題，一體化節(jié)能柜單柜高密集成了電源、電池、BBU和空調(diào)模塊等，不僅可以集中處理高熱設(shè)備，還能同時滿足多種類型設(shè)備的散熱需求，單柜高密集成改造方案如圖4所示。

圖4 單柜高密集成改造方案

2.2 氣流組織構(gòu)建

匯聚機房設(shè)備密集導(dǎo)致冷熱氣流混雜，為了對高功耗設(shè)備精確送風(fēng)，構(gòu)建良好的氣流組織，一體化節(jié)能柜通過增設(shè)隔離組件和導(dǎo)風(fēng)組件，在柜內(nèi)構(gòu)建了冷熱通道，可以將“前進(jìn)后出”“左進(jìn)右出”和“下進(jìn)上出”的多類型設(shè)備氣流引導(dǎo)為統(tǒng)一的“冷風(fēng)前部送入，熱風(fēng)后部集中”方式，達(dá)到氣流轉(zhuǎn)向和冷熱隔離的目的，達(dá)到散熱效果，如圖5所示。

圖5 機柜氣流組織構(gòu)建

2.3 熱管切換換熱

為了提升傳熱能力，消除局部設(shè)備熱點問題，一體化節(jié)能柜充分利用了熱管換熱技術(shù)[7]。熱管是利用介質(zhì)在室內(nèi)機熱端蒸發(fā)吸熱后在室外機冷端冷凝放熱的過程，將熱量快速傳導(dǎo)，達(dá)到冷卻效果，如圖6所示。

圖6 熱管換熱原理圖

熱管可以達(dá)到切換換熱的效果，當(dāng)出現(xiàn)極端炎熱天氣，熱管能夠分擔(dān)散熱，壓縮機壓縮蒸汽，起到輔助供冷作用；當(dāng)天氣比較涼爽，熱管模式運行，壓縮機只提供氣體流動的動力，空調(diào)能耗降低；當(dāng)市電發(fā)生中斷，風(fēng)機能夠持續(xù)運轉(zhuǎn)，繼續(xù)利用熱管散熱，實現(xiàn)應(yīng)急散熱[8]。

3 機柜級制冷方案應(yīng)用

將機柜級制冷方案應(yīng)用于金華市某試點匯聚機房，對傳統(tǒng)機房建設(shè)模式進(jìn)行改造，如圖7所示。機房內(nèi)將5臺BBU設(shè)備密集布設(shè)于1臺一體化節(jié)能柜中，BBU綜合柜1有4臺BBU設(shè)備，BBU綜合柜2有3臺BBU設(shè)備，其他設(shè)備包括1臺FAN、3臺PTN、5 臺 OLT、1 臺光交換網(wǎng)絡(luò)（Optical Switch Network，OSN）、1臺3P空調(diào)和1臺5P空調(diào)，搭建成新型機房建設(shè)模式，如圖8所示。

圖7 傳統(tǒng)機房建設(shè)模式

圖8 新型機房建設(shè)模式

一體化節(jié)能柜中，BBU設(shè)備高密集中，具體集中配置模型和實際布置，如圖9所示。

圖9 BBU集中配置模型和實際布置

門式柜級空調(diào)采用機柜級制冷方式，將空調(diào)室內(nèi)機集成于機柜，對機柜進(jìn)行封閉，將柜內(nèi)設(shè)備熱量通過空調(diào)室外機排放到機房外部環(huán)境中。集成于機柜的空調(diào)室內(nèi)機由制冷模塊與回風(fēng)模塊2個部分構(gòu)成，制冷模塊置于機柜柜門，將柜內(nèi)熱空氣通過熱交換處理為冷空氣，回風(fēng)模塊置于柜內(nèi)，將柜內(nèi)熱空氣回風(fēng)送入換熱模塊。具體空調(diào)架構(gòu)如圖10所示。

圖10 門式柜級空調(diào)架構(gòu)

一體化節(jié)能柜增設(shè)熱管切換換熱方式，在外墻放置1臺室外機，在墻上打孔，引入聯(lián)機管與室內(nèi)機連接，聯(lián)機管與冷凝水管貼近地面布置，并對管槽進(jìn)行固定及防護(hù)，具體熱管換熱布置實景如圖11所示。

圖11 熱管換熱布置實景

對比房間級和機柜級制冷方案的供冷效果，如圖12所示。機柜級制冷方案可以有效解決設(shè)備局部過熱問題，使機房內(nèi)溫度均勻，設(shè)備保持高效運行，降低空調(diào)能耗。

圖12 不同方案供冷效果對比圖

為了更好地驗證機柜級制冷方案的有效性，于7月份進(jìn)行產(chǎn)品應(yīng)用效果實測，測試了柜內(nèi)BBU進(jìn)出風(fēng)溫度、機房內(nèi)溫度、設(shè)備及空調(diào)能耗等。進(jìn)行柜內(nèi)制冷加冷熱氣流隔離的效果測試。測試時關(guān)閉機柜前門與后門對機柜進(jìn)行封閉，柜內(nèi)熱量不會排放至機房，開啟機柜空調(diào)對機柜內(nèi)部的5個5G BBU進(jìn)行精確制冷。由于機房內(nèi)還存在其他發(fā)熱設(shè)備以及外部環(huán)境透過圍護(hù)結(jié)構(gòu)向室內(nèi)的熱量傳遞，因此還需要開啟房間空調(diào)對機房內(nèi)其他設(shè)備散熱。

共有3種測試方案，如表1所示。具體的測試數(shù)據(jù)如表2所示。

表1 測試方案

表2 測試方案數(shù)據(jù)

機房、節(jié)能柜、BBU綜合柜和傳輸柜溫度變化，如圖13所示。

圖13 溫度變化曲線

通過以上結(jié)果可以得出，開啟節(jié)能柜后使得BBU出風(fēng)溫度由改造前最高65 ℃降低為最高50 ℃，機柜級制冷方案的溫控效果明顯。機房空調(diào)也由無法控制室內(nèi)溫度的狀態(tài)轉(zhuǎn)變?yōu)槭覂?nèi)溫度可控，空調(diào)溫度可降低至空調(diào)設(shè)定溫度。僅開啟1臺機房空調(diào)即可滿足室內(nèi)散熱需求。機房空調(diào)回風(fēng)溫度由35 ℃降低至25～30 ℃。機房空調(diào)溫度設(shè)定在26 ℃，機房內(nèi)溫度可控制在25～27 ℃，當(dāng)設(shè)定溫度為28℃時，機房內(nèi)溫度可控制在27～30 ℃。整個機房溫度更加均勻，房間空調(diào)對機房空間的控溫效果明顯改善，空調(diào)能耗明顯降低。

按照方案一改造，節(jié)能柜和BBU綜合柜1溫度始終大于50 ℃，機房PUE為1.3；按照方案二改造，節(jié)能柜溫度小于50 ℃，BBU綜合柜1溫度大于50 ℃，機房PUE為1.18；按照方案三改造，雖然節(jié)能柜溫度小于50 ℃，但是機房PUE顯著上升，若關(guān)閉5P空調(diào)，傳輸綜合柜列溫度高溫影響較大，故不考慮。

最終選取方案二，開啟節(jié)能柜、關(guān)閉機房3P空調(diào)，傳輸綜合柜列溫度不受影響，機房整體PUE較方案C從1.3降至1.18。目前節(jié)能柜剩余2個BBU位，可將BBU綜合柜2中的2個5G BBU割接至節(jié)能柜，解決BBU綜合柜2高溫問題。通過節(jié)能柜對機房高發(fā)熱設(shè)備進(jìn)行收容，有效控制設(shè)備運行溫度。

4 結(jié) 論

本文分析了C-RAN機房建設(shè)過程中設(shè)備密集導(dǎo)致局部過熱的問題，根據(jù)設(shè)備供冷需求，提出相應(yīng)的解決思路，采用機柜級制冷改造方案并應(yīng)用于實際工程中。

5G時代通信設(shè)備數(shù)量增多、功耗增大、發(fā)熱量劇增，勢必導(dǎo)致設(shè)備高密堆疊，出現(xiàn)局部過熱問題。單柜高密集成、空調(diào)精確降溫、氣流組織構(gòu)建和熱管切換換熱是順應(yīng)5G發(fā)展和解決過熱問題的關(guān)鍵技術(shù)。

機柜級制冷方案可以實現(xiàn)設(shè)備收容和動態(tài)精確制冷，減少冷量損耗，打破PUE限值，降低空調(diào)能耗。機柜級制冷方案測試結(jié)果表明，節(jié)能柜可以增加設(shè)備散熱效率，控溫效果良好，顯著降低空調(diào)能耗和空調(diào)耗電量，降低機房PUE。